技术改变世界 阅读塑造人生! - shaogx.com

This string was altered by TechBlog\Plugins\Example.; This is an example to show the potential of an offcanvas layout pattern in Bootstrap. Try some responsive-range viewport sizes to see it in action.

What’s new in Spark 1.2.0

What’s new in Spark 1.2.01.2.0 was released on 12/18, 2014在2014年5月30日发布了Spark 1.0 和9月11日发布了Spark1.1.后,Spark 1.2 终于在12月18日发布。作为1.X时代的第三个release,它有什么重要更新呢?1.    Spark Core:性能和易用性的改进对于超大规模的Shuffle,Spark Core在性能和稳定性方面做了两个重要的更新:一)     Communication Manager使用Netty实现... 全文

spark

Spark on Yarn ”爬坑“集锦(spark1.2)

一、概述    Ha,已经有两个月没有更新blog了。由于近排公司需要引入Spark相关技术,我也是作为技术攻关人员之一,在这段时间使用Spark遇到了挺多问题,跌的坑也比较多,这篇blog主要总结一下这段时间使用Spark遇到的一些问题。二、遇到的"坑"和爬坑思路1、SparkSql on yarn-client模式遇到找不到mysql驱动包问题。解决方案:这个比较简单直接编辑$SPARK_HOME/conf/spark-env.sh文件,将mysql的驱动jarexport进去,如:... 全文

spark yarn

Spark1.2新特性概述

【编者按】在2014年,Spark开源生态系统得到了大幅增长,已成为大数据领域最活跃的开源项目之一,当下已活跃在Hortonworks、IBM、Cloudera、MapR和Pivotal等众多知名大数据公司,更拥有Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。那么如此多的关注下,Spark又会有什么样的变化,下面我们一起看Spark Contributor、Spark布道者陈超总结的Spark 1.2版本新特性:下为原文... 全文

大数据 Spark

Spark 1.2 发布,开源集群计算系统

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。此版本包括... 全文

Spark 分布式数据集 大数据

1