技术改变世界 阅读塑造人生! - shaogx.com

This string was altered by TechBlog\Plugins\Example.; This is an example to show the potential of an offcanvas layout pattern in Bootstrap. Try some responsive-range viewport sizes to see it in action.

spark 学习(二) RDD及共享变量

声明:本文基于spark的programming guide,并融合自己的相关理解整理而成 ... 全文

并行计算 集群 spark

Spark Streaming的窗口操作

Spark Streaming的Window Operation可以理解为定时的进行一定时间段内的数据的处理。不要怪我语文不太好。。下面上原理图吧,一图胜千言:如图:1. 红色的矩形就是一个窗口,窗口hold的是一段时间内的数据流。2.这里面每一个time都是时间单元,在官方的例子中,每隔window size是3 time unit, 而且每隔2个单位时间,窗口会slide一次。所以基于窗口的操作,需要指定2个参数:... 全文

大数据 spark streaming scala java

Storm与Spark:谁才是我们的实时处理利器

 实时商务智能这一构想早已算不得什么新生事物(早在2006年维基百科中就出现了关于这一概念的页面)。然而尽管人们多年来一直在对此类方案进行探讨,我却发现很多企业实际上尚未就此规划出明确发展思路、甚至没能真正意识到其中蕴含的巨大效益。... 全文

Storm Spark

如何成为云计算大数据Spark高手?

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位。... 全文

云计算 大数据 Spark

Scala语言 + Spark MLLib进行机器学习

下面的例子展示了如何加载数据,解析为RDD(译者注:RDD为Spark的弹性数据集);然后利用线性回归+随机梯度下降算法构建一个线性模型,并进行预测,最后计算均方误差(Mean Squared Errors)来对模型进行评估。... 全文

机器学习 spark scala 线性回归

Spark 1.2 发布,开源集群计算系统

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。此版本包括... 全文

Spark 分布式数据集 大数据

如何成为云计算大数据Spark高手?

转载地址:http://bbs.csdn.net/topics/390811949Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位;... 全文

云计算 大数据 spark nosql 高性能

Databricks核心成员专访:感受Spark的蓬勃发展

今年4月份,CSDN曾采访过来自UC Berkeley计算机系AMPLab的博士生辛湜(英文名Reynold Xin),他是Shark的作者,同时也是Spark的核心成员(@hashjoin),如今他又多了一个新的身份——Databricks的联合创始人。Databricks可谓阵容豪华,包括了UC Berkeley计算机教授、AMPLab联合创始人Ion Stoica,UC Berkeley计算机科学教授Scott Shenker(Scott计算机历史上论文被引用次数最高的人,同时也是知名SDN公司Nicira的联合创始人及前CEO),Spark原作者、MIT教授Matei Zaharia。近期,来自Andreessen Horowitz的1400万美元投资,以及Cloudera在2013 Strata+Hadoop大会抛出的重磅消息,使Databricks再次引起了业界关注。CSDN再次采访了辛湜,向他了解了关于Spark以及Databricks的最新消息。以下为专访整理:... 全文

Spark Databricks 大数据 分布式处理 Cloudera

Hadoop,HBase,Storm,Spark到底是什么?

Hadoop,HBase,Storm,Spark到底是什么?Hadoop=HDFS+Hive+Pig+...HDFS: 存储系统MapReduce:计算系统Hive:提供给SQL开发人员(通过HiveQL)的MapReduce,基于Hadoop的数据仓库框架Pig:基于Hadoop的语言开发的HBase:NoSQL数据库Flume:一个收集处理Hadoop数据的框架Oozie:一个让用户以多种语言(如MapReduce,Pig和Hive)定义一系列作业的工作流处理系统Ambari:一个基于web的部署/管理/监控Hadoop集群的工具集Avro:允许编码Hadoop文件的schema的一种数据序列化系统Mahout:一个数据挖掘库,它包含了最流行的一些数据挖据算法,并且以MapReduce模型来实现他们Sqoop:一个从非Hadoop数据存储(如关系数据库和数据仓库)进来的移动数据到Hadoop中的连接工具HCatalog:一个中心化的元数据管理以及Apache Hadoop共享服务,它允许在Hadoop集群中的所有数据的统一视图,并允许不同的工具,包括Pig和Hive,处理任何数据元素,而无需知道身体在集群中的数据存储。... 全文

hbase storm spark hadoop集群 nosql数据库

大数据生态系统论坛(上):Hadoop、Spark交相辉映

【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。2014中国大数据技术大会第二日上午大数据生态系统论坛上,Databricks 软件工程师、Apache Spark PMC成员孟祥瑞 ,美国俄亥俄州立大学计算机科学与工程系Senior Research Associate鲁小亿,华为Universe大数据平台的架构师徐健鹏,Apache Hadoop和Tez项目PMC成员Bikas Saha,Intel Senior Software Engineer、Apache Hadoop Committer、Apache Hadoop PMC Member Uma Maheswara Rao G,Intel Senior Software Engineer、Apache Hadoop Committer刘轶六位专家主要专注于大数据热门技术展开演讲。... 全文

BDTC BDTC2014 大数据 Hadoop Spark

大数据技术论坛(上):Spark、Hadoop技术成主角

【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Tec就hnology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。2014中国大数据技术大会第二日上午大数据技术论坛上,百度大数据部副总监薛正华和中国移动集团公司业务支撑系统部项目经理何鸿凌共同主持了上午的论坛。网易NTSE/TNT引擎负责人胡炜、英特尔大数据首席架构师戴金权,VMware资深业务解决方案架构师介文清,搜狐移动研发部经理刘佳, Admaster技术副总裁卢亿雷5位专家主要专注于大数据技术展开演讲。... 全文

BDTC BDTC2014 大数据 Hadoop NoSQL Spark

专访携程大数据平台高级经理李亚锋:大数据技术融合下的Spark更具魅力

近几年随着移动互联网的发展和智能移动终端的普及,用户在使用时间上的碎片化趋势更加明显,使得用户行为数据呈现爆炸性增长。以此同时,在大数据技术背景下,更加有效的利用这些海量的数据进行加工分析,从而了解用户的行为特征,更好的给用户提供最佳的服务体验。... 全文

携程 大数据 Spark 云计算 Hadoop

英特尔戴金权:Spark是Hadoop生态中新的处理引擎和分析引擎

2014中国大数据技术大会上,英特尔大数据首席架构师戴金权发表了题为《基于Spark软件栈的下一代大数据分析》的演讲,涵盖Reliability of Spark Streaming、SQL processing on Spark、Spark Stream-SQL、Tachyon hierarchical storage和Analytics&SparkR等多方面内容。对于关注Spark技术的与会者而言,极有价值。为进一步解析“Spark是Hadoop生态中下一代的处理引擎和分析引擎”这一鲜明的观点,CSDN云计算特别采访了这位Apache Spark PMC成员,拥有多项美国专利的技术专家。 ... 全文

Intel Hadoop spark BDTC2014 分布式计算 R 戴金权

【问底】Michael G. Noll:整合Kafka到Spark Streaming——代码示例和挑战

 【编者按】作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。期间,Michael还提到了将Kafka整合到Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版本中已发生了一些变化,比如HA策略:通过Spark Contributor、Spark布道者陈超我们了解到,在Spark 1.2版本中,Spark Streaming开始支持fully HA模式(选择使用),通过添加一层WAL(Write Ahead Log),每次收到数据后都会存在HDFS上,从而避免了以前版本中的数据丢失情况,但是不可避免的造成了一定的开销,需要开发者自行衡量。以下为译文... 全文

大数据 Spark Kafka Storm 问底

【问底】Michael G. Noll:整合Kafka到Spark Streaming——代码示例和挑战

 【编者按】作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。期间,Michael还提到了将Kafka整合到Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版本中已发生了一些变化,比如HA策略:通过Spark Contributor、Spark布道者陈超我们了解到,在Spark 1.2版本中,Spark Streaming开始支持fully HA模式(选择使用),通过添加一层WAL(Write Ahead Log),每次收到数据后都会存在HDFS上,从而避免了以前版本中的数据丢失情况,但是不可避免的造成了一定的开销,需要开发者自行衡量。以下为译文... 全文

大数据 Spark Kafka Storm 问底

Spark



Spark framework logo

Spark - A tiny Sinatra inspired framework for creating web applications in Java 8 with minimal effort

Quick start

import全文

openfire+Spark

最近公司要做一个药师在线咨询功能,也就是在手机上做一个类似与QQ的IM聊天功能.以前没有做过类似的功能,只有去网上看看,听说Openfire不错,所以就去阅读相关资料,在2近一个星期的努力下,终于搭建起来了自己的Openfire服务器和自己的Spark客户端,其实要搭建其环境相当简单,只是以前没有做过类似的功能,走了不少弯路,在此写出来,没有多少技术含量,只是希望帮助有类似需要的童鞋少走一些弯路我用的Ubuntu系统,其实Windows上也相似,不过没有去试过.1.环境,需要安装Java环境和Mysql数据库.... 全文

openfire

1 2 3

shaogx.com©2017