技术改变世界 阅读塑造人生! - shaogx.com

This string was altered by TechBlog\Plugins\Example.; This is an example to show the potential of an offcanvas layout pattern in Bootstrap. Try some responsive-range viewport sizes to see it in action.

Hadoop,HBase,Storm,Spark到底是什么?

Hadoop,HBase,Storm,Spark到底是什么?Hadoop=HDFS+Hive+Pig+...HDFS: 存储系统MapReduce:计算系统Hive:提供给SQL开发人员(通过HiveQL)的MapReduce,基于Hadoop的数据仓库框架Pig:基于Hadoop的语言开发的HBase:NoSQL数据库Flume:一个收集处理Hadoop数据的框架Oozie:一个让用户以多种语言(如MapReduce,Pig和Hive)定义一系列作业的工作流处理系统Ambari:一个基于web的部署/管理/监控Hadoop集群的工具集Avro:允许编码Hadoop文件的schema的一种数据序列化系统Mahout:一个数据挖掘库,它包含了最流行的一些数据挖据算法,并且以MapReduce模型来实现他们Sqoop:一个从非Hadoop数据存储(如关系数据库和数据仓库)进来的移动数据到Hadoop中的连接工具HCatalog:一个中心化的元数据管理以及Apache Hadoop共享服务,它允许在Hadoop集群中的所有数据的统一视图,并允许不同的工具,包括Pig和Hive,处理任何数据元素,而无需知道身体在集群中的数据存储。... 全文

hbase storm spark hadoop集群 nosql数据库

分布式存储与数据库选型问答整理分享

近日,有关存储系统选型的问题在微信群里讨论的火热,CSDN在这里稍微将各位专家的问答总结了一下,分享给大家。文章内容来源大数据基础设施微信群,参与讨论的专家有中国科学院软件研究所工程师,C3核心成员李明宇,国防科学技术大学教授,CCF大数据专家委员会委员李东升,云人科技联合创始人兼CEO吴朱华,Memblaze技术顾问刘爱贵等等。以下是问答实录:Q:有一个场景:每天有近百GB数据增加,数据内容有WORD文档和图像等多种类型。用什么存储或文件系统比较合适?... 全文

分布式存储 数据库 文件系统 大数据 NoSQL

搭建高可用mongodb集群(一)——配置mongodb

在大数据的时代,传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。 NOSQL有这些优势:大数据量,可以通过廉价服务器存储大量的数据,轻松摆脱传统mysql单表存储量级限制。高扩展性,Nosql去掉了关系数据库的关系型特性,很容易横向扩展,摆脱了以往老是纵向扩展的诟病。... 全文

mongodb nosql 主从复制 故障转移 集群

Hamsterdb vs. LevelDB:且看非主流数据库的自白和逆袭

【编者按】虽已问世9年之久,但是相较MongoDB,Hamsterdb的知名度仍然有所欠缺,更一度被评为非主流数据库。Hamsterdb是个开源的键值类型数据库。但是区别于其他NoSQL,Hamsterdb是单线程和非分布式的,其特性设计也更像是一个列存储数据库,同时还支持read-committed隔离级别的ACID事务。那么对比LevelDB,Hamsterdb又会有什么优势,这里我们走进项目参与者之一Christoph Rupp的分享。以下为译文:... 全文

大数据 NoSQL Hamsterdb LevelDB 开源

MongoDB成为首位10亿美元初创,功臣可归功于Oracle?

Andrew C. Oliver是个资深的软件咨询顾问,从8岁时开始编程,首先从GW Basic、BASICA及dBase III+开始。著名成果有POI项目的建立,现托管在Apache。他是JBoss最早期的开发者,直到该公司融入Red Hat,同时还是Open Source Initiative早期的董事,现担任Open Software Integrators董事长。近日其在InfoWorld上发表了一篇文章,盘点了当下数据库现状,及MongoDB崛起的原因。以下为译文:... 全文

大数据 NoSQL MongoDB Oracle 开源

实现物联网,你有使用合适的数据库吗?

数据正不断影响关键业务的决策,这使得企业开始重新考虑:他们能从物联网中得到什么。如果你觉得物联网世界的不断增长只是一时的狂热,那你就错了。         一份关于M2M技术的研究报告表明,到2020年,通过传感器控制、监控以及自动化管理的设备将达到125亿。这些设备包括类似电表仪器、空调以及照明控制板等机器,所有的这些设备将被用于管理智能建筑,改善能源使用以及改善操作性能。利用这些设备生成的数据,并从数据中获得有用信息,会让我们设计出新的商业模型、增加新的收入机会以及提高令人信服、准确的客户体验。... 全文

数据库 物联网 nosql 企业 传感器

MySQL再度失势:继维基百科后,Google迁移到MariaDB

尽管被Oracle捕获后,MySQL上的争议就从未停止;但时至今日,MySQL仍是最具人气的开源数据库:简单、免费、扩展性、相对成熟等一直都是MySQL的吸引所在,然而随着自身脚步的放缓、各个竞争对手的追赶, 这些杀手级特性已不在有吸力(甚至沦为弱势)。虽然PostgreSQL一直被当作MySQL的直接竞争对手,然而真正给予其致命一击的似乎更像是MariaDB,这个由MySQL旧部所开发的产品。那些年被重量级用户抛弃的MySQLMySQL在各大Linux发行版中的失势... 全文

大数据 NoSQL MariaDB MySQL Linux Google Oracle

大数据技术论坛(上):Spark、Hadoop技术成主角

【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Tec就hnology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。2014中国大数据技术大会第二日上午大数据技术论坛上,百度大数据部副总监薛正华和中国移动集团公司业务支撑系统部项目经理何鸿凌共同主持了上午的论坛。网易NTSE/TNT引擎负责人胡炜、英特尔大数据首席架构师戴金权,VMware资深业务解决方案架构师介文清,搜狐移动研发部经理刘佳, Admaster技术副总裁卢亿雷5位专家主要专注于大数据技术展开演讲。... 全文

BDTC BDTC2014 大数据 Hadoop NoSQL Spark

从需求出发来看关系模型与非关系模型–关系模型与非关系模型概述

自从NoSQL概念横空出世,关系数据库似乎就成了众矢之的,似乎一夜之间,关系数据库和SQL就成了低效,高成本,速度慢的数据处理模式的代名词。在很多地方都能看到类似:”我的项目初创,应该选择什么NoSQL产品才能快速的开发?”这样的问题。正因有人提出这样的问题,才坚定了我把这篇文章放在了第一章的决心。主要的目标是希望借助这样一个形式,让大家能够比较清晰的认识到类似NoSQL,SchemaFree,RDBMS,CAP,BASE等等概念的本源,并了解到他们面对的主要场景,从而避免乱花渐入迷人眼的尴尬,知其然而知其所以然。其实,软件中所谓的对象,结构体,实体,关系等概念,都只是对现实生活中的一种抽象。因为人类太过渺小,渺小到无法真正的理解和模拟这个世界,所以不得不创造出一些概念,过滤掉具体的细节而只关心他们所需要关心的事情。这就产生了各种各样的抽象。而SQL和关系模型,就是针对数据之间的“关系”而进行的一种抽象。简单来说,他将一切事物都抽象为关系,并通过集合运算的方式规定了关系之间的运算过程,也因此更为严谨。比如,描述一辆车有四个轮子和四扇玻璃,那么就可以建立三张表格,一张存车的属性,一张存玻璃的属性,一张存轮子的属性,并且在轮子和玻璃的表格中,冗余车的唯一标示。这样就可以完成关系描述。如果要读取车A.id=5车子的左前方轮子的出厂号码标示,做法一般是:查询轮子表,找到车子id=5的并且标有左前方属性的那行数据,读取他的出厂号码。了解了关系模型,我们再来看看在关系模型产生之前,大家经常使用的层次模型吧。层次模型其实也是非常简单的一类描述,还以车为例,一辆车有唯一的标示(可以是个id,也可以只是个入口引用),然后车节点有两个子节点,一个是轮子集合节点,一个是玻璃集合节点,然后,轮子集合节点有四个节点,分别表示四个轮子,而玻璃集合有四个节点,分别标示四扇玻璃。如果要读取车A.id=5车子的左前方轮子的出厂号码标示,做法一般是:找到顶节点车A,然后查找该节点的子节点,轮子集合节点,然后遍历4个子节点,找到标有左前方属性的车轮,读取其出厂号码。从上面简单的例子对比来看,相信大家立刻就能看出关系模型与传统的层次or表格模型的最大差别。也就是用户不再需要关注从车->轮子集合->轮子本身,这个存取路径只需要关注于核心的查询逻辑(车子id=5,车轮属性是左前方),就可以立刻找到数据了。使用关系模型,因为模型相对的比较简单,并且数学证明比较严密,所以很快被大家接受。因此在市面上已经很少出现层次模型or网状模型了。在互联网时代之前,数据库的研究领域更多的集中在关系模型与前端业务开发模型不匹配这个问题上,众所周知的,在面向对象的语言产生之后,继承,多态,充血模型已经成为了程序语言的标配,我们在这里不去讨论是面向对象好,还是函数式编程好这样没结论的问题,只来简单的浏览一下面向对象与关系模型的阻抗失配问题即可。如果大家写过业务逻辑,一定也会觉得把数据库里的数据转变为程序对象是一件蛋疼无比的事情吧。将面向对象里面的继承和组合这类概念硬套到关系数据库上,需要耗费比较大的精力才能完成。为了解决这些问题,一种思路是在程序层做这个ORMapping的转换,这类工具主要是hibernate、ibatis等工具。另外一个思路是在数据库层面做这件事,比如oracle一直宣传自己是ORDBMS。甚至甚至,连脚本语言框架比如ROR,django的核心目标之一也就是解决这个阻抗失配的问题~因为类似java/c++/.net这样的语言是静态编译的,所以就必须要求用户要在代码中明确的定义对象的属性名字和类型,而在数据库内,也有一套对应的列名和数据库类型信息。一张表有50多个字段,每次字段变更,都必须保证用户代码内的对象内的属性和数据库中的数据准确对应。这非常消耗时间,也非常容易错。为了解决这个问题,要么是从程序代码生成关系模型,要么是从关系模型反向生成程序代码。这两种方式都会面临程序逻辑与关系模型不匹配的问题,于是写ORMapping就成了一件蛋疼无比但又不得不做的事情。为了自动化,有大量的工具组件出现在这里,比如hibernate,比如ibatis,他们主要作用就是将我们的对象模型转换为关系模型,不过这类工具最大的问题就是,学习工具本身的成本很高,甚至高于自己去做对象关系映射本身,而且经常会因为对ORMapping掌握的不够精深,造成很多低效的查询,拖慢了整体性能的问题。还有一些人为了偷懒,放弃使用对象bean来表示数据库中数据。他们一般会采用Map映射来表示数据库中一行数据,使用这种方式,Map的key就是列的名字,value就是列的值,如果要表示多行数据,那么就是一个List<Map>的结构。使用这种结构,程序就可以自动的根据数据库给出的列名原信息来自动生成Map结构。但这种方式的问题是,丢失了面向对象所带来的良好的封装特性,经过多层传递与处理后,用户很难辨识哪些是数据中间过程数据,哪些是数据库原始数据。数据Map对象会膨胀的非常厉害,以至于无法管理。脚本语言的核心目标之一也就是解决这个阻抗失配的问题,脚本语言因为是动态编译的,所以动态对一个对象增加或减少属性变得非常简单而清晰,所以对象内的数据可以直接根据数据库内的数据进行内省获得,不在需要人工维护,同时又不会出现因为Map结构所导致的代码结构不清晰的问题,所以ROR这类的工具可以直接进行对象关系映射,极大地提升了小业务系统的生产力。可惜,对象数据库和xml数据库,都没有形成一统天下的新浪潮,一直不瘟不火的缓慢发展着。随着互联网的爆发式发展,数据库概念领域又一次发生了摇摆,伴随着互联网的特殊需求,一批有着新鲜血液的NoSQL数据库涌现了出来,层次模型又从封印中苏醒,站在了大家面前。这里就自然而然会有一系列的疑问产生了出来,为什么层次模型变种的NoSQL会出现并得到了一些人的认同?他满足了什么需求?关系模型在什么地方不能满足大家的需求了?那么,我们就从应用场景出发,尝试回答一下这些问题吧。... 全文

关系模型 NoSQL概念 对象数据库

初学MongoDB实践笔记——安装、创建数据库、保存及查询数据

        MongoDB是一个可扩展、高性能的分布式文档存储数据库,由C 语言编写,旨在为web应用提供可扩展的高性能数据存储解决方案。它的特点是高性能、易部署、易使用,存储数据非常方便。        Mongo DB 是目前在IT行业非常流行的一种非关系型数据库(NoSql),其灵活的数据存储方式备受当前IT从业人员的青睐。Mongo DB很好的实现了面向对象的思想(OO思想),在Mongo DB中每一条记录都是一个Document对象。Mongo DB最大的优势在于所有的数据持久操作都无需开发人员手动编写SQL语句,直接调用方法就可以轻松的实现CRUD操作。        文档数据库介绍:... 全文

mongodb 文档数据库 内嵌 nosql数据库 oa

阿里云课堂第五期:阿里云结构化存储与结构化数据服务的技术实践

伴随着阿里云五周年之际,阿里云技术公开课“阿里云课堂”正式启动。云计算将开创新的计算模式时代,随着云计算的快速发展、为了让更多的开发者深入了解使用云技术,也让IT从业者更好地支持自身业务的发展,阿里云将在全国12个城市开展阿里云技术公开课,涉及课程从编程开发、数据中心运维、海量数据处理、深度学习、移动开发等等时下最热的技术,通过“阿里云课堂”技术公开课、能够面对面的交流,使开发者可以真正了解云计算、用好云计算。阿里云课堂第五期详情... 全文

云计算 阿里云 NoSQL 分布式存储 OTS

Referenced file contains errors(http://www.springframework.org/schema/data/mongo/spring

<beans xmlns="http://www.springframework.org/schema/beans"           xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"           xmlns:context="http://www.springframework.org/schema/context"           xmlns:mongo="http://www.springframework.org/schema/data/mongo"           xsi:schemaLocation="http://www.springframework.org/schema/context            http://www.springframework.org/schema/context/spring-context-3.0.xsd            http://www.springframework.org/schema/data/mongo            http://www.springframework.org/schema/data/mongo/spring-mongo-1.0.xsd            http://www.springframework.org/schema/beans            http://www.springframework.org/schema/beans/spring-beans-3.0.xsd">           <!-- Default bean name is 'mongo' -->     <mongo:mongo host="localhost" port="27017">         <mongo:options />     </mongo:mongo>          </beans> eclipse 提示 Referenced file contains errors(http://www.springframework.org/schema/data/mongo/spring-mongo-1.0.xsd)..解决方式:将以上地址替换为... 全文

eclipse nosql mongodb spring-data errors file

1 2 3 4 5 6 7 8