技术改变世界 阅读塑造人生! - shaogx.com

This string was altered by TechBlog\Plugins\Example.; This is an example to show the potential of an offcanvas layout pattern in Bootstrap. Try some responsive-range viewport sizes to see it in action.

大数据还是大炒作,这是一个问题 ——为什么NoSQL很重要

    现如今,有关“大数据”的各种评论和赞美每天都占据着人们的视线,但作为更加重要且更加有现实意义的一点,大数据技术对现实公司的显著影响,尤其是在与顾客的交互方面的极大提升却鲜有人关注。不可否认的是,大数据确实是革命性的,但前提是它关注的焦点需要集中在这项技术本身真正可以解决的问题上,以及大数据对这个世界起到的推动作用上。在现实的商业社会中,被动的、消极的公司只会着眼于解决现有的问题,而主动的、积极的、有远见的公司则已经开始寻找新的技术来帮助他们能够以更加激动人心的新方式与顾客进行交互,并由此来产生有价值的数据,用以帮助公司制定下一步赢得竞争击败对手的计划。    NoSQL 是大数据的一种基础技术,它正引领着新一代的数据库来解决那些困扰传统数据库已久的挑战。可以说,NoSQL数据库就是为解决关系型数据库的一系列主要问题而生的:... 全文

nosql 数据库 大数据 海量数据

1983到2012:大数据发展演进大事记

近几年来,大数据一直是公共领域的一个热词,但其根源其实早已深植于整部IT发展史中。回溯过去30年,我们就会发现一些在影响着我们收集、管理和分析数据的关键事件,这些事件有助于解释为何大数据今天会如此热门的原因。1983IBM发布最新的关系数据库管理系统DB2,使用结构化查询语言,很快成为政府部门的主流产品。1985面向编程(OOP)语言,如Eiffel开始流行。... 全文

大数据 网络数据流量分析 网络数据 数据中心网络

大数据时代的来临 大数据之“大”

“大数据”,其实并不是新的概念和现象。早在1980 年代,美国就有人提出了“大数据”的概念。30多年来,由于信息技术的进步,各个领域的数据量都在迅猛增长,美国的企业界、学术界也不断地对这个现象及其意义进行探讨。最近这一两年,“大数据”这个概念在美国变得越来越流行、越来越重要。2012年3月,美国联邦政府宣布投入2亿多美元启动大数据的研发任务,并把大数据定义为和历史上的互联网、超级计算同等重要的国家战略。之所以上升到国家战略的层面,是因为随着数据的爆炸,数据的收集、保存、维护、共享、使用等等任务,都成为横跨各个领域、牵一发而动全身的现象和挑战。但这些现象和挑战的重中之重,还是因为人类分析和使用数据的能力大幅提高,通过数据的分析、开发和整合,人类现在可以发现新的知识、创造新的价值,从而带来“大知识”、“大科技”、“大智能”、“大利润”和“大发展”。  也就是说,大数据之“大”,其侧重点并不在于其表象的“大容量”,而在于其潜在的“大价值”。大数据的意义,也远远不局限于我们当前众多新闻报道中所津津乐道的“啤酒和尿布”等等通过数据挖掘、实现精准营销的故事。我认为,大数据之所以能被称为革命性的现象,是因为它标志着我们人类社会在从信息时代、经由知识时代快速向智能时代迈进。  我们不妨举一两个例子,来说明大数据对社会形态的影响,以及对国家战略的重要性。  今年以来,一股在线教育的浪潮正在席卷美国的教育领域,一系列新型的智能网络学习平台正在成为高科技领域创新和投资的重点,其中不少新兴的创业公司已经获得了初步的成功。如著名的在线教育公司Coursera,已经和普林斯顿、伯克利、宾夕法尼亚大学等30多所大学合作,在互联网上免费开放大学课程。也就是说,如今这些学校的一些课程,可以实现全球几十万人同步学习。分布在世界各地的学习者不仅可以在同一时间实时听取同一位老师的授课,还和在校生一样,做同样的作业、接受同样的评分和考试。一些学校,甚至开始投资建设自己的智能网络学习平台,今年5月,哈佛大学与麻省理工学院就宣布,将投入6000万美元建设一个智能学习平台,并向全世界免费开放。  这种智能网络学习平台的崛起,在美国引起了广泛的关注和激烈的讨论。其中的原因,是因为这个平台已经不是一个镜头、一段录像那么简单,而是能提供“行为评价和诱导”的智能平台。例如,通过记录鼠标的点击,计算机能够记录你在一张幻灯片上停留的时间,判别你在答错一道题之后有没有回头复习,统计你在网上提问的次数、参与讨论的多少,发现不同的人对不同的知识点的不同反应,从而总结出哪些知识点需要重复或强调,哪种陈述方式或学习工具最有效等等规律。再根据这些规律和分析,对学习者的学习行为进行自动的提示、诱导和评价,以弥补没有老师面对面交流指导的不足。  这个智能学习平台之所以强大,正是因为其背后的大数据。单个个体学习行为的数据似乎是杂乱无章的,但当数据累积到一定程度时,群体的行为就会在数据上呈现一种秩序和规律。通过收集数据,分析、总结这种秩序和规律,就能通过计算机对学习者提供有效的指导和帮助。哈佛和麻省理工学院之所以向全世界免费开放它们的学习平台,目的就是想让更多的学习者在上面学习,以收集更多的数据,从而研究世界各国学习者的行为模式,进而打造出更好的智能学习平台。  这个例子,不仅说明数据正在成为创新的基础、成为一个组织的财富,同时,也表明大数据正在催生一个更加智能的社会。那么,我们又该如何理解正在迈进的这个智能型社会呢?  理解这个问题的关键在于,无论是信息、知识,还是智能,在我们这个时代,都是以数据为载体存在的。数据是对信息的客观记录,当我们对数据赋予背景时,它就成为信息;信息是知识的来源,当把信息提炼出规律的时候,它就上升为知识;知识是智能的基础,当电脑、网络能够利用某种知识作出自动判别并采取行动为我们人类工作的时候,智能就产生了。信息时代的特点是信息流动的速度快、传播的广度大,新信息随时随地可得。如果以1946年人类发明第一台电子计算机为起点,人类社会进入信息时代已经有半个多世纪。应该说,这半个多世纪以来,信息技术在不断飞速发展,我们已经超越了信息时代,进入了知识时代。知识时代的最大特点,是知识无所不在,这也已经成为现实。各种各样经过整理的结构化、系统化的信息,例如以视频为载体的课程录像,已经在互联网上广泛传播,只要有心,知识也随手可得。大数据的出现,又促使我们向智能时代迈进,智能时代的特点是,无处不在的计算机和网络将像有智商的人一样,通过自动化的决策,为人类提供服务。这个时代,管理将更加精确、智能,人与人之间的合作、任务之间的对接会更加精准,国家和社会的运行成本将会越来越低。  回到上面的例子,不难想象,这种智能化学习平台将会带来的革命性影响。学校,曾经是最重要的教育资源,好的学校更是稀缺性的资源。由于这种智能型学习平台的普及,在不远的将来,名校将人人可上,也就是说,对中国这种教育资源还相对匮乏的国家来说,如果应对得当,资源匮乏的问题可以很快得到缓解。此外,这种智能型学习平台的出现,也将给整个教育行业带来冲击和挑战,名牌大学的品牌无疑会更加突出、更受追捧,普通大学的发展空间会受到什么影响?它们会不会衰减?如果不会,又该如何来吸引学生?既然最好的视频资源可以免费获得,教师的角色又需不需要调整?如何调整?这些问题,都是需要思考和面对的挑战。  这只是大数据大潮在教育领域掀起的一朵浪花。毫不夸张地说,大数据对人类社会发展的影响将是方方面面、难以估量的,任何一个行业都将受到大数据带来的冲击和影响。我们再以时下另外一个热门名词“智慧城市”为例。近几年来,国内外都兴起了建设智慧城市的浪潮。据国内智慧城市的领军公司——神州数码董事局主席郭为先生介绍:目前,国内有60多个城市已经将建设智慧城市纳入了“十二五”规划,智慧城市将成为拉动下一轮中国经济增长的重要动力。但从一个更高的角度来看,智慧城市的建设问题,其实是一个城市的大数据综合治理问题:一是要在以前没有收集数据的地方收集更多的数据,这主要是利用物联网的技术;二是要让不同系统的数据准确地对接起来,这是系统整合的任务;最后,还要利用数据可视化的技术把海量数据中隐藏的知识揭示、展示出来,让数据中的智慧能够以一种直观的形式流向城市的管理者、决策者和市民大众。作为国内智慧城市理念最有力的推动者,郭为先生还指出,智慧城市的建设,是在用信息技术解决社会治理中的难题,提高人民的幸福指数,这又证明,大数据的应用和价值,远远不是商业领域这么简单。  除了加速企业创新,引领新的经济繁荣,大数据还可以成为启动透明政府的利器。这些也是我在《大数据:正在到来的数据革命》一书中着墨较多的地方。世界知名的管理咨询大师达文波特,曾向我提及,中国的政府和企业在很多领域都有雄心勃勃的计划,这引起了全球的关注,这些雄心和计划,现在应该拓进到大数据的领域。这也是我写作的初衷。新年将至,我希望中国社会尽快制定和大数据相关的政策,出台具体的措施,从而抓住历史的机遇、推动社会的发展和进步。  2013年,我希望是中国社会的大数据年。... 全文

大数据

2013年10大数字趋势:大数据分析是关键

12月11日消息,据国外媒体报道,据全球公关机构Hotwire和33 Digital发表的第四个年度数据趋势报告称,大数据分析、生物破解和更集成的社交体验将是2013年主要的数字趋势。这篇报告考察了将主宰2013年通讯和营销的关键趋势,从价格便宜并且很容易得到的大数据的影响力到数字医疗、从社交商务到感情世界,2013年的数字趋势看起来比2012年更加多样化。这篇报告指出的10大数字趋势是:... 全文

大数据 大数据分析

大数据分析:零售商“节假日大销售”秘密武器

 在西方国家,用“黑色星期五”和“网络星期一”(感恩节之后的第一个星期一),来表示一年中两个重大的节日购物事件。但很多人可能不知道,这两个日期并不仅仅指日历上的日期,同时也是许多零售企业开始布局大促销的时机,实际上决定着整个年度的利润高低。因此,从两大节日到新年假期,这段时间的运作对整个零售企业年度销售底线非常重要,赢得2012年“感恩节大促销”的零售商,使用的秘密武器是“大数据分析”。那么,大数据在零售市场发挥了什么样的作用呢?网站,GPS功能的平板设备和智能手机,嵌入式传感器,越来越多地使用移动通信技术,产生了大量的消费行为数据。... 全文

大数据分析 大数据 存储

企业大数据分析:2014年值得期待的大趋势

据国外媒体报道,据市场研究公司IDC预测,2015年大数据市场规模将从2010年的32亿美元增长到170亿美元,复合年增长率为40%。大数据是一个庞大的新的领域,其中的数据集可以增长的非常庞大,以至于使用传统的数据库管理工具也很难处理。处理这种问题所需要的新工具、框架、硬件、软件和服务是一个巨大的市场机会。随着企业用户越来越多地需要连续不断地访问数据,好的大数据工具集将以最低的成本和接近实时的速度提供可伸缩的、高性能的分析。通过分析这种数据,企业可得到更大的智能以及竞争优势。下面是Hadoop和大数据专业厂商MapR共同创始人和首席执行官约翰·施罗德(John Schroeder)对2014大数据市场的预测。 1. SQL拥有大数据的最大潜力 用于Hadoop(分布式计算)的SQL的发展能够让商业分析师利用自己的技能和选择的SQL工具执行大数据项目。开发人员可以选择Hive、Drill和Impala等Apache项目,以及选择Hadapt、HAWQ和Splice Machine等公司的专有技术。 2. 尽管如此 SQL还面临挑战 SQL需要数据结构。而集中的结构化数据可引起延迟并且需要人工管理。SQL还限制分析类型。过分强调SQL将延迟机构全面利用其数据价值的努力和延迟反应。 3. 身份识别是主要的数据安全问题 随着Hadoop(分布式计算)中提供的接入控制能力的猛烈攻击,机构迅速认识到线路级身份识别是必要的基础。没有充分的身份识别,任何更高级的控制都很容易被绕过,妨碍预定的安全计划。 4. 数据错误变成学习机会 2014年机构将出现许多数据错误。数据错误将表明基础的来源系统的问题吗?数据错误是在下游分析中出现偏差导致的数据提取问题吗?数据错误将表明定义差异或者缺少跨部门和业务部门的一致性吗?2014年将看到解决数据异常问题。 5. 出现可运行的Hadoop 2014年将看到Hadoop在各个行业中的生产部署显著增加。这将显示出Hadoop在运营中的实力。在那里,生产应用与分析结合在一起能够提供可以衡量的商业优势,如在客户化零售建议、诈骗检测和试验传感器数据进行规范的维护等应用中提供这些优势。 6. 更多的数据仓库将部署企业数据中心 数据中心把数据提取处理和数据从企业数据仓库卸载到Hadoop。作为一个核心的中心企业中心,数据中心要便宜10倍,能够对额外的处理或者新的应用进行更多的分析。 7. 新的以数据为中心的应用将成为强制性的 利用大数据的能力将在2014年成为竞争的武器。更多的公司将使用大数据和Hadoop准确地针对个人消费者的偏爱追逐赚钱的追加销售和交叉销售的机会,更好地缓解风险以及减少生产和开销成本。 8. 数据成为数据中心的核心 机构将从开发者过渡到大数据计划中。IT部门将越来越多地担负定义支持多种应用的数据基础设施的任务,把重点集中在部署、处理和保护一个机构的核心资产所需要的基础设施方面。 9. 搜索将成为非结构化的查询语言 2013年有大量的用于Hadoop的SQL计划。2014年将是这种非结构化查询语言成为重点的一年。把搜索集成到Hadoop将为查找重要信息的企业用户提供一种简单和直观的方法。搜索引擎还是包括推荐引擎在内的许多发现和分析应用的核心。 10. Hadoop将获得地位 Hadoop将继续取代其它IT开支,颠覆企业数据仓库和企业存储。例如,甲骨文的主要营收目标在过去的10个季度里有5个季度没有实现。Teradata在过去的5个季度有4个季度没有实现营收和利润目标。 11. Hadoop仍需要帮助才能成为主流应用 更多的机构认识到Apache Hadoop本身还没有准备好在企业应用。Apache Hadoop不是为系统管理或者灾难恢复等统一企业IT流程设计的。企业将继续推进混合的解决方案,把架构技术创新与Apache Hadoop的开源软件结合在一起。... 全文

大数据分析 大数据 SQL Hadoop

大数据时代企业数据中心面临的挑战

面对在云时代数据中心构建存在的挑战,那么,传统的数据中心在向云计算演进或者说企业在云时代下改造原有数据中心或建设新一代数据中心,应该注意哪些方面?... 全文

大数据 数据中心

大数据架构设计原则

大数据架构设计原则从功能模块可划分为:    数据标准(数据标准字典,数据流程规范);    数据模型(数据主题域,概念模型,主数据体系,模型选择);    数据管理体系(管理规范及流程,质量控制,元数据管理,调度管理,日志监控)从业务需求,主要要求有:灵活性,简易性,安全性,连续性,成本及时效。数据架构原则:    数据对象统一;    数据,应用分离;    数据异构;    数据读写分离;    数据库成本及管理;... 全文

数据仓库 数据架构 大数据处理

快数据:大数据发展的下一个起点

大数据之所以能够坐拥一个“大”字,主要依靠源源不断且态势稳定的输入数据流。在大容量环境之下,数据的积累速度往往十分惊人,不过其分析与存储仍然困扰着不少用户。VoltDB公司软件架构师John Hugg认为,相对于传统为后续分析提供数据的简单存储机制,也许现在我们已经步入了历史的新阶段——在这里,系统完全有能力利用Apache Kafka等工具在继续保持高速数据输入的同时实现分析。-- Paul Venezia... 全文

快数据 大数据

深层数据:推动大数据成功的关键所在

 【51CTO精选译文】FirstFuel公司CTO表示,寻求规模更小、更具相关性的浓缩型信息是解开大数据无穷潜力的关键所在。... 全文

大数据 深层数据

日本大数据产业鸟瞰

目前,日本面临着由于长期经济低迷导致国际地位下降、少子高龄化以及日益增大的社会保险费用和社会基础设施老化等诸多问题。日本政府为了扭转这一现状,保持经济持续增长,决定通过大力发展IT产业,特别是大数据及开发数据和云计算,促进经济发展。而对此日本各大IT企业充满期待,因为大数据和云计算已成为IT企业战略核心。此外,无论大数据技术还是企业实际应用方面,日本都在亚洲占据明显优势。下面,将围绕日本政府新IT战略、 日本大数据产业发展状况以及未来发展趋势等进行扼要阐述。一、大数据已成为安倍政府新IT国家战略的核心... 全文

日本大数据 大数据

微软发布大数据战略 让数据分析平民化

在拥堵的北京城,你是否想找到最快捷的道路行驶呢?不同时间段,该怎样选择最优的路线,才能在最短时间内达到目的地,这是否是你期望的呢?大数据的到来,让这些都不再成为问题,大数据改变了人们的生活方式。上面所说出的案例就是近日举办的大数据媒体日活动中所展现的场景。大数据的火爆,让业界各大厂商都开始纷纷加入到大数据的圈子中,但是,真正切实落地的却寥寥无几,而从微软现场演示的场景中可以发现,微软大数据正在逐渐走入我们的生活中,大数据离我们并不遥远。微软大数据愿景... 全文

微软 大数据 数据分析

数据安全在裸奔:大数据是黄金更是刺刀

被行业热议的大数据看似是无可估量的黄金,然后若是没有对数据安全的保驾护航,那么它更像是一把刺刀,悬在头顶,时刻击中要害!在经历了几年的炒作、批判、质疑、之后,大数据终于等来了属于它的时代。到2009年前后,"大数据"一词开始受到信息技术行业的关注。大数据的原理很简单,学过统计学的人都明白,在统计学中,样本选取得越多,得到的统计结果就越接近真实的结果。海量的数据充斥世界,如果能将它们"提纯"并迅速生成有用信息,无异于掌握了一把能打开另一个世界的钥匙。... 全文

大数据 数据安全

大数据的威力已经无所不在

对于普通人来说,大数据似乎相距甚远,我们对它还是一个陌生的状态,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……等等,这些都与大数据有着千丝万缕的关系。牛津大学教授维克托·迈尔-舍恩伯格在其新书《大数据时代》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发“数据暴政”的担忧。商业提供“精准预测”... 全文

大数据 大数据时代

即将到来全球数据革命:大数据战争(1)

办公室里常能听见这样简短的手机对话。你的同事在不到3秒的时间内对这个未知来电按下了结束通话的按钮。而电话的另一头,你都可以想象到是一个甜腻客气至极的推销员声音。现如今,你以及你的同事常常会被莫名其妙的广告推销电话、短信所困扰,以至于智能手机上都必备一个能自动屏蔽骚扰电话和垃圾短信的小软件。对于这类事情,其实你只要稍微细想一下就能发现至少两个问题:一是你的姓名、手机号、家庭住址等私人信息肯定被某无良的中介、营业厅或是网站给出卖了;二是这些条目简单的数据信息真的就能卖钱!... 全文

数据 大数据 CIO

IBM大数据战略

15IBM战略IBM的大数据战略以其在2012年5月发布智慧分析洞察“3A5步”动态路线图作为基础。所谓“3A5步”,指的是在“掌握信息”(Align)的基础上“获取洞察”(Anticipate),进而采取行动(Act),优化决策策划能够救业务绩效。除此之外,还需要不断地“学习”(Learn)从每一次业务结果中获得反馈,改善基于信息的决策流程,从而实现“转型”(Transform)。 基于“3A5步”动态路线图,IBM提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算(StreamComputing)、数据仓库(Data Warehouse)和信息整合与治理(Information Integration and Governance)。如下图所示。 在大数据处理领域,IBM于2012年10月推出了IBMPureSystems专家集成系统的新成员——IBM PureData系统。这是IBM在数据处理领域发布的首个集成系统产品系列。PureData系统具体包含三款产品,分别为PureDataSystem for Transactions、PureData System forAnalytics和PureData System for Operational Analytics,可分别应用于OLTP(联机事务处理)、OLAP(联机分析处理)和大数据分析操作。与此前发布的IBMPureSystems系列产品一样,IBM PureData系统提供内置的专业知识、源于设计的集成,以及在其整个生命周期中的简化体验。16多重挑战 伴随着各种随身设备、物联网和云计算云存储等技术的发展,人和物的所有轨迹都可以被记录。在移动互联网的核心网络节点是人,不再是网页。数据大爆炸下,怎样挖掘这些数据,也面临着技术与商业的双重挑战。 首先,如何将数据信息与产品和人相结合,达到产品或服务优化是大数据商业模式延展上的挑战之一。张夏天认为,大数据对算法和计算平台的挑战加大,计算开销大增。总量上升,质量下降,这是大数据带来的重大挑战。 其次,巧妇难为无米之炊,大数据的关键还是在于谁先拥有数据。多盟联合创始人兼COO张鹤表示,智能手机是根据用户营销而不是根据媒体营销。移动互联网提供了新的数据来源,数据分析能够针对每一位用户的手机信息做精准匹配,但大数据时代还没有真正来临。多盟虽然每天可覆盖1800万用户,但对用户行为的描述,还需要更大的数据量。 从市场角度来看,大数据还面临其他因素的挑战。架势无线CEO叶忻直言,大数据很有前景,但是市场中数据噪音太多,会导致数据价值大大降低。以无线营销为例,大量的刷量以及水军好评差评等数据已经严重干扰了数据的准确性,这实际上大大降低了数据的价值。... 全文

数据分析 物联网 云计算 大数据 数据仓库

如何在数据中心充分利用大数据

没有什么比真相更靠谱大数据呼吁的是业务分析师,而非数据专家…争论的基本主旨是企业无法很好的理解数据科学,而且不能找到所需的数据专家来帮助他们。而批评者表示:“如果只有靠少数人才能真正利用大数据的话,那么,企业在第一时间作出大数据投资还有意义吗?”在现实中,认为企业只有依靠数据专家才可以从大数据中获得价值的理念是荒谬的。但作为一个行业,我们必须充分认识到,这些数据专家是唯一知道如何利用这些丰富的信息的。... 全文

数据中心 大数据 解决方案 应用

3 4 5 6 7 8 9 10 11 12