技术改变世界 阅读塑造人生! - shaogx.com

This string was altered by TechBlog\Plugins\Example.; This is an example to show the potential of an offcanvas layout pattern in Bootstrap. Try some responsive-range viewport sizes to see it in action.

没有数据科学家大数据就玩不转了?

 数据科学家被媒体誉为21世纪最性感的职业,是企业界身价不菲、一将难求的的超级明星,这吓跑了很多准备尝试大数据的企业,实际上没有数据科学家企业一样可以玩转大数据。如今, 一谈到大数据, 一个普遍的说法就是人才的缺乏。 数据科学家成为了21世纪最性感的职业等等。 哈佛商业评论以及咨询公司麦肯锡的报告都这么说, 再加上数据科学家们自身也乐意被打上这样的标签。然而, 这种说法, 也让很多准备考虑大数据战略的企业面对大数据的机会望而却步了。 那么, 如果缺少数据科学家, 企业的大数据就真得玩儿不转了吗? 其实也未必。... 全文

大数据 数据科学家

数据中心网络布线为大数据时代铺路

伴随云时代的来临,大数据(Big data)也吸引了越来越多的关注,人们用它来描述和定义信息爆炸时代产生的海量数据。我们来了解一下大数据的概念,大数据是指数据集,它的数据量已经大到无法用传统的工具进行采集、存储、管理与分析。IDC研究表明:全球产生的数据量仅在2011就达到1.8ZB(或1.8万亿GB),且根据预测,未来十年全球数据存储量将增长50倍。ZB到底是多大容量的概念?1ZB的对象存储数据,相当于107亿块3T的硬盘,假设数据都是存储3份,一台服务器可以挂48块硬盘,那么需要2亿台服务器。假设一个机架可以放10台类似的服务器,那么将需要2000万个机架的服务器才容得下1ZB。... 全文

大数据 云计算 数据中心 布线

大数据的核心:海量数据的分析能力

在亟待优先解决的IT问题千头万绪的情况下,在大数据价值日益凸显的背景下,企业需要首先提高数据中心的成本效益,以满足不断变化的业务需求,加大大数据的应用和相关基础设施的构建,满足对于大数据环境下数据中心高性能、高可扩展性、高安全性和高可用性的要求。赛迪顾问对此做了一篇报道,小编摘编如下:大数据核心分析能力需要强大的后台支撑... 全文

大数据 核心 海量数据 分析

数据文化将深入企业 数据融合价值更大

Mikael Bisgaard-Bohr是Teradata天睿公司国际集团全球营销及业务拓展副总裁,主要负责发掘商业智能、分析及大数据领域的新趋势和新方向。Mikael经常与不同的行业客户进行交流,了解他们是如何通过大数据分析创造新的商业洞察,而在沟通过程中,Mikael也发现,很多企业在大数据方面仍然停留在单一的数据收集分析模式,没有融入到公司的整体文化中,但是例如零售、电信等行业的企业已经走在了大数据时代的前端。... 全文

Teradata 大数据 天睿 数据文化

大数据安全意义重大(1)

为了从安全的角度来对付“大数据”,企业应该怎么做?很多企业会希望整合大量不同的数据源,但大部分企业没有这样做的原因在于:这是一个长期而具有挑战性的过程。为了利用大数据来加强企业信息安全,我们需要部署哪些技术和流程?日志管理?SIEM部署?我们需要进行什么样的培训?保护数据中心需要怎么做?在本文中,笔者将提供现实的建议,让企业信息安全团队知道他们必须部署什么样的技术以及必须部署什么样的流程以充分利用大数据。什么是大数据?为什么它对信息安全意义重大?... 全文

大数据安全 大数据

大数据吹响智慧农业前进的号角

据相关报告显示,世界人口到2050年将达到90亿。目前,农业生产力与50年前相比提高了三倍,但土地使用量仅比过去提高了12%。尽管如此,据联合国粮食及农业组织预测,粮食生产力必须提高60%才能应对人口快速增长带来的负担。提高非洲及其他地区的粮食产量是使得数百万人脱贫,并满足未来90亿人口对粮食需求的关键所在。食品政策专家认为,让农民、科学家和企业家自由访问农业数据是提高粮食生产的关键一步。... 全文

大数据 大数据农业

大数据的安全底线(1)

当企业迈进大数据时代,信息安全面临多重挑战。数据大集中的安全隐患重重,而大数据不仅被用来找出潜在威胁,也被黑客用来实现更精准的打击。大数据来袭,企业不仅要学习如何挖掘数据价值,使其价值最大化,还要统筹安全部署,以免遭到更强有力的攻击,降低企业风险。 大数据会捅大娄子? 毫无疑问,企业正在拥抱大数据,并且将大数据挖掘和分析能力作为企业核心竞争力的关键。Gartner一个悲观的预测认为:到2015年,超过85%的财富500强企业将无法有效利用大数据带来的竞争优势。Garnter认为,大数据不仅是量多,还包括复杂性、多样性和数据传输速度等问题,“单单收集和分析数据是不够的,企业还必须具备实时提供数据的能力,以对企业的生产力、盈利能力或效率带来实质的影响,并制定出相应对策”。... 全文

大数据 大数据安全

大数据图数据库之离线挖掘计算模型

/* 版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/            author: 张俊林                                     ... 全文

大数据 系统架构 图数据库

大数据绝配?浅析内存数据库十大诱惑

所有垂直部门都在朝向大数据工作负载而谋篇布局,企业也在寻找批量且实时管理数据处理、存储、和分析挖掘最为有效的手段。因为IT管理人员需要借助新技术来帮助简化大数据的整合,确保更高效地实现数据分析,从而帮助业务决策。利用内存数据库就是其中一个关键战略。内存数据库可以支持对大量数据进行更快处理,通过利用内存数据库技术,金融服务、数字广告、电信和移动互联等纵向实时应用能够获得诸多好处:一、抓住稍纵即逝的数据价值生命周期... 全文

大数据 内存 数据库 IT管理

大数据“显影”:Ayasdi用拓扑数据分析癌症

 大数据蕴含的宝藏就在每个人的脚下,而Ayasdi这样的大数据创业公司能借你一双慧眼,从现有的数据中发现新的金矿。最近,硅谷的创业公司Ayasdi最近刚刚完成了一笔1000万美元的融资,该公司利用拓扑数据分析的算法,来推动癌症的研究。Ayasdi所代表的大数据垂直应用显然正在成为大数据投资的焦点之一,在IT经理网之前的文章:大数据的下一个热点在于应用软件中,我们曾指出:就长期价值而言, 行业或细分市场的突破性大数据软件应用要超过目前火热的大数据基础设施平台。旧数据里的新财富... 全文

大数据 Ayasdi 拓扑数据

大数据要“落地”,还缺些什么?

“大数据”是在2013年被用滥了的词汇,但实际上,由于数据量缺失、大数据清洗和分析能力不足,以及数据可视化瓶颈等问题,“大数据”一直未能迟迟落地。而在最近,随着基础设施的发展,意味着大数据的发展又走到新的一个临界点。系统软件供应商Software AG的Gagan Mehra,在Venturebeat网站阐述了他对于大数据接下来发展的认识,他认为更快地数据处理、更可靠地数据质量,以及给更加细分的应用市场,是大数据2.0时代的重要特征。 更快的数据处理速度 由于数据量指数型增长,使得对于数据的快速分析的需要已经变得比以往任何时候都要迫切。几乎每家大数据厂商,都想要兜售比别家处理速度更快的产品。Hadoop发布的新品Hadoop 2.0 / YARN,几乎能实时分析数据。而下一代大数据的计算牵引框架Apache Spark,它的速度比Hadoop快100倍。硅谷风险投资机构Andreessen Horowitz,已经以1400万美元的价格,领投了一家以Apache Spark为业务核心的初创企业Databricks。不久前,亚马逊也上线了实时流数据服务Kinesis,来帮助没有数据处理能力的公司解决这一问题。 许多分析供应商都已经认识到了数据处理速度的重要性,并建立了能够每秒处理TB数据的产品。传感器数据分析、物联网在工业和消费级市场快速发展的势头,驱动了这次变革。比如一家企业的传感器,能够每秒产生出数百次的事件,实时处理这些数据难度很高。特别是当实时处理的传感器数据,激增到一天5TB的时候,速度,就成了尤为关键的指标。 同时,尽管数据存储成本已经累年下降,但数据存储的费用还是不小的一笔支出。部分商家相比存储完整数据流而言,更倾向于保存过滤掉噪音的数据。 智能清洗“垃圾数据” 在本就难以计数的数据量继续以指数模型激增时,对于数据质量的强化,便摆上了许多数据供应商的议程。换句话说,在庞大数据面前,即使计算机能够高效的处理它们,但大量无用的“垃圾”数据,只会给系统带来负担,并增添存储、主机等设备成本。这就需要数据处理过程中,根据特定的规则和参数,对涌进数据流进行“清洗”和分析,并自动决策该去处理哪些数据,这一切不再需要人工去干预。 在这样的环境下,如果选择了一个坏的数据,就会像病毒一样,可能引发连续的错误决策,甚至让企业蒙受经济损失。一个例子就是利用算法去进行股票交易,以毫秒计数股票市场中,任何一点小的差错,都有可能引发无法巨大的损失。 所以,数据质量已成为服务级别协议(service level agreements)最重要的参数之一。无法屏蔽劣质的数据的供应商,会因此被列入行业的黑名单,以及面临严重的经济处罚。B2B行业为早期数据质量的入局者,他们非常重视数据的质量,来保持商业运作时的稳定性。甚至,许多企业计划为数据质量部署实时的警告系统,这些警告会被发送于负责相应问题的专员,由他们提供问题的解决方案。 机器学习是另一项需要保证数据质量的领域。机器学习系统部署在一个闭环的生态中,通过模式分析与其他的数据分析技术,细化原来的数据质量规则。而高质量的数据,能够保证机器进行正确的行为模式分析。 越来越多的基础应用 大数据带来的变革,使得每一个人都想要利用它,但技术上门槛又让许多人不得已只能充当一个看客。而应用将有助于人们去克服这一困难。在接下来的几年中,我们将会看到成千上万的解决某一垂直领域的专业应用,以应对来自各行各业的大数据挑战。 目前,已经小有成就的数据分析公司包括eHarmony、 Roambi、 Climate Corporation等等。未来,甚至许多小企业,既不用依赖特定基础设备,也不要雇佣专业的数据科学家,就能受益于对大数据分析利用。 比如,一些应用将从各种渠道,收集关联的客户数据,以更好地了解客户的需求。从而企业能够为特定的目标客户,提供特定需求的产品,更有针对性地赚到钱。当这些应用走进人们日常的吃喝玩乐、医疗保健等领域,生活也会因此而更美好。... 全文

大数据 数据质量 数据处理

教你怎样玩转千万级别的数据(1)

大数据处理是一个头疼的问题,特别当达不到专业DBA的技术水准时,对一些数据库方面的问题感到无奈。所以还是有必要了解一些数据库方面的技巧,当然,每个人都有自己的数据库方面的技巧,只是八仙过海,所用的武功不同而已。我把我最常用的几种方式总结来与大家分享,大家还有更多的数据库设计和优化的技巧,尽量的追加到评论中,有时一篇完整的博客评论比主题更为精彩。方法1:采用表分区技术。... 全文

数据 大数据 大数据应用

大数据:商业或技术的挑战?

John Bantleman是RainStor的CEO,有着20多年的从业经验。他在《连线》上发表了一篇文章称大数据在2013年将成为企业需要面对的重要问题之一,并且对今年大数据带来的挑战进行了5个方面的预测。以下为文章全文:2012年,大数据已经被证明是一个重要的趋势,并且对来年的大数据市场进行了很多的预测。现实情况是,客户将最终决定大数据的发展趋势,也将决定使用哪些技术解决方案来解决他们的独特业务问题。... 全文

大数据 企业大数据

京东电商大数据实践

京东大数据平台从无到有,从集中式到分布式,从Oracle数据仓库到JDW2.0,在演变过程中一直在思考的两个问题:1、如何建设电商特有的复杂业务的数据仓库?2、如何在保障安全的情况下降低使用数据的成本?从下面的内容中似乎能够看到这些问题的答案。 (京东技术学院 JDTech)... 全文

京东电商大数据实践 大数据 电商

打造顶级大数据团队的几个偏方

出人意料的是,音乐人才、物理学家和工商管理人士能为大数据团队带来全新的视角。你的企业正在打造数据科学团队吗?首先,你应当从业务部门抽调专家来提出正确的问题。然后考虑招募一些物理学家、音乐人才,当然,还有统计人才和计算机科学家。这些才是顶级大数据团队的关键“配方”,至少管理咨询与技术顾问公司Booz Allen的战略创新部门副总裁乔什沙利文是这么认为的。沙利文的部门负责帮助客户开展数据分析项目,在这个过程中沙利文看到太多企业犯下相同的错误。“大多数企业只知道招聘计算机科学家,因为他们认为大数据是一个技术问题,但他们错了,”在接受媒体采访时,沙利文说道:... 全文

大数据 大数据团队

如何成功制定大数据策略?

没有什么比在企业已经制定了大数据发展策略大半年之后才发现,企业里的每个人,甚至包括一些高层领导,都还搞不清楚何为大数据发展战略,更不知道他们应该怎么做更糟糕的事情了。当然,企业能够大胆的宣布自己的大数据发展战略,自然会让大家感到兴奋;但是,没有人真正明白企业明确的目的在哪里。作为一个信息的战略家,我总是不断的在不同的企业看到上述这一切的发生。... 全文

大数据 策略 大数据架构

互联网金融还是大数据金融

近来,颇有几个新名词在市面上流行,诸如“互联网金融”,“信息消费”之类。这些新名词并非产自概念日日翻新的互联网业,却来自传统金融业甚至政界,其气势之大,梦想之美,内涵之广,投入之多,逻辑之混乱,可行性之差,似乎值得一辨。就概念而言,从众说纷纭中大致可以概括出互联网金融的几层含义:... 全文

互联网金融 大数据金融 大数据

数据中心主机托管是否有利于部署大数据

大数据项目的持续爆炸性增长并非巧合,数据中心主机托管亦是如此。常见的数据中心主机托管的IT案例是:您可以快速的扩展您的数据中心,而且其仅仅只需要花费您构建自己的数据设备的20%的成本。您可能还可以选择现收现付的模式,只支付您企业所使用的资源。这对于必须在例行节俭的同时,还要按照业务的需求维持规模的迅速扩大或缩小的IT部门来说,是极其具有吸引力的。但是,在新兴IT产业,还有另外一个数据中心主机托管的使用案例:您是否考虑过为大数据分析以及高性能计算实施一套主机托管?... 全文

数据中心 网络托管 大数据 网络部署

大数据图数据库之MapReduce用于图计算

/* 版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/                 CopyMiddle: 张俊林                                     ... 全文

大数据 系统架构 图数据库 mapreduce

大数据引数据库革命 甲骨文IBM面临考验

北京时间3月14日消息,据国外媒体报道,当消费者步入美国最大汽车配件零售商AutoZone位于德克萨斯州维科的零售店,将会找到绝大多数AutoZone零售店都没有特价销售的减震器。在明尼阿波里斯市,消费者会在AutoZone零售店发现打折的里斯牵引设备。在佛罗里达州的马尔伯里,消费者会发现特价销售的挡虫网。... 全文

大数据 数据库 甲骨文 IBM

4 5 6 7 8 9 10 11 12 13