IBM：大数据的核心是分析、挖掘和预测

　　在一次有关大数据分析的媒体沙龙上，笔者听到了这样一个有意思的小故事：某品牌汽车气缸零件有两条生产线，其中一条的次品率比另一条要高。那么，同样的生产线、同样的原料和生产工艺工序，缘何两条生产线会出现这样的差异？这时候IBM大数据分析工具派上了用场，通过抓取大量的历史基础数据和环境数据，分析发现其中一条生产线在下午两点的时候次品率较高，原因在于这时候的阳光能够照射到零件，导致零件温度升高发脆。
　　导致次品率的因素居然是阳光!恍然大悟的同时，工程师们一定会感慨不已，原因很简单，但发现原因的过程却不简单——这就是大数据分析的价值所在。
　　近年来，“大数据”成为最时髦的热词，不管是IT从业者，还是企业管理者，或是街头巷尾的普通民众不是在大谈“大数据”、就是在听别人畅谈“大数据”，著名的“啤酒和尿布”的经典故事已经被各种大数据布道者广为传颂。
　　于是，就像一千个人眼中有一千个哈姆雷特，一千个人眼中也有了一千个“大数据”，所带来的后果就是，大数据究竟是什么，究竟能做什么，究竟要怎么来用，却并非每个人都能说得清。
　　还是来听听专家的看法吧!

　　大数据的几点误区

　　在这次沙龙上，IBM大中华区大数据与分析事业部数据平台方案总经理刘胜利带来了一堂大数据的普及课：一提到大数据，我们经常会想到Hadoop，或者想到当前最新的Spark，但不管是Hadoop，还是Spark、NoSQL都不代表着大数据，它们只是和大数据相关的工具。此外，抽样数据也并不代表着大数据，抽样数据是典型的在计算机产生之前就存在的抽样调查：“美国总统选举前做抽样调查，数百年前就已经存在了，这也不叫大数据。”
　　在大数据兴起之初，普遍观点认为“开源”将成为大数据技术的灵魂，是大数据技术发展的方向;但随着大数据及分析技术的不断成熟，人们发现开源并不能解决大数据的一切问题，特别是在企业级大数据应用中。“开源里面没有一个正式的支持体系，太开放了，所以里面的东西很多很新，匹配性做得不一定那么好”，刘胜利解释说，在企业级大数据应用中采用开源技术需要具有很高的技术水平，会耗费企业过多的精力。“企业的精力应当在应用，而不是花大量的时间研究开源。”
　　企业大数据和互联网大数据也有所不同。我们通常认为互联网是最容易产生大数据的领域，我们的每一个互联网行为，查询、社交、购物、发布的每一条信息，汇总起来是一个惊人的数据量。“但企业的数据量并不是大到不可控，但种类要比互联网复杂的多;互联网数据在大数据当中如果处理不好会丢掉，对此企业级的客户是不可以忍受的”，刘胜利表示，企业级客户更关注数据的可靠性和稳定性，更关注数据挖掘，而不是堆积数据。
　　“对于企业而言，更重要的是如何用大数据，挖掘大数据对于行业创新有怎样的帮助，这是客户最关注的核心”，刘胜利强调。
　　大数据的核心是分析、挖掘和预测
　　今年，IBM重新规划了组织架构，打破了传统上硬件和软件的部门限制，根据业务建立了新的事业部。在大数据领域，IBM成立了大数据与分析事业部(DBA)，将与大数据分析相关的业务放置到一起，以更快的响应客户。据IBM大中华区大数据与分析事业部总经理钟泽敏介绍，IBM DBA部门包含三大方面的业务：数据分析平台、解决方案、行业专家和云服务。
　　IBM在大数据分析上的优势在于IBM很懂行业，了解客户的业务流程以及行业客户原有的数据，并且产品化能力非常强，有着丰富的面向行业的大数据及分析工具;同时IBM也积极支持开源，在Java、Linux、Hadoop、Spark，这些技术方面IBM投入了大量的人力物力。例如近日IBM宣布将Spark嵌入IBM业内领先的分析和商务平台，并将Spark作为一项服务，在IBM Bluemix平台上提供给客户。
　　很多人将大数据比喻为金矿，其核心价值是其中的“黄金”而非“矿渣”，大数据的利用过程就是一个去芜存菁的过程，从庞大的数据中挖掘出有价值的信息。对此刘胜利表示，IBM非常强调大数据分析和挖掘能力，数据多并不是价值，只有把数据里面的商业流程挖掘出来才是大数据的价值，这也是IBM大数据分析所擅长的部分。“我们关注的是大数据之下的分析，我们强调的重点是在分析、挖掘、预测”，刘胜利表示
　　在IBM大数据与分析技术中，“流计算技术”是一个杀手锏，其代表产品是InfoSphere Streams，是目前业界独有的流数据处理技术，它能够同时分析许多数据类型并实时执行复杂计算，非常适合天气预报、智能交通管理、芯片制造的流程控制、股票市场、安全监控、欺诈预防等需要实时分析的场景。
　　比如在航空领域，飞机本身实时数据的监控处理数据量非常大，飞机在飞行过程当中、飞机本身以及飞机相关的各种子系统，和外界交流的控制系统产生了大量的信息，这些信息被送到流处理的系统能够进行实时的处理，从而预防安全隐患。此外在离港数据实时更新、订座数据实时更新、24小时内航班、常旅客交叉销售、常旅客体验、短信服务、APP服务、反欺诈、航空安全等实时性很高的场景中，流数据技术也大有用武之地。
　　在车联网和智慧交通、提升网络质量、公共场所人流监控方面，流数据技术也能发挥重要作用。例如通过IBM Streams平台采集分析网管系统告警、性能指标、信令监测系统数据、业务拨测系统等系统数据，进行多维度实时分析，能够及时有效发现移动网络主要业务运行和业务质量情况;让运营商在业务质量降低或故障时，通过调度相应拨测手段及时确定故障影响范围和故障根源，提升客户满意度。在公共安全方面，通过实时采集公共场所人流的手机移动信息，结合流数据技术，能够实现人流监控，并预测灾难发生。
　　“通过分析获得业务洞察力，从而采取合适的行动”，刘胜利表示，IBM大数据分析提供了广泛的分析能力来帮助企业决策者来回答以下问题：发生了什么？为什么会发生？接下来可能会发生什么？我们应该采取什么行动？——这才是大数据分析的核心价值。

　　大数据分析和物联网的融合

　　“工业4.0”，“中国制造2025”是当前最为热门的话题，两者一脉相承，以物联网为基础，推动传统生产制造系统的创新和转型。IBM大中华区大数据分析事业部行业解决方案总经理刘咏梅介绍说，在工业4.0设备层、控制层、生产执行层、分析层、优化层五个层级中，优化和分析是最重要的，工业大数据能够帮助企业实现创新。
　　例如，某电动汽车公司的定位是高收入、有环保意识的人群，IBM大数据分析方案参与到了该汽车的设计、研发、测试等过程，为复杂系统工程化研发提供了有力支撑大大提升了生产效率;在文章开头的例子中，IBM大数据分析帮助该车企在16周内减少了一半的不良品，而在另一家汽车企业中，IBM大数据分析帮助企业降低了5%的保修成本，减少了一半的重复维修。
　　在工业4.0时代，大数据分析需要和物联网技术相结合，才能发挥出更大的作用，物联网技术为大数据分析提供了庞大的数据基础，两者的结合能够构成一个完整的数据采集、分析、挖掘、预测的解决方案。
　　近日，IBM公布了物联网战略以及IBM在汽车、水务、电子、能源、制造、零售、通信、医疗健康等诸多领域中的物联网成功实践，宣布未来四年投资30亿美元打造一个全新物联网(IoT)事业部,并创建一个基于云计算的开放平台，以帮助客户和生态系统合作伙伴构建物联网解决方案。同时宣布与The Weather Company子公司WSI建立新的全球战略合作伙伴关系，帮助各个行业将关于天气对业务影响的洞察用于企业运营中。
　　此外， IBM正通过与中移物联网有限公司、航盛电子的合作，共同打造车联网产业链，搭建智慧的物联网及车联网平台，与北京江河瑞通技术发展有限公司宣布成立江河瑞通—IBM智慧水管理联合创新中心。
　　未来，物联网技术和大数据分析技术将会有更深层次的融合，人们生活或将因此而变。