中石油的“大数据”之路

xucheng

文|郑军    尹兆涛

中石油西气东输管道公司&中石油规划总院

       在信息爆炸的今天，数据已经渗透到世界的每一个角落，且数据总量增长迅猛。据预测，未来每隔 18 个月，整个世界的数据总量就会翻倍，到 2020年，数据总量将会增长 44 倍，达到 35.2ZB。这些数据的种类之多、数量之大、生成速度之快，以及错综复杂的价值关联超出了传统技术能够管理和分析的能力，因此，称之为“大数据”现象。

“大数据”是指难以在一定时间内用常规数据库管理工具对其内容进行抓取、管理、处理、搜索、分析和展现的数据集合。“大数据”之所以成为业界热点，一方面得益于数据价值越来越受到认可；另一方面，在新方法和新技术的推动下，数据计算、存储和分析的成本越来越低。

       目前，美国政府正式发布了“大数据研发计划”，将投入超过 2 亿美元的资金用于研发从海量数据中获取知识所必需的工具和技能，从而在国家安全、科技创新和教育学习等领域保持并增强其在全球的竞争优势；联合国也推出了名为“全球脉动”的新项目，希望利用“大数据”来促进全球经济快速发展。在一些发达国家，“大数据”已经应用于医疗卫生、智能交通、地理空间影像和数字媒体等公共事业领域。亚马逊、谷歌、苹果等领先企业已经尝试从“大数据”中挖掘新的潜在价值，找寻新的利润增长点。对更多的传统企业而言，在新的“大数据”时代，如何获取、组织和利用“大数据”，以帮助企业做出更加科学的业务决策、不断发现新的商业机遇，是其面临的共同挑战。

1、“大数据”的基本特征及价值

       1.1   “大数据”的基本特征

       随着云计算、物联网和移动应用的迅猛发展，人们对“大数据”的认识和应用逐步深入，“大数据”的特征也逐渐明晰：

       一是，数据体量大。数据量级出现质的飞跃，从 TB 级逐步跃升至 PB（1PB=1 000 TB）级，甚至会达到 EB（1EB=1 000PB）、ZB（1ZB= 1 000EB）级；

       二是，数据类型多。主要包括结构化数据、半结构化数据和非结构化数据。相对于便于存储的结构化数据，更多的是非结构化数据，如，视频监控数据、流媒体数据、RFID（射频识别）感应数据等；

       三是，数据产生和处理速度快。如，物联网每分每秒都在采集数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互，处理速度达到10TB/h 或更高；

       四是，数据价值密度低。单条数据本身可能并无太多价值，但是，庞大的数据中却蕴含着巨大的价值，这也是“大数据”最本质的特征。这些特点决定了“大数据”具有更高的复杂性，对数据的存储、处理、管理和安全等方面提出了更高的要求和挑战。

       1.2   “大数据”的价值

       数据已经成为各行各业的生产要素，有效利用数据对提升企业战略管理水平、提高决策效率和管理透明度有着重要的作用，是企业转变发展方式、实现科学管理的重要手段。在“大数据”时代，数据将成为企业重要的战略资产，企业需要重新审视历史积存和正在不断产生的海量数据，甚至包括那些曾经被认为是“垃圾”的数据。在经过更加深入、细致的分析提炼后，“大数据”会发掘出超乎想象的价值，并带来新的发展机遇。

       中国石油从事的勘探开发、炼油化工、销售、管道储运等业务属于数据密集型行业，历史上已经累积了海量的异构数据。同时，在长期的信息化建设过程中，不断产生着大量的管理数据，加之移动互联网络、智能终端的广泛普及，数据的范围、类型和内涵也在不断地扩展。中国石油已身处“大数据”浪潮之中。

       结合中国石油“资源、市场、国际化”的发展战略，“大数据”的价值主要体现在以下几个方面：

       一是，“大数据”能够帮助中国石油提高勘探开发决策的效率和水平，实现新的油气增产。如，面对 PB级在线地震数据，通过挖掘数据潜在价值，可支持油田生产规划与决策，加大油气开发力度，不断发现新的油气资源；

       二是，“大数据”能够帮助中国石油发现消费者的消费趋势和潜在需求，进而促进业务创新和开发潜在市场。如，在加油站营销过程中，通过完善数据收集分析和监测体系，可追踪每个客户的个性化需求，进而开展定制化服务与管理，并适时推出新的产品和服务，从而吸引和留住更多的客户，以扩大市场份额；

       三是，“大数据”能够帮助中国石油实现对网络舆情、社会动态以及国际形势的监控分析，从而为正确实施“走出去”战略、降低海外投资风险提供保障。如，在对外油气合作开发过程中，通过对重点资源国地缘政治、经济动态的分析和把握，能够建立良性互动的竞争合作关系，从而实现从挑战向机遇的转化。

2 、应对“大数据”的准备及策略分析

       2.1   应对“大数据”的准备

      作为一种新的经济资产和价值创造形式，“大数据”正在推动着一场新的社会和工业变革。真正能够利用好“大数据”，并将其价值转化为生产力的企业将具备强劲的竞争优势，从而成为行业的领导者。为有效利用“大数据”，在新的变革浪潮中占得先机，中国石油需做好技术、管理和人才等多方面的准备。

       2.1.1  与专业技术公司共同推进相关技术的研究和应用

       大量非结构化数据带来数据量爆发式的增长，对存储容量、传输速率、计算速度等要求更高。因此，中国石油必须考虑引进和应用性价比更高的工具和技术。目前，物联网、移动应用等技术已较为成熟，是获取数据的重要来源；云计算作为并行计算、分布式计算和网格计算等的整合和发展，其核心是增强计算与存储能力，以解决现有技术难以满足“大数据”处理需求的难题；语义搜索能够对海量数据实现由信息搜索向知识搜索乃至智慧搜索的转变，以改善数据搜索的效率和效果；行为定向能够使数据在经过分析后，指示对用户最有吸引力的信息投放时间、内容和方式。

      此外，Hadoop 作为Apache（网络服务器软件之一）开源组织的一个分布式计算框架，可在由大量廉价硬件设备组成的集群上，构建一个具有高可靠性和良好扩展性的并行分布式计算环境；NoSQL（非关系型数据库）可满足对海量非结构化数据高效存储和访问的需求；内存计算能够提供高性能的数据处理能力等。一些 IT（信息技术）企业也在通过并购等方式整合相关“大数据”技术。面对推陈出新、高速发展的众多技术，中国石油应积极跟踪、适时引入并试点实施，做好应对“大数据”的技术储备。

      2.1.2  尽快建立相应的数据应用和信息化管理模式

      数据是企业的共同资产，不归属某个部门所有，只有实现数据充分共享，才能最大化发掘数据价值。因此，需打破传统的部门壁垒，建立涵盖企业全局的数据共享与服务合作机制，进而搭建跨地域、跨部门、跨专业的企业级“大数据应用中心”，形成更为科学的数据价值发掘和应用模式。此外，企业信息化管理的内涵和范围也将发生改变，凡是与数据应用相关的支撑内容都应纳入其中，甚至包括专业软件和自动化控制系统等。信息化管理模式的改变将引领中国石油不断创新。

      2.1.3  着力培养“大数据”专业人才

      由于“大数据”应用涉及多学科、跨领域的知识，既需要精技术、懂业务的复合型人才，也需要数学、统计学和经济学等其他专业人才，更需要大量从事数据分析的数据分析员、数据科学家。但是，目前此类人才缺口较大，未来 6 年，仅美国就需要14 万到 19 万名拥有数据深度分析专长的从业者。因此，中国石油应未雨绸缪，通过合作培养、对外交流等多种方式，加大数据专业人才的培养力度，做好应对“大数据”的人才储备。

       2.2   应对“大数据”的策略分析

     “大数据”应用的基础是信息化。目前，虽然 “大数据”在企业的应用模式还不成熟，相关技术还在不断发展，但是，“大数据”的理念将会为企业信息化建设提供更为开放的思路。经过多年的信息化建设，中国石油已逐步实现了由传统企业向数字化企业的转变。面对“大数据”带来的挑战和机遇，需进一步提升信息化水平，实现对数据价值的充分挖掘和有效利用。目前，应着重在以下几方面进一步强化信息化工作：

      2.2.1  持续优化信息化顶层架构设计

      中国石油现有的信息化架构主要体现信息技术对业务应用的支持关系，以业务需求驱动项目设计和投资安排。“大数据”出现后，需求将不再完全由业务部门明确提出，更多将由技术、模型、经验等综合驱动。同时，从基础设施架构到分析应用，“大数据”的处理方式和技术发生改变，需要对所有与数据生成、传递、处理有关的系统进行重新规划和布局，需要对原有的数据架构、数据标准、接口规范等重新设计和统一，需要对企业内外部数据环境进行全面分析，经整体综合考虑后，制定数据模型、架构和解决方案，最终形成“以数据驱动决策”的全新信息化顶层架构。

      2.2.2  快速实施物联网、移动应用等系统

      目前，物联网系统已成为中国石油加强信息化与自动化集成的重要载体，将为实时采集、处理、传输现场数据提供保障，为进一步挖掘价值提供数据基础；移动应用、社交网络等在企业逐渐普及，在提升办公效率的同时，将能拓宽获取数据的渠道和范围，对更好地搜集市场讯息、分析客户行为、监控企业舆情等提供数据支持。

      2.2.3  加快建成具有云计算能力的数据中心

      云计算作为一种商业服务交付计算模式，是实现“大数据”价值挖掘与利用的有效手段。同时，“大数据”的出现要求企业数据中心具有更高的计算和存储性能。因此，中国石油应借助云计算技术重新规划和布局数据中心，在原来“两地三中心”（两地??昌平和吉林，三中心??勘探院数据中心、昌平数据中心和吉林数据中心）架构基础上，搭建云平台，实现硬件资源的在线迁移、动态分配和自动化管理，从而为数据处理和分析提供更加快捷强大的计算、存储和网络共享服务能力。

      2.2.4  不断深化信息系统集成，提高数据共享

      通过加强中国石油内部系统间集成，以及与外部相关系统的集成，能够有效消除数据屏障，扩大数据共享范围，提高数据的准确性、完整性和及时性。但是，目前信息系统集成的数据来源和类型相对单一。“大数据”的出现要求信息系统更加开放，应考虑在更大范围、更高层次上集成更多类型的数据，从而能够为战略、管理、生产等各层面决策提供更加全面、准确、快速的支持。

3、结语

      随着相关技术的快速发展，企业对“大数据”的认识和应用将逐步深入，对数据和数据价值的理解和把握也将更加具体。企业需不断加快技术创新、管理变革和人才培养，以期在新的“大数据”时代构筑新的竞争优势。