中兴通讯：大数据的价值

智慧棒

如果要问继云计算之后这几年来信息技术领域什么最热门，应该非大数据莫属。然而，由于大数据技术发展得过于迅猛，导致了一个有趣的现象：我们一方面消费着由大数据技术支撑的各种服务(电商、社交网络、通信、医疗、交通等等)，一方面又对这个新生事物存有各种疑惑，大数据到底是什么，发展趋势如何，大数据会是一个新的商业噱头吗?
成功案例
让我们先来看一个大数据成功应用的成功范例。塔吉特是美国第二大超市，它成功使用大数据技术实现精准营销。为了提升孕妇相关产品的销售，顾客数据分析部建立了一个包含25种典型商品消费数据的“怀孕预测指数”。通过这个指数，塔吉特能够在很小的误差范围内将仅有2个妊娠期的女顾客辨识出来，从而可以抢在其他商家之前，推送与孕妇及婴儿护理相关的产品广告。通过将这种基于海量数据分析的客户分类技术应用到其他产品上，塔吉特的销售额从440亿美元上升到670亿美元。
我们再来观察一下大数据成功案例背后涌动着的不断滋长的海量数据。全球每秒钟发送2.9百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年。每天会有2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3年。同时每天亚马逊上将产生6.3百万笔订单，每个月网民在 Facebook上要花费7千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB，Google上每天需要处理24PB的数据。
如果大数据仅仅是停留在大量数据汇聚的层面的话，还不足以成气候。人们最终看重的，还是大数据进行分析和处理后，所带来的巨大经济价值。
麦肯锡的研究报告指出，仅美国医疗服务业、欧洲公共管理部门和全球定位数据市场三个领域每年就能产生超过7000亿美元的市场价值，而大数据是这些领域下一代技术架构的基石。据Gartner公司研究，2012年全球大数据市场规模为50亿美元，带动280亿美元IT支出，到2016年这个数字将超过2300亿美元。每年增长的幅度连时下的大热门云计算都难以望其项背。
4V特征
由于大数据是一个横跨多个IT边界的动态活动，所以目前并没有一个针对大数据的统一的定义和标准。
大家普遍认可的是大数据具有4V特征：
海量化(Volume)。全球可统计的数据存储量在2011年约为1.8ZB，2012年达到2.7ZB，2015年将超过8ZB。数据容量增长的速度大大超过了硬件技术的发展速度。
多样化(Variety)。统计显示，结构化数据增长率大概是32%，而非结构化数据增长则是63%，目前全世界非结构化数据已占数据总量的80%以上。随着非结构化数据的比重越来越大，对传统的数据分析处理算法和软件提出了挑战。
快速化(Velocity)。随着经济全球化趋势形成，企业面临的竞争环境越来越严酷。在此情况下，能够及时把握市场动态，迅速对产业、市场、经济、消费者需求等各方面情况做出深入洞察，并能快速制定出合理准确的生产、运营、营销策略，就成为企业提高竞争力的关键。
价值化(Value)。价值是大数据的终极意义所在。对于企业而言，数据正成为企业的新型资产，形成竞争力的重要基础。与曾经广为提倡的“品牌价值化”一样，“数据价值化”已经成为企业提高竞争力的下一个关键点。
在Garter所公布的IT技术成熟度曲线的图中，云计算(Cloud)已经开始走向成熟，而大数据还处于高速发展期，似乎云计算的落地将先大数据一步。但一些行业人士并不这样认为。如果真正去对比大数据和云计算的话，也许用户对于大数据的接受程度会比云计算更高，因为大数据是以企业应用的角度为出发点，对数据进行处理，其最终目的能够为企业用户带来价值。而反观云计算，其是一种服务，但用户对于怎么去实现这种服务，以及实施到何种阶段才能带来价值，企业对这点并没有很明显的感受。而大数据则不同，在之前用户就已经积累了一些数据处理的经验，例如BI系统、数据操控系统等等，这些实际上都是大数据处理的前身系统，用户已经体会到其直接带来的价值。所以从结合度方面而言，相比云计算，大数据可能更易于接受，更容易让用户去部署大数据解决方案。
提升量身定制方案能力
中兴通讯从2005年开始涉足分布式海量数据存储技术。经过多年发展，已形成从底层服务器硬件，到大数据中间件平台，再到上层各类数据挖掘分析工具的一套完整的大数据解决方案。与此同时，中兴通讯还密切跟踪业界技术发展趋势，在推出全套拥有自主知识产权的海量数据存储产品的基础上，将Hadoop等业界主流大数据技术整合到整体框架中，进一步提升为客户量身定制解决方案的能力。如图显示了中兴通讯大数据解决方案的整体框架。
通过各类适配器，采集工具及ETL工具，结构化、半结构化、非结构化数据，以及来自其他第三方应用系统的数据都可以统一存储到大数据平台中。对于不需要实时处理的数据，如网络访问日志，用户操作记录等，可以存储到平台提供的No-SQL数据库及传统关系型数据库中;对于数据处理实时性要求高的应用场景，如电信及金融领域的反欺诈分析，国家安全防御领域的重点人员轨迹跟踪等，则可以将数据存储在分布式内存数据库中以提升存取效率。同时，平台还提供了用于实时数据流处理的复杂事件处理引擎，可实现对海量数据流的实时分析与响应。
中兴通讯大数据平台主要包括如下核心组件：
ZXCEP(ZX Complex Event Processing)：复杂事件处理引擎。
ZXDCache：基于Key-Value的分布式缓存组件。
ZXDFS：分布式文件系统。
ZXDHSS(ZX Distributed Huge Structure Storage)：分布式数据仓库。
ZXCSS：ZX面向对象的云存储系统。
ZXeBase：ZX分布式内存数据库。
ZXMR：ZX Hadoop开源组件包。
ZXDMP： ZX Data Mine Platform。包括搜索引擎，OLAP工具，可视化工具等。
中兴通讯大数据解决方案推出以来，以其优异的性能和精准的市场定位，受到国内外客户及业内同行的广泛关注与好评。目前中兴通讯大数据解决方案已成功应用于包括智慧城市、智慧矿山、智慧交通、安全网在内的行业和领域。在国内某IPTV视频节目存储解决方案中，基于中兴大数据技术的分布式No-SQL数据库中存储的数据量超过了3PB。为某国运营商实施的大数据服务项目中，可支持30万次/秒的动态定位信息读写，每天可处理的实时数据超过40亿笔。