Gartner张瑾：大数据将对数据中心架构提出新挑战

智慧棒

11月30日下午消息（杨笑）在今天召开的由中国计算机学会主办的“Hadoop与大数据技术大会”上，Gartner公司数据中心研究部首席分析师张瑾表示，除了已有的基础问题之外，大数据对数据中心架构还提出了新挑战。
四大基础问题
大数据是传统的架构、传统的技术无法解决的数据的问题，面临很多挑战，张瑾表示，有些基础问题是大数据解决方案首先应该考虑的出发点。
首先，张瑾表示，大数据问题不单是针对互联网、多媒体等新数据，还有企业传统应用因为数据量的增长，现有的IT架构已不能满足要求。也就是说大数据一半是新的业务，也有一半是解决传统业务的性能问题。而且从企业的角度来看，管理数据的成本也是促使采用大数据新的解决方案的原因之一。另外，大数据新的应用是对传统应用的补充。
其次，张瑾表示，大数据最主要的问题之一是多种数据的混合体，也就是说它不再是说像传统的能够事先预知数据的格式和形态，数据交互的手段、协议。实际上，很多的数据甚至不是由企业本身所拥有的，而是由外界所提供的，这是一个很严重的问题。
再次，张瑾表示，对企业应用来说，企业目前还不习惯采用开源的解决方案，大部分的企业在大数据上的研究的瓶颈是，商用的版本不够丰富，支持还不够完善，这对企业应用来说是一个挑战和机遇并存的状态。
最后，张瑾指出，目前大多人都认为数据量是大数据最大的问题。实际上还有其他问题，大数据会把信息管理的各项需求都推向极致。大数据除了数据量、多样性和高速特点，还有复杂性，包括了空间维、时间维等多种数据的复杂性。
面临新的挑战
据张瑾介绍，解决这四个方面的问题只是大数据解决方案的基础，实际上还有很多的新问题需要解决。
“数据的敏感性是一个重要问题”张瑾表示，“但至今为止，现有的技术和管理的手段还没有对数据的敏感性分析有很好的解决方案。”
另外，张瑾表示，数据交换所有的方式都是以标准的协议来支持的。而且数据的来源本身是多样性的，数据的格式甚至是无法管理的，因为有很多的数据是来自于企业的外部，来自于互联网的提供商。这种情况下数据的共享协议是一个很严重的问题，到底如何把这些协议自动化地拿到数据仓库里。
“传统的数据管理会把单独的时间点作一个热点数据，”张瑾表示，“但在大数据的时代，数据管理跟传统的数据管理有明显差别。实际上，热点数据首先有可能性并行多个热点数据在用户系统里。同时，这些热点数据本身之间实际上是有可能有联系的。因为各种事件的相互触发，所以很有可能这些热点数据同时出现，而且是相互关联的，甚至可能可以预测。”
另外，张瑾表示，质量管理是说传统的数据管理里非常重要的一个方面，但至今，大部分人依赖于传统的数据仓库的工具，而没有专门针对大数据的工具和技术能够解决这些问题。所以，目前大数据的应用受制于用户接受的程度本身和技术。
“大数据形态多样但仍处在雏形阶段。数据的集成尤其是跨行业、跨不同部门、跨各种技术的集成起来的机会还是非常少的。”张瑾认为，“至今还有很多新的形态可以出现。现在的架构的技术应该说离大规模的商用和普及是有很大的距离的。”