信息爆炸时代的超级数字图书馆-分布式对象存储

智慧棒

数据产生与信息爆炸的挑战
为了更清晰的认识我们所生存的环境，提高相互之间更沟通的效率，人们收集和创造了大量的数据，有些是对物理世界的客观描述，如原子和分子的组成，或是DNA螺旋的结构；也包括烟波浩渺的宇宙中的星系和星云；亦或是人类对自身历史的记录；还有一些数据被用于人们相互沟通，如Facebook上每天新增数十亿条内容，或数每天被发送的数千亿封邮件。
据IDC统计报告预计，2009年到2020年，全球信息总量增长44倍以上，将达到35.2ZB（1ZB=1,000,000PB），如此大规模的数据给存储系统带来了巨大的挑战，人类将如何应对咆哮而来的数据洪流？
存储方案的演进
在人脑数据处理时代,数据处理由人类大脑完成，由于大脑存储容量相对比较有限，仍然有大量数据被存储在图书馆。当有需要的时候，人们便会到图书馆获取更多的数据。
20世纪电子与信息技术迅速发展，机器计算迅速普及， 冯•诺依曼提出了存储程序逻辑架构，即现有的计算机都遵循的“冯 诺依曼体系架构”。但冯诺依曼体系架构没有考虑并行计算和数据共享情形，在如今的网络时代，大量计算设备通过网络形成一个庞大的，相互独立而又统一的计算系统，因此我们可以总结出一个数据存储的通用模型，这个模型包括两级存储，其存储容量差距约1000倍：

                               
登录/注册后可看大图

SAN和NAS技术已经出现了10多年，目前单台SAN或NAS最大容量已经做到PB级别，但在应对EB级数据挑战时，还是显得有些力不从心。这主要由于其架构和服务接口决定的。
传统的RAID和Scale-up的结构也阻止了EB规模可用的存储系统诞生，传统的RAID基于硬盘，通常一个RAID组最多包含20+块硬盘，难以支持EB级存储规模，同时Scale-up这种结构也决定了即使达到EB级存储容量，性能也将成为真个系统的短板。
我们再次回到人脑计算模型，在信息时代的今天，我们设想能否有一种“数字图书馆”，它可以共享大量的数据给很多人（服务器/服务器集群），提供超大的存储容量千倍于当前的高速（SAN和NAS）存储，人们（应用）访问数据的时候也不需要知道图书馆怎么对这些书，只需要指定一些关键信息（如书名称，出版社，作者）就可以获取到这本书里面的数据。如果书变得老旧残破，书中已经/快要烂掉的几页内容被这个“数字图书馆”自动的抄写到其他纸张上面，并重新装订这本书。而对于作为数据使用者的人们根本无需知道图书馆自动完成的这一切，只是根据需要去获取数据资源？
分布式对象存储的诞生
随着信息技术的发展，“数字图书馆”不再是一个遥不可及的设想，对象存储使得“数字图书馆”成为现实。对象存储系统（Object-Based Storage System）改进了SAN和NAS存储的劣势，保留了ＮＡＳ的数据共享等优势，通过高级的抽象接口替代了SCSI存储块和文件访问接口，屏蔽了存储底层的实现细节，将NAS垂直的树形结构改变成平等的扁平结构，从而提高了扩展性、可靠性、平台无关性等重要存储特性，实现了安全数据共享的存储体系结构。
换句话说对象存储是智能化、封装得更好的块，是“文件”或其他应用级逻辑结构的组成部分，文件与对象的对应关系由上层直接控制，对象存储设备本身也可能是个分布式的系统——这就是分布式对象存储系统了。
用对象替代传统模块的好处在于对象的内容本身来自应用，其具有内在的联系，具有“原子性”。同时，对象存储架构还具有更好的可伸缩性。一个对象除了ID和用户数据外，还包含了属主、时间、大小、位置等源数据信息，权限等预定义属性，乃至很多自定义属性。
具备EB级规模扩展性的分布式对象存储，能够有效的填补上述通用计算模型中“网络计算”场景海量存储单元空白，通过高层次的数据模型抽象，可以简化应用对数据访问，同时使得海量存储更加智能。
华为UDS海量存储系统使你存无止境
华为基于对运营商、互联网、高性能计算等各行业的深刻理解，凭借深厚的ICT技术积累，秉承存无止境，安全可信理念，通过不断技术创新，面向海量存储市场推出新一代的UDS产品和相关云存储解决方案。
UDS采用基于ARM架构的低功耗、高密度存储节点，通过对象存储技术、P2P分布式存储引擎技术、集群应用技术等构建海量对象存储基础架构平台，对外提供多种访问接口，以满足不同业务的适配需求。基于UDS可以构建多种解决方案，如海量资源池，网盘，云备份，集中备份等。UDS帮助用户构建强扩展，易管理，高可靠的系统，轻松应对海量存储环境下的各种挑战。
华为UDS(Unified Distributed Storage)海量存储系统以对象作为基本存储形式，通过分布式技术将本地或异地的海量存储节点的存储资源进行有机的整合，形成一个跨地域，跨设备，可横向扩展的EB级的大型分布式对象存储系统；该系统通过多种安全、可靠的存储技术确保数据私密性及数据高可用；通过自动化部署、丰富的生命周期管理策略及高效节能特性，提高运维效率。华为UDS海量存储通过构建数字洪流方波提，帮助客户化挑战为机遇，在发展中持续受益。