大数据时代下的数据存储

Mary

　　

　　图：如今世界数据信息总量增长迅速

　　从上世纪八九十年代开始，互联网的发展愈发迅速，随之而来的是大量信息的高速传播。同时，许多互联网企业加大其产品体量，尤其是一些社交网站的兴起，导致数据量以空前的速度激增。进入二十一世纪，整个互联网也正处於一个数据爆炸时代，「大数据」一词也成了大家茶余饭後的谈资，文本、音频、视频、图像等多媒体数据铺天盖地。随着技术的发展，大数据广泛存在，如企业的数据、统计数据、医疗数据、移动数据、物联网数据等，在各行各业，数据正呈现出空前的增速。例如，淘宝网每天进行几千万笔交易，其数据量达几十TB，数据存储量达几十PB。

　　面对容量不断增长、种类不断增多、速度不断加快的数据，庞大的数据体量给数据存储带来了巨大挑战。如今，许多企业面临的数据处理量比过去多年的综合还要多，如十年以前，商业的并行数据库很少有超过一百个存储节点以上的，而现在雅虎以及Facebook的存储节点数已是成千上万。海量数据已经对我们的工作、生活以及社会经济产生重要的影响，因此解决数据爆炸时代下的数据存储问题，刻不容缓。

　　计算机存储固件的起源与发展

　　相信很多人都能注意到，我们的电脑的盘符都是从C盘开始编号，为什麽不是A或者B呢？事实上，多年以前，计算机给外部插入的驱动器分配盘符时，默认的第一个盘符就是A盘，当时A盘和B盘对应的是软盘的盘符。而随着技术的发展，B盘和A盘相继被淘汰，这两个盘符就空缺了，由於计算机的设计者往往遵从向前兼容的原则，即新设备要尽量支持早期版本的功能，因此，现如今C盘作为第一个盘符已经成为业界的事实标准。那麽计算机的存储固件经历了怎样的发展阶段呢？

　　软盘。是专门用於存储和转移数据的外部存储器，可以直接插拔，随身携带，在DOS系统盛行的年代，很多系统都是安装在软盘中，现在的一些服务器中依旧能看见软盘的接口。软盘的缺点在於存储容量很小，体积却相对较大，例如3.5寸的软盘只有1.44M的存储容量。

　　光盘。是以光信息为介质来存储数据的一种辅助存储器，可以存储文字、声音、图形、图像、动画等多种多媒体数据。早期使用系统光盘重装电脑系统、使用游戏光盘安装游戏都是一种比较主流的方式。目前光盘的种类、制造工艺和读取技术种类繁多，是生活中比较常见的存储固件。

　　硬盘。是当前计算机最主要的存储媒介，由一个或者多个铝制或者玻璃制的碟片组成，碟片外面覆盖有铁磁性材料。主要分为机械硬盘（HDD）、固态硬盘（SSD）和混合硬盘（HHD）。机械硬盘是传统的普通硬盘，也是目前存在时间最长的硬盘，其容量大、价格低廉，缺点是运行速度缓慢，同样地，由於其复杂的内部结构，导致其容易出现划痕，禁受不起频繁的震动，因此容易损坏。固态硬盘近几年在普通消费市场日渐成熟，它在一块电路板上集成了所有重要元器件，其运行速度是目前市面上硬盘中最快的，结构简单，仅仅只有一块电路板，不会受到震动影响，不容易损坏，缺点是容量相对较小，售价较高。混合硬盘是一种机械硬盘和固态硬盘的叠加产品，主要解决了机械硬盘速度慢和固态硬盘容量小的问题，同样的，混合硬盘也兼具二者的缺点。

　　数据爆炸时代的云存储

　　以上对存储固件的描述说明了单机上的存储能力的进步与发展，但随着计算机技术和互联网技术的不断发展以及大数据时代的推动，云计算技术成为领域类的热点话题，作为云计算技术的关键一环，云存储这一新型的存储方式，在当今数据爆炸的情况下正焕发出闪耀的光辉。

　　大数据时代的存储不再向上述单机的存储方式一样利用单一的固件，云存储更核心的是一种分布式的并行存储架构，它是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的、廉价的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。对使用者来看，它就像一个超级大的存储器，可以通过网络直接访问，随存随取。

　　在数据爆炸时代下，每个人都是海量数据的生产者，全球数据量仅仅在2015年就达到了数万亿GB，这也刺激了云存储服务的市场发展，其市场占有比例也在不断增加。各大互联网厂商纷纷推出自己的云存储平台，如Amazon的S3，google的Google Drive，Microsoft的Windows Azure以及百度云盘等。

　　云存储的特点

　　在大数据和云计算的背景之下，云存储具有非常鲜明的特点：

　　分布式的并行扩展架构。云存储能够动态地按需进行扩展，一般来说，云存储系统的节点之间会通过网络进行连接，当需要扩展时，只需要将新的节点插入网络中即可；

　　分层存储。云存储能够对结构化的数据进行归档，按照不同层次保存历史数据，提供多种级别的访问；

　　智能空间分配。云存储能够将相同访问特点的应用集中共享资源并且动态、灵活地按需进行资源分配和使用，以达到资源的最大利用和保护；

　　服务属性。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变，用户所面向的只是一个服务接口，因此，严格意义上来说，云存储不是简单的存储，而是一种服务。

　　基於以上特性，相比於传统的存储设备和存储软件，云存储的优点也十分明显：

　　高效率，低成本。传统的存储方式下，企业会根据自身需求投入大量资金购置硬件设备、搭建平台，软件开发周期较长，技术升级落後。而在云存储方式下，企业只需要投资配置必要的终端设备，提供分期租赁服务，不需要投入其他资金，因此使用成本低，对於特定服务，可以做到立刻投入使用，方便且快捷。

　　管理方便。传统的存储方式下，系统需要专门的技术人员来维护，导致昂贵的维护成本。而云存储服务的维护都是由提供商完成，企业基本不需要投入资金用於系统维护，却能够获得最新最专业的服务。

　　方式灵活。传统的存储方式中，一旦系统开发完毕，系统很难根据实际运行情况动态调整，如果业务需求发生变化，软件需要不断更新或者重构，成本高昂。而云存储一般根据客户数、使用时间和服务项目收费，使用者可以根据自身的需求动态调整其租用服务方式，达到按需使用。

　　云存储的应用

　　大数据与云计算催生出的云存储服务在生活的方方面面日益体现出其重要的应用价值，相比於传统的存储系统，云存储效率高、成本低廉、管理方便、方式灵活。随着应用范围的逐渐扩张与应用的普及化，云存储在很多方面都有较大的发挥空间，如教育、娱乐、个人应用以及企业应用等。

　　云存储在数字化图书馆中的应用。如今各大高校都已经着手建立数字图书馆，其数字信息集成是一个信息资源的超大联合体。并且在这个联合体内，既要满足资源互补，也要避免资源重复，因此需要对信息资源进行归档，方便数据更新和共享。首先，数字图书馆信息的更新速度与传统的图书馆相比更快捷，传统的图书馆应用价值相对较低，不能及时有效地更新信息。其次，云存储降低了图书馆的存储成本，传统的数字化图书馆在构建过程中的成本很高，各种计算机的存储设备及设备维护管理等也需要大量费用，而将云存储技术应用到数据化图书馆的构建中，既能提高管理人员的工作效率，也能提升服务质量。另外，云存储对保护图书馆信息的安全也起着非常重要的作用，传统的数字化图书馆经常出现被黑客攻击的现象，而云存储技术能将图书馆的信息集中有序地放到各个服务器上，并自动进行数据备份，保障了数据的安全性。因此，云存储极大地推进了数字化图书馆建设。

　　云存储在视频监控中的应用。现阶段，安防领域要求视频监控系统能达到大规模高清和网络化的部署，呈现更高品质的视频图像供精准的智能数据分析。另外，在平安城市和智慧城市等大规模行业应用中，对海量高清视频数据存储系统的需求非常急切，高性能、高容量、高可靠性和扩展性的云存储服务脱颖而出，其可通过云计算、虚拟化等关键技术实现海量数据规模的弹性扩展的特点，大大降低了运营成本和资源浪费。目前，许多公安机关都已经建设完成基於云存储的监控中心，实现了派出所级别的云监控系统，能够进行统一的录像管理。同样地，云存储也保证了其数据冗余备份以及录像数据的安全性和可靠性。此外，基於云存储的视频监控也成为了很多企业实现业务流程自动化监管的一个重要手段，大大降低了企业的人力和物力成本，在不久的未来，随着物联网、智慧城市、智慧医疗等进一步的建设与发展，基於云存储的视频监控可能会用於城市级甚至跨多个区域的视频数据中心建设中去。

　　云存储在教育领域的应用。随着高等教育逐渐普及，人们对教育资源的需求也越来越多，而高校本身的资源利用率低，高校与高校之间实际上是相对独立的个体，独立办学，教育资源和信息资源共享程度很低。云存储以其优良的共享性，在高校教育资源整合中起到了十分关键的作用，很好地解决高校扩招形成的教学资源需求持续增长与教育资源相对短缺之间的矛盾，提高了教学资源利用率，加速教育资源共享。特别地，教育云是云存储迁移到教育领域的成功案例，正作为未来教育信息化的基础架构，为教育领域提供优质的云服务。

　　云存储发展存在的问题

　　大数据时代背景下，云存储的发展也受到多方面因素的制约：

　　网络带宽问题。云存储的发展很大程度上依赖於网络的发展，使用者需要通过多种宽带接入设备与云进行连接，因此，只有宽带网络得到良好的发展，使用者才能获得足够的数据传输带宽，实现大容量的数据传输；

　　法律法规的完善问题。目前云存储领域没有可以借鉴的法律，将个人相关信息存入网盘等行为具有很大的侵权风险和数据安全保护风险；

　　数据的所有权问题。在云存储框架之下，无数数据存储在云上，服务提供商也拥有使用者所存储的数据，关於该数据的所有权是一个亟待解决的问题。

　　总结

　　本文从云存储的起源、特点、应用和问题方面介绍了大数据时代背景下的一种分布式存储服务。随着大数据与云计算的持续发展和创新，云存储在人们生活中越来越扮演着重要的角色，无论是存储个人信息或是企业级数据，还是整个城市、跨区域的海量数据，云存储提供了良好的存储、安全、共享等服务。同样地，在不远的将来，技术的不断改进和管理方式的不断变化，使得愈发先进的存储方案不断影响人们的生活方式，让人们的生活更便利，更美好。

　　【华发网根据大公报采编】