• 云服务

  SOLUTION CENTER
• IDC方案设计
• 云服务
• 智能化弱电系统集成
• IT外包服务

云存储解决方案

企业云存储系统解决方案

云存储系统有效解决海量有效解决海量，有效解决海量。平台具备开放式架构、组件化封装、积木式开放等技术特点，能提供应用快速交付能力，可以根据用户不同阶段的应用需求与特殊使用需求进行快速的业务开发及业务功能调整工作。平台定义标准接口，支持多层次的集成。中心管理平台主要管理服务器及数据库服务器支持双机热备，大容量业务访问时可支持集群部署，确保系统平台的可靠性与稳定性。

云存储系统提供高速数据接口，为应用平台提供数据高效检索、快速调取等服务功能，为业务应用提供有力支撑。

平台拥有完善的运维管理功能，系统管理人员能够实时了解系统中核心设备的运行状况，及时发现设备故障信息，能够提供对系统内设备的自动巡检功能，对巡检情况做统计分析，使系统维护人员能够快速了解异常情况，及时排除设备故障。

云存储系统同时需要提供标准的运维接口，维护便捷，实现高效实用的管理及使用机制。

云存储解决方案采用全新的设计理念，可从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升监控存储的质量。由于这些明显的优势，云存储将成为未来平安城市、智慧城市系统的基石，有效的支持各类数据集中存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等数据分析业务，成为便捷、统一管理和高效应用的大数据基础平台。

云存储系统实现存储资源统一管理、高效应用、系统规模平滑扩容为目标，以“先进、可靠、成熟、开放、经济”为总体建设原则。

先进性原则

在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。选择实用性强产品，模块化结构设计，具备动态扩容能力的系统，既可满足当前的需要又可实现今后系统发展平滑扩展。可靠性原则数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。同时提供可靠冗余策略，对应用数据进行更加安全的数据保护，降低硬件故障、网络异常等给系统造成的数据丢失风险。在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。

成熟性原则

为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供高效稳定统一的访问接口。

开放性原则

开放高性能的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。充分考虑系统的升级和维护问题，支持在线升级和维护。系统的维护和升级操作由系统管理员即可完成。

经济性原则

现有业务系统存储数据量较大，且随着监控高清化的趋势，以及建设规模的扩大，存储数据的规模扩展较快。因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间内能够保持相对稳定。结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。通过软件实现在较廉价普通服务器上实现高度容错，同时能够保持较高的磁盘利用率，保证在较低冗余度的情况下实现数据的高可靠，大大节约和降低系统的建设成本和持有维护成本。

设计目标

云存储解决方案采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。

云存储系统将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。

系统架构

云存储系统解决方案能帮助用户轻松管理海量数据，优化业务数据流，为应用系统提供统一的数据管理平台。提供高可用的存储服务，优化业务数据流，为应用系统提供统一的数据管理平台。

系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需求：

存储层：基于单个存储节点，管理本地的硬盘，文件和数据块。

存储管理层：提供单个集群和多域的管理能力。

接口层：提供丰富的访问接口，适应各种应用。

业务应用层：业务应用层部署由各用户根据自身需求，充分利用接口层提供的各种接口，开发而成各种应用系统，联网共享系统等。

系统组成

云存储系统内部，由元数据服务器和云存储节点组成。元数据服务器支持两台、三台及以上形成集群，提供高可靠的元数据服务。云存储节点提供高容量、高密度的存储介质和极高的IO能力。

云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据服务器（MetadataServer）、云存储节点服务器（DataNode）、客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。

元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，元数据服务器（MetadataServer）在逻辑上只有一个，但采用集群方式，保证系统的不间断服务；

云存储节点服务器(DataNode)负责具体的数据存储工作，数据以文件的形式存储在DataNode上，DataNode的个数可以有多个，它的数目直接决定了云存储系统的规模；同时，针对视频业务，可在DataNode上集成了流媒体服务，让存储节点具备了流媒体直存能力，让前端视频流直接存储至云存储成为可能。客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力。

关键技术

负载自动均衡技术

采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。

元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。

数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。

当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。

另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。

高速并发访问技术

客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。

客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。

通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。

高可靠性保证技术

对于元数据，通过操作日志来提供容错功能。主服务器本地SSD盘组建高可靠RAID1，提供高可靠容错能力。当元数据服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步，实现更高程度的可靠性。

对于节点服务器，采用ErasureCode冗余方式实现容错，数据冗余分布存储在不同的数据节点上。任一数据节点的损坏，不会导致任何数据丢失，不会影响任何的数据访问和写入过程。之后，通过灵活数据恢复机制，进行数据重建过程。

高可用技术

系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点。

元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用Erasurecode冗余备份机制，如采用4+1节点间冗余容错，任意损失一个节点，数据不丢失，服务不停止，客户端无感知。

RAID3.0技术

RAID3.0技术为海量数据存储而设计，完美的实现了海量数据存储下的高可

靠、可共享、节点间冗余能力，以及足够高的性价比等诸多需求。

RAID3.0技术将用户输入的一个文件或对象，切分成N块数据，通过Erasure Coding技术计算得到冗余的M块数据，将N+M块数据分散分布到N+M个网络数据节点上，从而提供容忍M个分布在不同数据节点磁盘或节点级别故障能力。

通过ErasureCoding技术，实现了多种不同冗余能力的N+M组合方式，提供灵活的数据可靠性。重要的，冗余可以根据不同的文件/对象进行不同的配置，使用方可以视业务对数据可靠性的不同要求而进行灵活配置。

文件/对象级别的细粒度，感知数据的容错设计，让数据重构只限于用户数据，避免了RAID/RAID2.0技术或多或少的无效数据恢复开销。N+M块数据通过算法，负载均衡的分布到集群中的N+M个数据节点上，实现了跨越网络节点的故障容忍能力。也让集群中众多节点、众多磁盘协同参与数据恢复成为可能，从而实现了跨节点众多磁盘参与、只恢复用户真正数据的高效数据自愈机制。

跨节点、多硬盘、文件/对象粒度的数据冗余构建技术，能高效利用集群多网络节点、多硬盘的IO汇聚能力，提供急速的存储性能。

跨节点的分布式设计，让系统几乎无上限的海量存储能力成为可能，极好的满足了数据爆炸式增长的时代平滑扩容的建设要求。

同时，RAID3.0技术对于跨节点的容错设计，对物理节点可靠性的要求显著下降，从而有效降低了存储成本。物理数据节点本地存储不再需要组建RAID，有效保障了整体系统的磁盘利用率。

系统功能

云存储系统支持以下功能：

系统帐户管理

云存储对外提供登陆、认证接口，保证系统安全性。云平台必须配置云存储的用户名和密码之后才能接入到云存储系统。用户通过云存储运维系统进行删除节点，格式化节点等操作时，必须再次输入用户名密码，防止系统被非法破坏。

存储空间管理

通过存储虚拟化技术，各种云存储设备被虚拟化成一个统一存储池，提供给多个系统来使用。系统单域可管理256个数据节点，支持16PB空间，多域扩展无上限。通过存储池管理，可以为每个系统或者每个用途划分独立的存储空间来使用。

存储池用Bucket来表示，是分布式文件系统内的一个存储文件的容器，系统中每一个文件，都必须包含在一个Bucket中，Bucket不能嵌套，即Bucket内不允许再次创建Bucket。Bucket通过全局唯一名称标识。扁平的系统结构，使得云存储提供海量存储、线性扩展能力成为可能。这样的扁平结构成为众多分布式文件系统的选择，用户可以创建Bucket，删除Bucket，按照范围罗列Bucket内的文件。Bucket也可以理解为一个空间独立的目录。

存储空间满后，新的数据无法再写入，用户可以手动删除文件，有些应用则
需要自动完成空间回收功能。

快速数据恢复

文件写入时，数据被分片冗余存储在不同的存储节点上，采用节点间冗余容错机制进行容错，可在组内任意损坏一个存储服务器节点的情况下实现数据完整可靠，降低硬件故障、网络异常等给系统造成的数据丢失风险。系统采用ErasureCode算法进行冗余，提供更快的访问速度和空间利用率。

以节点间4+1冗余策略为例，客户端在MDS的调度下，将一定长度的文件内容，切分成四个数据块，通过利用EC算法计算得到一份冗余数据，然后客户端将五份数据分发到MDS指定的五台存储节点上，就完成了一次数据写入动作。

这五台存储节点任意一台故障或节点内存储这份数据的磁盘故障，不会导致数据的丢失，从而实现了数据的高可靠性，见下图。

由于数据存储的时候被分片存储在不同的存储节点上，任意节点或者硬盘损坏，除了损坏的节点和硬盘，元数据管理服务器会调度其他所有的存储节点和硬盘参与恢复，以最大的速度将该硬盘上的数据恢复出来，维持数据健康状态。

本系统同时提供手动和自动相结合的方式，为业务系统提供灵活的数据恢复机制。系统支持手动选择需要恢复的时间段，以快速恢复重要的文件。而对于一般性文件，则可以通过数据冗余保证数据依然可访问。

动态负载均衡

一个存储集群内部，众多存储节点组建形成的一个统一空间，从整体性能、避免单点故障、数据热点瓶颈等方面，都需要一个良好的动态负载均衡功能。动态负载均衡指集群内部，自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡。

云存储采用两级负载均衡调度，首先由元数据服务器选择一个负载轻的数据节点作为当前请求的读写节点，同时节点内部还会根据每个硬盘的负载选择最合适的硬盘参与数据写入。

对于存储数据写入而言，动态负载均衡表现为任意时刻，数据节点的写入负载是动态均衡的。元数据服务器根据各节点的负载情况，自动调度，将新的数据写入调度到综合负载相对较低的节点，实现整体负载平衡。对于存储数据读出，则根据数据分布情况，以及数据分布的几台设备负载情况，选择从负载较轻的节点读取数据。

在线弹性扩容

云存储支持在线扩容，在线业务持续运行的情况下，可以动态增加或缩小云存储系统的容量，表现业务无感知的增加或删除存储节点。由于云存储系统为一个整体，结合集群管理、数据冗余与恢复等机制，实现了在线动态增加删除节点，对业务层仅表现为存储容量的增加和删除。

增加新的节点时，配置好节点的网络地址，即可加入系统工作，实现一键扩展，快速部署。系统能统一管理不同型号，不同存储盘位的数据节点，同时能接入标准的第三方IPSAN设备。系统具有线性扩展的特性，容量增加时，整体的读写性能也同步增加。同时，系统容量和每个Bucket容量的扩展可快速生效，无任何数据迁移。对于硬盘未满的节点插入硬盘也非常方便，不需要做任何配置。

自动失败接管

单数据节点，其由于硬件、磁盘等原因，可用性是难以保证的。形成集群之后，故障率得到了放大，从而表现为集群整体可靠性下降，存储服务可用性较低。但是利用集群管理技术，存储节点错误检测和调度机制，可以实现存储节点错误的透明化，从而实现对客户端而言，提高存储服务的高可用性。

即元数据服务器实时监测各数据节点情况，一旦发现节点异常，则将节点所负责的业务调度到其他节点上。再配合客户端反馈异常机制，以及将之后的业务流进行重新定位等，实现集群对存储节点错误的屏蔽，大幅提高存储服务的高可用性。

元数据服务器管理着分布式文件系统的所有元数据，其高可用性直接影响着系统的可用性。本系统采用高可用性HighAvailable技术，保证元数据服务器集群实时同步元数据，快速检测异常，以及迅速接管服务，保证了系统的高可用。元数据服务器集群内部，通过单独网络连接，进行实时的错误检测。单独网络保证心跳不会受到数据中心其他网络通讯的干扰，保证链路的可靠性。心跳机制保证集群服务器之间错误的实时检测和发现，为主备快速切换提供保证。

一组元数据服务器集群，对外表现为一个虚IP（VIP），即元数据服务器集群内的失败检测、错误接管对外部而言是透明的。为提供更高可靠性，元数据服务器集群内部，通过独立的心跳网络，实时监控集群服务状态，在出现主元数据服务器异常时，自动推举从节点接管服务，完成内部失败接管，而整个过程都是元数据集群内部完成，对外部而已是无感知的。

智能运维管理

运维管理平台为系统管理员提供配置和维护云存储系统的有效工具，提供Web界面，充分体现了系统的可维护性。管理监控中心提供设备管理、系统监控、告警管理、故障管理等功能。设备管理包括设备IP配置、数据格式化、添加设备、删除设备等功能。设备的版本、CPU、内存、网卡、磁盘可以通过运维界面很方便地查看。作为整个云存储系统的管理接口，实现集群管理、维护、监测的友好、简单。

只有系统留有一定的备份空间，保证部分硬盘或者节点故障后，可用空间依然可以达到系统的要求，则硬盘或者节点错误就可以集中处理，批了更换故障设备。这样用户就不需要去关注每个错误，只需要定期检查整体容量是否充足，大幅减低了维护工作量。

系统自带邮件通知组件，在有新的故障发生时，比如系统容量不足，硬盘故障，数据节点故障等情况，会立即发送邮件给配置好的运维收件人列表。在系统有任意错误时，每天早上会发送一份日给运维人员，以免维护人员忘记处置。

云存储运维系统已经和云平台以及整个系统的运维平台进行对接，可以在云平台或者运维平台对云存储进行统一管理，协议采用SNMP，RESTful等接口进行对接。

可以通过运维系统对元数据服务器或者数据节点进行升级，由于元数据节点采用了集群模式，其中一个元数据服务器升级并不会中断业务，数据节点也是，失败接管模块会将正在升级的数据节点负载分摊到其他节点。

系统软件接口

云存储系统对外提供多种客户端接口，可以根据实际应用的需要编写应用程序，通过调用相应的接口直接访问云存储系统。

基础SDK

推荐使用SDK访问方式，可以获得最优的系统性能，文件读写时，直接在SDK做文件的切片和组合，不需要专门的服务器来支持。接口形式上，表现为类POSIX语义的接口，即提供创建bucket、删除bucket、设置bucket属性、获取bucket属性、创建文件、删除文件、设置文件私有属性、获取文件私有属性、打开文件、写文件、读文件、文件内定位、获取文件属性等接口。

目前，本系统提供windows/linux上的C/C++/Java版本接口。

流媒体SDK

基于基础SDK封装，以提供对视频图像文件更方便的访问方式。流媒体写入时，自动按照摄像头ID和时间建立目录，并对每帧数据建立帧索引，通过两级索引，可以做到支持按照时间段精确查询，并按照流式方式读取数据。在单个云存储系统内，不管规模由多大，都可以做到秒级定位。同时还支持支持I帧快放，最高64倍速，支持倒放，支持即录即播等功能。

POSIX接口

Posix接口是各种操作系统都支持的本地文件访问接口，通过安装云存储驱动，可以基于SDK模拟出一个本地硬盘，用户可以像访问本地硬盘一样访问云存储系统，对老的应用程序提供很好的兼容性。

RESTful接口

目前互联网公司提供的云存储服务都采用RESTful接口，具有可读性好，Web开发友好等特点。云存储RESTful接口基于资源ID，支持数据加密。RESTFul接口需要采用云存储接入网关来提供WebService服务。6.5NFS/CIFS接口NFS/CIFS是标准的NAS接口，可以提供网络文件系统服务，Linux/Windows机器可以在不安装任何驱动或程序的情况下，经过授权后直接访问云存储的文件，不需要走上层应用和平台。这种接口需要云存储网关来支持。