Research for Market

The global cloud storage market is expected to grow from USD 18.87 billion in 2015 to USD 65.41 billion by 2020, at a Compound Annual Growth Rate (CAGR) of 28.2%.

The cloud storage solution and services are currently being offered by numerous vendors such as IBM, Microsoft, Google, Amazon Web Services, VMware, Box, Fujitsu, RackSpace, AT&T, and HP. These vendors are selling variations of cloud storage solutions and managed services. However, there is a price war between these cloud storage service providers globally, as they keep reducing the prices at regular basis and increasing the volume of storage.

2016 Top Markets Report：Cloud Computing

Analysis for different cloud storage

• The State of Cloud Storage

• Top Video Surveillance Trends for 2016

• HuaWei video solution

写在前面

随着智慧城市和智能交通的快速发展、移动互联设备的快速激增，安防视频监控领域产生了海量的非结构化视音频数据，这对监控存储产品提出了更高的要求。面对安防行业旺盛的市场需求，云存储顺势进入安防市场并且在安防监控的应用日渐普遍，逐渐成为视频监控行业解决海量数据存储的首选。

云存储不是存储，而是服务

云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储如同云状的广域网和互联网一样，对使用者而言，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。

云存储的需求分析

首先是视频图像清晰度发展需求。视频监控对视频图像的清晰度需求是无止境的。视频图像的分辨率从QCIF、CIF、D1、720P、1080P、4K、8K一路走来，仅仅使用了不到十年的时间，现在已开始步入4K分辨率主流年代。随着视频图像分辨率的不断增大，相应对视频图像的存储要求也越来越高。例如：1路D1图像（1M码率）存储30天需要的存储容量约为300GB左右，1路1080P图像（4M码率）存储30天需要的存储容量约为1.2TB左右，1路4K（8M码率）存储30天则达到了2.4TB左右，可见随着视频图像清晰度的增加，存储容量的需求也急剧增大。

其次是安防视频监控系统向着大规模、海量数据、智能化和融合应用的方向快速发展需求。近十几年来国内外的各行各业，安防视频监控系统摄像机的数量规模急剧增加。在铁路行业，随着新增沿线入侵报警与视频监控需求的明晰，一条铁路线的建设规模就从几千到上万路摄像机不等；而如一个中等规模城市的平安城市建设规模摄像机数量可能达几万路。1000路的1080P（4M码率+24小时+30天）视频图像存储容量就可以达到1PB，而1万路的1080P视频存储容量超过了10个PB，安防视频监控系统的存储应用已经进入了存储PB级年代。宇视推出的全新一代统一云存储（UnitedCloudStorage）系统，能提供高达数百PB级别的海量存储空间，且兼具高性能、高可靠、强扩展以及易运维等特性，能够很好地满足用户多样化业务的使用需求。

从性能和容量上看，单台存储设备的性能和扩展性基本可以满足PB级以内的视频接入和图像存储需求，但是要接入成千上万路高清1080P，甚至是4K视频，存储几十PB、甚至上百PB的数据，无论是性能还是容量都无法应对，因为单台存储设备无法实现其性能与容量的线性增长；如果采用多台存储设备叠加的方式来实现增加的视频接入和图像存储需求，那么多台存储设备间相互独立，缺乏有效的数据整合与协同处理能力，也会存在以下问题：

1、存储设备统一管理问题。几十上百台的存储设备的管理必须由存储设备厂商提供专业的存储管理软件来完成设备的集中管理和维护，或者由安防视频监控平台厂商来提供存储集中管理服务软件。但是由于不同存储厂商的管理接口和协议各不相同，安防视频监控平台厂商在应对第三方存储设备管理时将变得异常困难；

2、存储资源按需分配问题。视频监控图像的存储时间一般在设计初期必须规划好，例如15天、30天、90天等甚至更长时间。后期需要对存储天数进行调整时，单台存储设备的空间资源无论是扩容还是缩容将无法真正做到存储空间的按需分配；

3、存储资源融合问题。安防行业涵盖门禁、报警、对讲、出入口控制、视频监控、电警卡口等子系统，存储信息包括视频图像、图片、文本、告警信息等。各子系统建设不同的存储用来保存信息，存储资源难以有效融合和利用，形成了事实的信息孤岛；

4、设备性能和存储空间共享及利用问题。按多台存储设备叠加方式部署的视频监控系统，一般先期建设的存储设备已经满负荷运载，而后期建设的存储设备在考虑系统扩展性后有一定的性能和存储空间冗余，但这部分性能和存储空间冗余就很难共享、也不便故障切换。

随着网络技术的发展和带宽的提高，云存储在视频监控前景越来越广阔，云存储的作为未来发展的风向标，与传统存储相比主要有以下优势：

1、成本优势

云存储不是存储，而是服务;就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。这样使用者无需在服务器，硬盘等后端存储设备上投资更多，只需投资部分服务费用，大大减少成本的投入。

简而言之，用户不需要知道自己的数据资源存放在何处的存储设备当中，只需要用网络就可以实现数据的上传和下载。

2、存储智能化，效率更高

云存储通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率。例如用户需要500T的存储空间，他只需要租用500T的服务，如果需要增加空间，只需提高租用空间。

如果把云存储当做一个已经被公共化的仓库，那么云存储的使用者就是租客，云存储通过虚拟化的技术自动分配数据。换句话说，你把货物放在仓库的哪个位置不是由你决定，而是仓库管理员。

3、数据检索更迅速

针对系统中会产生PB级海量监控数据，存储设备的数量达数十台上百台，因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警，图像化系统检测等功能。在海量视频存储检索应用中，检索性能尤为重要，因此数据检索的速度对安防存储显得至关重要。

4、云存储可以提供非常高的的系统冗余和安全性

当在线存储系统出现故障后，热备机可以立即接替服务，当故障恢复时，服务和数据回迁;若故障机数据需要调用，可以将故障机的磁盘插入到冷备机中，实现所有数据的立即可用。

“安防+云存储”实现功能大跳跃

随着平安城市、智城市建设规模的不断扩大，对存储空间和存储性能的要求日益迫切。在这种背景下，业内主流安防厂商相继推出安防云存储，以满足大数据时代下的海量视频存储需求;与互联网云存储相比，除了具备存储虚拟化、海量存储空间、便捷扩展等特性外，安防云存储主要有以下几个特点：

1、高速存取

安防云存储需要面临高并发、高码率的数据存储要求，面对的都是高清、高码率的视频存储，存储系统需要提供高性能的数据吞吐能力。安防云存储通过采用数据离散式存储机制，每一个监控点的录像都以分块形式，并发存储于不同的存储节点中，在读取时，这些存储节点将并发提供服务，避免了单台设备读取的瓶颈，速度比传统存储快几十倍，可以满足平安城市等大型安防项目中，海量并发存储、读取的需求。

2、安防集成

在实际应用中，安防云存储与各项业务系统结合非常紧密，如图侦、视频智能分析等，在存储阵列中直接集成视频录像管理、视频回放和媒体转发业务，充分利用云存储高可靠硬件和网络。同时，安防云存储提供标准sdk接口，可以方便让客户对安防业务系统进行二次开发，与安防业务系统更为紧密的集成。

3、码流直存

安防云存储由于其使用场所、用户的固定性以及用户对视频高效应用的要求，一般都会采用码流直存的方式，从而简化系统的架构，降低故障点，提升系统部署的效率以及运维成本，而且云存储一般也是架设于专网之中，更能保障录像的质量。

可见，安防云存储产品是面向安防视频存储的特点开发的，具有典型的安防应用的特质。

5、多重数据保护网络RAID纠删码技术。

宇视云存储通过支持N+M纠删码技术实现网络RAID功能，支持节点间的数据保护。文件写入的时候，会分成固定大小的数据块，每个数据块分成N片，通过纠删码算法，得到N+M个数据分片，离散写入不同的存储节点。读取数据块的时候，只需要读取任意N个数据分片就可以了。相比3份复制33%的磁盘利用率，2份复制50%的硬盘利用率，N+M纠删码高达80%的硬盘利用率，大大节省了用户成本。如下为4+2的纠删图。

云存储解决方案

云存储技术则能够很好的解决上述问题。云存储是在云计算和存储概念上延伸和发展出来的一个新的理念，是一种新兴的网络存储技术，它通过集群应用、网络技术、分布式文件系统等将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储可对系统内的设备资源、带宽资源、存储空间资源等进行有效整合，可为用户提供大容量、高性能、高可靠的透明存储服务。相对于单台存储设备来说，云存储系统具备如下优势：

1、线性扩展的高并发读写性能。单台存储设备的并发读写性能容易受到控制器的CPU、缓存及网络接口的能力限制，读写带宽一般在512MB\/S~2GB\/S之间。而云存储系统可以利用集群技术将存储节点间的带宽和多台存储设备的处理能力进行聚合，随着存储节点数量的增加可以实现读写带宽、处理能力的线性增长，从理论上来说读写带宽可以是无限的。在实测中，已经达到整体读写带宽超过200GB\/S的性能指标；

2、海量存储空间的弹性扩展。存储空间弹性扩展采用的是虚拟化技术，把众多存储设备虚拟化成单一的便于管理的逻辑设备形态，物理磁盘分割成虚拟磁盘，将虚拟磁盘深化采用细粒度管理和虚拟磁盘操作技术，从而获得更高更灵活的管理效率、性能和容量空间,通过虚拟化磁盘分配技术，提高磁盘利用率。存储虚拟化技术可以很好地解决当前各种形态设备的存储容量的统一管理和磁盘容量的动态分割，实现自动化管理，云存储中的存储设备数量庞大且基于网络的异地分布。现在的存储设备类型非常丰富，包括传统的存储设备如IPSAN、FCSAN、NAS、FCIP等，不同类型和形态设备之间的容量管理、设备管理，对于庞大的存储云来讲都是一个巨大的挑战，所有的存储资源都必须得到有效的管理和利用。采用虚拟化和存储池技术，可以把不同类型的存储设备虚拟化成为存储网络上的一个节点，在逻辑结构上消除异构形态设备的差异，把容量汇聚成一个巨大的虚拟存储池，并可以更容易地进行逻辑容量分割，大幅度提升存储效率。

3、统一的设备管理与资源呈现。云存储解决了多台存储设备叠加带来的设备管理问题。通过集群技术，将几十台、几百台的存储设备统一管理，通过统一的运维和管理界面，向用户呈现整个云存储系统的资源和设备使用情况：整体空间利用率、单设备空间利用率、读写带宽、设备负载情况、设备运行状态等。例如由二十台云存储设备构建的一个一千路视频10PB的云存储系统，用户在使用过程中，不需关心前端10000路摄像机的视频图像究竟是存储在哪一台设备上，只需要选择后端这个10PB大小的空间统一存储资源池，就可以非常方便的完成存储部署，可极大简化用户管理与维护的复杂度，有效提高工作效率；

4、提升设备资源处理和存储空间共享能力。由于设备处理能力、存储空间、带宽无法实现聚合，单台存储设备的处理能力和存储空间都无法与其他设备进行有效共享，而云存储系统则可以灵活的进行统一管理和共享。云存储采用统一的全局命名空间，可以提供多种数据访问接口（SOAP、REST、HDFS、POSIX等），支持主流的文件与数据传输访问协议（NFS\/CIFS、iSCSI、HTTP、FTP等），可以与各种上层应用程序进行完美配合；

5、更高的数据安全性与可靠性。像宇视这样的行业优秀存储设备厂商已经通过模块化的部件冗余设计来实现单台存储设备的数据安全性和可靠性：双控制器、双电源、双电池、双风扇、双BIOS等；数据安全性可以通过RAID、镜像、快照、复制、CDP等技术实现。但是当存储设备自身出现故障或数据中心机房断电时，整个数据读写业务依然将无法交付。所以许多存储系统，通过灾备方案进行保障：同城\/异地灾备、两地三中心、双活等方案来保证业务的连续性和可用性，但是在应对视频监控领域的海量数据存储，采用这些灾备方案明显难以实现（数据量过大，建设成本太高）。云存储除了单机性能及灾备之外，还通过N+M纠删码技术实现网络RAID功能、多副本复制技术能够实现跨存储设备间的数据保护。如果某台存储设备故障，其上承载的数据写入业务都会自动转移到云存储系统内的其他存储设备上，对于数据读取业务，则可以通过其他非故障存储设备运算的方式或者访问副本的方式完成；

6、总拥有成本（TCO）较低。云存储系统采用高性价比的以太网络和存储节点构成，比传统的中高端存储设备具有更好的性价比优势。云存储扩容相对比较灵活，可根据业务随时随地的进行弹性扩展，用户不需要在建设初期一次性购买，当需要时可在线进行性能和容量的方便灵活的扩展，可以在建设、管理、运行、维护等上大大节省用户的总拥有成本（TCO）。

阿里云视频监控 Case

视频监控业务对数据的可靠性、视频观看延迟、流畅度等都有较高的要求。 综合看来视频监控场景具有以下特点。

1. 对数据可靠性要求比较高。安防监控视频一般都有长时间保存的需求，尤其 是面向个人用户提供的视频监控服务类的业务中，如果能够提供永久保存的 存储服务，就可以吸引到更多的终端用户，增加业务变现的可能。
2. 对写入成功率要求比较高。写入成功率直接影响视频的观看体验。如果视频 流切片有较高的写入失败率，那么视频观看起来就会出现明显的卡顿现象。
3. 上行、下行流量不对称。7*24 小时的监控会产生大量的上行流量，而人们 只有在需要的时候才会去观看监控视频，下行流量较少。而像 Dropcam、 萤石云这样的提供个人视频监控业务的厂商而言，下行流量是其直接有效业 务量，上行、下行流量不对称导致其带宽成本只有小部分用在了其有效业务 上。

弹性计算 + 海量存储

基于弹性计算、海量云存和市场验证，阿里云推出高性价比、高写入稳定、高播放流畅的安防监控云解决方案；

视频流直存方案；

2、 视频流式存储、秒级回放：不同于其他的对象存储服务，OSS提供Append Object功能，该功能像“流”一样往对象（文件）后面追加新内容，且已上传的内容即使在该对象（文件）未写完时都可以被访问，正真实现文件流式存储，视频录像秒级回放;

• 3、灵活可靠的安全策略：阿里云提供STS服务，提供多种粒度的鉴权服务，让您的存储到OSS的内容可以灵活配置鉴权策略，数据安全可靠
• 4、提供C语言SDK，加快开发速度，节省开发成本：我们提供OSS 的C语言SDK，且针对嵌入式设备进行了针对性优化，最重要的是该SDK开源，解决不同硬件适配的难题，让您的工程师轻松上手，快速完成设备直存数据到OSS功能。

经典解决方案：

解决方案描述

1、超乎想象的性价比.真正承诺不论流量多少，上传流量全部免费，高度适合海量上传、少量下载的视频监控场景，最大限度降低视频监控带宽成本。相较于死板的物理服务器租用方案,综合成本降低30% 2、国内顶级写入稳定性和播放流畅性保障。针对视频监控大量小文件切片上传场景实现多项高可用技术优化，提供存储写入出错率低于百万分之一的保证。提供国内顶级BGP 网络 3、按需使用，无限扩容。视频监控业务极度消耗网络、存储资源。普通IDC或小云服务提供商有限的基础设施很容易成为云视频监控业务爆发增长的瓶颈。阿里媒体云联合多家运营商提供丰富的带宽资源，加之分布式存储架构保证系统线性扩容轻松应对PB甚至EB（1EB=1024PB）级别数据存储。按需使用，弹性扩容。 4、更佳的视频观看体验。阿里云优质的BGP带宽带来更低的播放延迟；阿里云海量存储服务具有极低的写入失败率，能够有效避免因视频文件切片写入失败导致视频观看出现卡顿等不流畅现象。

[目前我们在优化第4点]

大数据平台

1 视频的智能分析集群，需要从视频内读取关键帧进行图像分析，可以直接在ECS集群内部署分析软件，也可以借助于阿里云的“批量计算服务”、数加服务、eMR服务、HPC服务来简化分析集群的搭建和维护 2 批量计算服务可以支持用户在计算节点上部署自己的分析软件、算法和程序，进行大规模的计算节点的调度 3 数加和eMR则支持很好的离线计算、流式计算、机器学习框架，用户避免自己部署和维护社区版的科学计算框架

海量并发上传

1 通过摄像头或前置机，部署在阿里云上的视频集中管控中心，可接收百Gbps的视频输入，上行流量免费标准，适合视频监控的业务场景，可以文件、直播流方式上传视频

2 接入数万、甚至数十万不等的摄像头，接收多路并发的视频、并且进行存储和分析，随着输入路数的变化、灵活的调配服务端的接收和处理能力

海量视频存储

1 冷热数据分级存储方案：采用OAS的归档服务存储，满足管控要求需要更长时间保存，降低视频存储成本

2 OSS内网访问带宽，满足万路高清视频的并发写入，采用多层错误重试方式有效屏蔽底层网络错误，保证视频业务always writeable应用需求

3 海量元数据管理：阿里云提供表格存储等多种非关系型数据库服务，支持百亿级别表中在线查询等业务

视频处理能力

1 OSS自身具备一定的视频转封装功能，并且具备append存储能力，可以将存储的RTMP流转换为HLS格式，直接完成HLS直播输出，也可以实现点播录制功能 2 需要比较复杂的视频处理（重新编码、水印等其他效果），则可以调用MTS的转码功能 3 用户也可以自建转码集群、或者在接收视频流时自建转码服务，但从整体成本及转码效率角度，建议采用阿里云转码服务

资源弹性伸缩

1 资源源弹性扩展、按量付费

2 无论是存储、还是计算、网络资源，都能够提供最灵活的使用和计费方式，并且支持根据系统负载监测的自动弹性扩展服务ESS

3 对于负载差异周期性明显的业务能够显著降低维护和购买成本

安全防护服务

1 阿里云的安全防护服务云盾，可以一站式提供流量攻击防护（DDOS、CC）、WAF、数据库防注入、主机安全防护等 2 对云外的IT系统（包括摄像头、前置机）进行安全监测和防护服务，也曾经多次解决过监控领域的重大安全事件

系统高可用性

1 提供了产品级高可用机制，避免单个物理设备故障造成服务中断 2 负载均衡服务SLB和数据存储相关的OSS、RDS等都提供了跨可用区的容灾机制（需要单独购买、例如DTS服务、OSS同步服务），配合ECS镜像复制功能可以搭建完整的跨可用区、甚至跨区域高可用方案 3 高可用方案，可以参考“中小型互联网应用容灾方案