企业数字化思维体系构建

企业数字化转型全面解决方案

数字经济基础设施建设

合作业务

新闻动态

NEWS

集团动态

返回列表
普滙云分布式存储技术白皮书

2021-10-13

普滙云分布式存储技术白皮书




    时间:2021年10月

    普华商业集团有限公司版权所有

    目录

    一、普滙云的诞生背景

    1.云计算的发展历程

    2.云服务的发展现状

    3.存储市场规模与特征

    4.云存储技术的主要特点

    5.拷贝式存储技术的缺陷

    6.普滙云的使命与远景

    二、普滙云的技术基础

    1.云储存技术

    2.区块链技术

    3.密码安全技术

    4.虚拟化技术

    5.对等组网技术

    三、普滙云的结构体系

    1.普滙云的体系概述

    1)传统云服务体系的内涵

    2)新一代云服务体系的特征

    3)普滙云的云服务体系概述

    2.普滙云的技术框架

    1)节点发现与连接

    2)数据网络穿透

    3)节点激励模型

    4)数据分片与安全

    5)数字身份与鉴权

    6)数据监管与风控

    四、普滙云的应用场景

    1.云存储服务

    2.云路由服务

    3.云协同服务

    4.应用组合服务

    五、普滙云的发展路线

    六、普滙云的未来趋势

    1.终端可信芯片

    2.可插拔存储(或计算)

    3.智能路由器

    4.云服务平台

一、普滙云的诞生背景

1.云计算的发展历程

2006年,亚马逊CEO贝索斯在EmTech上发表了关于云存储和云计算的概念演讲,并向世界宣布了亚马逊将投资和创立云计算AWS的伟大计划。但当时国内正处于互联网发展的初期阶段,并不了解云计算。当时有传言说,国内真正懂云计算的人,可能最多不超过10个。

2008年以前,除了马云,BAT另外两位掌门人——马化腾和李彦宏,在当时对云计算的态度,都有些“不屑一顾”。在2010年3月中国IT领袖峰会上,BAT大佬针对云计算的第一次“华山论剑”。李彦宏说:“云计算这个东西,不客气一点讲,它是新瓶装旧酒,没有新东西。早期的时候,15年前(1995年)大家讲客户端跟服务器这个关系,再往后大家讲基于互联网web界面的服务,现在讲云计算。实际上,本质上都是一样。”

2008~2009这一年,阿里云的飞天系统可以说是“数据传输问题、计算稳定性问题、处理速度问题一样都不少”。各种错误和bug形式翻新,层出不穷。

虽然2012年前后,阿里云的系统趋于稳定,中国也诞生了不少云计算厂商。可面对大规模调动算力这件事,厂商们仍然束手无策。飞天系统是稳定了,但整个阿里云体系还是乱的。面对5K难题,阿里云又研究了两年,都没能突破这个瓶颈。

2013年9月,就在阿里云宣布突破5K测试的三个月后,腾讯云宣布正式面向全社会开放。虽然马化腾当年嘴上说不看好云计算,但私底下却在2010年时就立项研究云计算。面对阿里这个竞争对手,马化腾从未真正掉以轻心。

2015~2016这两年间,中国云计算江湖发生了第一次正面战争。这场大战的主角,正是老对手阿里云和腾讯云。在这场你追我赶的战役中,几乎一家发布动态,另一家便会迅速跟进。这两座中国互联网的大山,都希望在中国云计算的草莽阶段,就先坐稳江湖老大地位。

2017年以后,企业上云步伐的加快,也催生了资本对云厂商的亲睐。整个2017年可以算作中国云计算发展最快速的一年。据企服行业头条统计,这一年,至少有20余家大型云计算厂商拿到融资,总金额突破百亿元。2017年3月,华为云业务部门CloudBU真正成立。同年8月底,华为云升为一级部门,与消费者事业部、运营商事业部和企业事业部并列作为第四大业务部门,同时增加了2000人进入CloudBU。

经过2017年的CDN血拼后,阿里和腾讯也在2018年渐渐停火。腾讯虽然股价大跌,但腾讯云在2018年第二季度的收入却翻倍增长,直接促使了2018年9月底,腾讯更改企业架构,成立云与智慧产业事业群,提升对云的重视程度。而阿里云依旧是那个领跑者,2018年11月2日,阿里巴巴集团公布2018财年第二季度(2018年7月至9月底)业绩。旗下云计算业务继续保持强劲增长,季度营收达到56.67亿元,整个上半财年营收首次突破100亿元,持续扩大在亚洲市场第一的领先优势。2018年,中国云计算市场已然更加成熟、稳定。

从2017年到2019年,区块链技术经历了快速发展,逐渐甩掉数字货币的阴影,基于区块链的云服务平台开始大量出现,主流厂商同步角逐BAAS平台市场,通过基础设施型BAAS平台把云服务与区块链进行融合,进而提升云服务的影响力与盈利能力。

2.云服务的发展现状

根据百度百科的解释,“云计算服务,即云服务。中国云计算服务网的定义是:指可以拿来作为服务提供使用的云计算产品。包括云主机、云空间、云开发、云测试和综合类产品等。”云计算的服务类型一般可分为三个层面,分别是:IaaS、PaaS和SaaS。这三个层次组成了云计算技术层面的整体架构,这其中可能包含了一些虚拟化的技术和应用、自动化的部署以及分布式计算等技术,这种技术架构的优势就是可以对外表现出非常优秀的并行计算能力以及大规模的伸缩性和灵活性等特点。我们平时所提及到的云服务,则是在云计算的上述技术架构支撑下的对外提供的按需分配、可计量的一种IT服务模式。这种服务模式可以替代用户本地自建的IT服务。

图片1.jpg

    阿里云以40.5%占比高居中国市场份额第一(图片来自SynergyResearchGroup)

纵观国内云服务发展,第一梯队由阿里云、腾讯云、光环云(AWS中国区运营)、电信云、联通云组成,占据国内云服务份额的80%以上,服务中心还集中在CDN业务类型,云计算为辅,但是增长速度非常快。据Gartner数据,2018年全球公共云市场整体增长为21.4%,阿里云从2017年的111.68亿元营收增长到2018年的213.6亿元,2018自然年增长率91%,显示出云计算市场已然出现头部效应。2018年全年,腾讯云收入同比增长超过100%至91亿元人民币。腾讯在财报中表示,腾讯云全球基础设施现已覆盖25个地区,运营53个可用区。美国市场研究机构SynergyResearchGroup日前一份报告指出,亚太地区云基础设施服务中,腾讯云2018年第四季度及全年市场份额首次超过Google,位居第四,排前三位的分别是亚马逊、阿里巴巴和微软。

云——已经成为不可或缺的商业需求、个人需求、社会需求,而低能耗、绿色环保、安全隐私、实时监控、传输效率等超级痛点,成为各类公有云、私有云、混合云的优化方向。

3.存储市场规模与特征

大数据的发展趋势已经成为全球共识,海量数据存储已经成为社会的典型特征。Domo软件公司的调研数据显示,2018年人们产生的数据规模是每分钟在Google搜索383万次、YouTube视频观看433万段、电子邮件发送159362760封、Twitter发送473000条等等,而且每天微信的信息互动超过450亿条。并且国际数据公司(IDC)也指出自己的大胆预测,到2023年,中国的数据规模就可以达到40ZB,其中非结构化数据超过80%,同时市场研究机构MarketsandMarkets也发布自己的全球数据存储市场预测,2024年全球数据存储市场规模将破千亿美元大关。我国民营企业华为也预测到2025年全球年存储数据量会到达180ZB的高度。数据的产生呈加速态势,存储容量的需求也成为市场必须关注的一个热点,存储平台企业也将迎来发展的黄金窗口,从平台的频繁上市、平台企业规模逐渐上升等维度可以看到存储市场的变化态势与规律。

图片2.jpg

4.云存储技术的主要特点

从概念上说,云存储是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云存储在类型划分上主要包括集中式云存储与分布式云存储两种。

集中式云存储主要是使用中心化服务器来存储数据与提供存储服务。亚马逊从2006年推出AWS并一炮而红,引发各大云存储平台的跟风组建。经历短短数年的发展,少量的几个云存储平台控制了市场上的大多数数据存储需求,这就让数据存储呈现出明显的中心化特征,由此产生了各种各样的存储风险,比如2018年9月Microsoft就出现因雷击导致Azure服务在部分地区停机超过20小时,而腾讯云也出现在2018年8月因操作失误导致用户数据丢失等等,其主要表现在4个方面:

1)存储成本较高:一是固定成本不变甚至逐渐增加导致中心化云存储服务的价格较高,二是不同中心化的云存储平台之间数据迁移成本也居高不下。

2)数据传输慢:云存储平台厂商为了降低自身运营成本往往会把中心化云服务器机房部署在比较偏远的地区,距离实际用户比较远,使其数据传输速度不高。

3)安全性低:首先从物理位置上说,中心化云服务器如果集中在一处或几处,一旦发生停电等故障,往往会导致依附此云存储平台的大量相关业务瘫痪。而且中心化云存储服务器发生故障,在极端情况下可能引发用户数据的彻底丢失。

4)数据隐私泄漏风险:云存储平台的运维人员可以从服务端的平台中直接查看和删除用户上传的文件,而用户却无法察觉与申诉,数据隐私还容易发生泄漏。

分布式存储主要通过虚拟化技术将大量分散的存储资源汇集为一个虚拟的存储设备,同时把数据分散存储在不同存储介质上。集中存储数据会导致存储服务器成为系统性能的瓶颈,集中存储不能满足大规模存储应用的需要,而分布式存储采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

图片3.jpg

其主要表现为几个方面:

1)扩展性强:分布式存储技术支持扩展到数百甚至数千个这样的集群大小,并且可以保证系统的整体性能线性增长,这样就可以满足不断增加的存储需求。

2)成本低:分布式存储具有自动容错和自动负载平衡的技术能力,允许在低成本服务器上构建分布式存储系统。而且线性可扩展性还能够实现低成本服务器的快速扩容,并实现分布式存储系统的自动操作和维护。

3)易用性强:分布式存储系统拥有方便易用的界面,还包括完整的监控和操作工具,这样就可以轻松地与其他业务系统进行集成,方便企业用户的使用。

4)吞吐性能高:无论是针对单个服务器还是针对分布式存储群集,分布式的技术特性都可以保证存储的高性能。

5.拷贝式存储技术的缺陷

从上文中可以知道分布式存储技术拥有比集中式存储技术更多的优势,但是集中式存储与分布式存储还有一个共同的特点,目前它们都是通过100%拷贝的方式来完成数据的存储以及读取与下载。比如用户有1G的数据文件(比如个人视频等等),其保存在存储平台上就需要占用1G的物理存储空间,而且一旦这个用户需要下载此数据,存储平台还必须承担1G的宽带流量才能够保证用户数据文件的下载需求,或者这个数据文件用户10年都没有使用过,那么此存储平台还必须长期提供1G的存储空间给用户用于保证需要下载的时候可以找到这个文件,对于存储平台而言存储资源的利用率并不高,而且带宽资源的投入还是巨大的。

随着存储设备成本的降低,存储平台之间的竞争也越来越剧烈,只通过一个单纯的虚拟化技术把大量的NAS存储集中起来就能盈利的商业模式也会变得越来越难。如何充分利用存储空间、如何充分利用网络带宽,提升自身平台的综合竞争力是云存储平台发展的一个重要出路。如果一个存储平台能够利用1G的空间可以存储2G的数据内容,那么它就可以让自己的服务成本降低到原来的1/2,同时也就意味着它以半价的形式来参与存储服务的竞争都不会亏损,这样就可以让此存储平台拥有超越其他平台的内在优势。

6.普滙云的使命与远景

随着移动互联网与新型技术的应用,数据生产的速度与规模都上升到一个新的台阶,业务上存储的诉求量也上升到一个新的量级,存储的效率、安全、稳定、成本等维度都是存储服务平台的重要指标,普滙云依托大数据、区块链技术、对等组网与智能算法等技术来构建一个新型的可信分布式存储网络,给广大中小企业、个人用户提供一个安全、可靠又经济的存储服务平台,消除局部节点故障风险、消除数据主权风险与数据泄露风险、降低存储使用成本。

二、普滙云的技术基础

1.云储存技术

云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的系统。一个典型云存储框架包括三个核心层次:存储层、基础管理层、应用接口层。

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备。存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘应用平台,远程数据备份应用平台等。任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。

2.区块链技术

区块链技术开始于中本聪,如今成为全球发展热点。区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算方式。

一般说来,区块链系统由数据层、网络层、共识层、激励层、合约层和应用层组成。其中,数据层封装了底层数据区块以及相关的数据加密和时间戳等基础数据和基本算法;网络层则包括分布式组网机制、数据传播机制和数据验证机制等;共识层主要封装网络节点的各类共识算法;激励层将经济因素集成到区块链技术体系中来,主要包括经济激励的发行机制和分配机制等;合约层主要封装各类脚本、算法和智能合约,是区块链可编程特性的基础;应用层则封装了区块链的各种应用场景和案例。该模型中,基于时间戳的链式区块结构、分布式节点的共识机制、基于共识算力的经济激励和灵活可编程的智能合约是区块链技术最具代表性的创新点。

3.密码安全技术

数据安全主要关注两个内容,数据本身是否被破坏、数据本身是否被非法查看。单向md5、消息摘要、数字证书等形式来确保传输的数据来源以及是否被篡改。把待传输的数据由明文变成密文,是阻碍非法用户获取数据具体内容的重要手段,对称加密与非对称加密使用非常广泛。

对称加密是最快速、最简单的一种加密方式,加密与解密用的是同样的密钥(secretkey)。对称加密有很多种算法,由于它效率很高,所以被广泛使用在很多加密协议的核心当中。对称加密通常使用的是相对较小的密钥,一般小于256bit。因为密钥越大,加密越强,但加密与解密的过程越慢。如果你只用1bit来做这个密钥,那黑客们可以先试着用0来解密,不行的话就再用1解;但如果你的密钥有1MB大,黑客们可能永远也无法破解,但加密和解密的过程要花费很长的时间。密钥的大小既要照顾到安全性,也要兼顾对效率的考虑。

非对称加密为数据的加密与解密提供了一个非常安全的方法,它使用了一对密钥,公钥(publickey)和私钥(privatekey)。私钥只能由一方安全保管,不能外泄,而公钥则可以发给任何请求它的人。非对称加密使用这对密钥中的一个进行加密,而解密则需要另一个密钥。目前最常用的非对称加密算法是RSA算法,区块链中大量使用的是非对称加密算法,特别是ECC椭圆曲线算法。密码级的安全保证,让商业活动更加放心。

零知识证明是由S.Goldwasser、S.Micali及C.Rackoff在20世纪80年代初提出的,它指的是证明者能够在不向验证者提供任何有用的信息的情况下,使验证者相信某个论断是正确的。零知识证明实质上是一种涉及两方或更多方的协议,即两方或更多方完成一项任务所需采取的一系列步骤。证明者向验证者证明并使其相信自己知道或拥有某一消息,但证明过程不能向验证者泄漏任何关于被证明消息的信息。大量事实证明,零知识证明在密码学中非常有用。通过零知识证明可以解决部分商业活动中不需要暴露真实信息的场合,除了零知识证明,还有大量使用的是技术是同态加密。

4.虚拟化技术

在计算机中,虚拟化(英语:Virtualization)是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部分是不受现有资源的架设方式,地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料存储。在实际的生产环境中,虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用,透明化底层物理硬件,从而最大化的利用物理硬件。

5.对等组网技术

对等网络/对等计算机网络:是一种在对等者(Peer)之间分配任务和工作负载的分布式应用架构,是对等计算模型在应用层形成的一种组网或网络形式。“Peer”在英语里有“对等者、伙伴、对端”的意义。因此,从字面上,P2P可以理解为对等计算或对等网络。国内一些媒体将P2P翻译成“点对点”或者“端对端”。学术界则统一称为对等网络(Peer-to-peernetworking)或对等计算(Peer-to-peercomputing),其可以定义为:网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力、打印机等),这些共享资源通过网络提供服务和内容,能被其它对等节点(Peer)直接访问而无需经过中间实体。在此网络中的参与者既是资源、服务和内容的提供者(Server),又是资源、服务和内容的获取者(Client)。

三、普滙云的结构体系

1.普滙云的体系概述

1)传统云服务体系的内涵

目前正在运行的第一代云服务体系是运行在信息互联下,以分布式或者中心化可靠节点为基础,有特定的私人机构参与,用于实现提供存储、计算以及网络等资源共享的一种服务模式。它是互联网时代的信息互联的产物,整个体系由私人机构把持,不具有可信的价值基础,参与计算的节点与服务提供都是以环境可靠为前提,一旦出现局部节点中断或者故障,云服务质量就必然受到影响。服务价格昂贵的问题、数据被私有机构所有的问题、服务质量不高的问题、容量上限无法突破的问题、数据安全的问题等等是第一代云服务体系下的典型特征。

2)新一代云服务体系的特征

新一代云服务体系就是致力于解决第一代云服务体系中无法根治的问题而产生的。它是运行在对等节点自组织网络下,运用区块链、信息安全以及切片存储等增强技术,用于实现价值互联以及在不可靠环境下提供可靠存储、计算以及网络等资源共享的一种服务模式。

云服务体系运行的底层环境是对等的自组织网络。对等自组织网络是由分散的节点按照p2p协议组织在一起形成的一个互联网络。在这个网络下,不同节点拥有的存储容量与存储条件、不同的计算能力以及不同的接入网络类型与带宽大小,并且拥有最大限度的分散性。一个最真实的网络服务请求就是发起位置分散,发起网络环境不同,基于这个基础来搭建服务才是最符合用户的真实环境,才能最大限度满足不同类型用户的服务需求。

云服务体系以节点可信与服务可信为基础要求。通过区块链技术可以实现让拥有唯一标识的对等节点的网络连通与稳定性状态源源不断的记录到区块链上,同时每个节点提供的云服务质量也会实时通过上链进入到区块链上,可以保证每个云服务提供过程都是可以有效跟踪与溯源的,同时可以知道具体节点的服务效果。终端节点还可以通过硬件技术来实现对唯一标识的节点提供可信增强能力。

云服务体系的数据是足够安全的。云服务底层的数据是以切片形态分散存储的,同时这些切片本身还是加密存放的,任何单一的节点都无法复原整个数据本身。同时对于终端用户而言,那些发布的数据必须与特定的数字身份关联,只有经过特定的数字身份验证才可以通过分散的切片来复原整个数据,从而可以提供更高维度的数据安全能力,最大限度的保证了数据的安全。为了应对不同大小规格的数据,从字节数据到上G大小的数据提供不同的切片适配算法,可以解决数据太小可能泄密的风险,也能解决数据太大切片分发的困难。由于数字身份不是中心化存放与管理,并且数据只和数字身份进行关联,就可以轻松解决数据的归属权问题。数据是由用户产生,那么最终的归属权也是用户,平台可以提供数据服务,但是平台并不拥有那些数据。

云服务体系底层天然支持无定向激励模型。提供共享资源的节点是自由的,为了保证节点能够顺利加入到可信云服务网络体系中,必须支持一定的激励来才可以实现。同时这种激励往往是无定向的,可以使参与的节点无法直接知道其正在为哪个用户提供服务,进而就不会出现节点出现主动的作弊现象,保证节点共享资源的纯粹性与标准性,它们只有加入网络与退出网络的选择。通过这种方式还可以消除因资源集中而导致的服务费用成本较高现象。

3)普滙云的云服务体系概述

新一代可信云服务体系以不可靠环境为其研究对象,通过区块链技术、信息安全技术、切片存储技术等增强技术手段,进而达到提供一个提供可靠服务的效果,与传统云服务体系相比,是有很明显的先进性与优势。新一代可信云服务体系解决的课题更符合真实环境,其提供的云服务更能够满足实际用户的多元化需求,出现服务故障的风险与概率更低,除非所有节点均出现故障,新一代可信云服务体系的建立也标志着以云服务为代表的信息技术从信息互联升级到价值互联。

普滙云是新一代可信云服务体系的一个具体实践,它是一个建立在终端节点对等组网基础上的服务平台,通过对云计算技术、区块链技术、AI技术、切片技术以及安全技术等技术的有机组合,利用共享的存储、计算以及带宽等资源来创造具有新形态、超高附加值与全新体验的服务。

2.普滙云的技术框架

普滙云是一个分布式存储框架平台,其主要由4层结构,最上层为应用接入层,接下来为存储服务层,再往下是存储核心层,最后存储设施层(具体如下图所示)。应用接入层主要是为了完成存储的使用、管理,存储服务层主要用于实现存储调用时的检测、存储调度、存储策略设计以及备份安全等内容,存储核心层主要用于完成分布式存储的核心能力管理,比如节点管理、任务队列管理、节点状态池管理以及节点底层服务,存储设施层主要用于完成存储能力的提供与保证。

图片4.jpg

    普滙云框架图

1)节点发现与连接

在对等网络下,如何实现从一个节点发现另一个节点,这是能够提供云服务的前提条件。默认的节点发现是通过节点广播来实现的,这种实现方式会导致大量的无效请求,引发整个网络带宽资源的浪费。不使用广播就必须具有节点之间相互可以找到的方式,通常采用的方式还有在对等网络中增加一定量的索引节点,或者中转节点,他们的主要任务并不提供对外服务,只用于给节点提供发现节点的作用,这样也可以保证节点更快的被找到。如何设计一个更有效的方式是普滙云体系的首要课题。

2)数据网络穿透

要想提供云服务,就必须能够读取到节点的数据、使用节点的计算或者网络资源才可以,要想完成这个动作,实现节点与节点之间、用户与节点之间的联通,保证从用户发送的请求开始,到最终的数据提取,必须是可以联通的。要解决这个,必须能够解决NAT穿透的11个典型课题。为了保证普滙云的快速搭建,参考超级节点的模式,从所有具有公网IP的节点中挑选一部分划归超级节点,剩余部分根据资源拥有情况划归到备用节点中,并让这些节点在与内部的节点进行通信,从而可以完成数据的提取与通讯。在这个技术模型实现后,还需要不断的设计实现其他类型的数据穿透能力,然后保证最终的云服务拥有更广泛的稳定性与可靠性。

3)节点激励模型

参与构建基础网络的节点是对等的,资源共享程度是不同的,为了能够最大限制的保证网络节点的稳定性,还必须设计一套无定向激励的模型才可以。参与提供资源的节点可以获取对应的奖励,这些奖励必须经过区块链上链认可的,同时这些奖励还不能是用户可以直接猜出来,否则会引发节点用户的主动作弊。解决这个课题有助于建立一个公平的节点准入网络环境,保证节点的稳定性,从而可以让普滙云有更加稳定的支持。如何更好的设计这个激励模型是需要解决的一个课题。

4)数据分片与安全

要推进普滙云体系建设,数据如何分片存储就不得不考虑。大量的分布式节点,它们可以共享的存储资源各不相同,为了保证数据不会保存在单一节点上,不会单点故障而引发风险,单个节点出现故障时还必须能够增补切片,同时还必须监控不同节点的状态变化,数据分片看似简单,实际非常复杂,并不是研究下分片协议等就可以快速实现的。同时已经划分好切片的数据如何进行进一步的加密与解密也是在数据存储与分发整合中必须要面对的课题。

5)数字身份与鉴权

数字身份是区块链技术中发展中出现的一个课题,从2018年开始逐渐引起从业者的关注。要进行区块链技术商业应用,数字身份就不得不考虑,商业活动的进行与完成要求参与活动的双方必须有一个确定的身份才可以,完全的匿名与无身份情形是不存在的。为了实现用户对数据的拥有权,普滙云需要构建用户的数字身份体系,而且这个数字身份体系还必须是可管理的,且数字身份本身还必须非中心化存放的。如何打造这样一个数字身份体系是普滙云需要考虑的课题。

6)数据监管与风控

普滙云支持用户通过数字身份来管理自己的数据,作为平台方除了为用户提供数据管理,还必须履行监督支持,要解决非法数据、涉黄涉毒等不良信息不能进入到平台体系中。除了在终端植入智能扫描模块,在数据没有进入到切片环节或者分布式存储时就要完成数据检查,对于用户申请的数字身份还必须启动类似实名制的监管逻辑,对于黑名单用户必须能够限制用户使用平台,最大限度保证平台与数据安全。

四、普滙云的应用场景

1.云存储服务

普滙云是以加密的切片存储为基础,借助数字身份的设计,可以给用户提供一个安全的数据存储与数据管理服务。让用户的数据真正归用户所有,同时还不用担心数据被泄密,或者非法共享或窃取。尤其可以应用于企业重要数据或者文件的保存。

2.云路由服务

对于不同用户要实现数据共享,传统的方式是将数据邮件发给对方,或者通过QQ共享给对方,这种数据共享形式都存在一个潜在的风险,目前的互联网存在大量的黑客或者探测工具,你的文件传输行为可能会被监听。通过普滙云可以打造一个云路由服务,发起方可以把文件或数据以加密切片的形式进行存储,然后接受方通过授权的数字身份再从网络上还原具体的完整数据,从而实现数据的路由传递,保证的数据过程中的安全。同时路由传输还可以支持切片直接传输,最后通过数字身份进行合成最终数据与文件,这样也可以实现数据的传输,也可以保证数据的安全。

3.云协同服务

通过第二代可信云服务体系可以打造一个云协同服务,利用分散的节点计算能力,可以把一个集中的计算协同需求通过Map/Reduce处理,变成一系列的分布式子任务,然后下发到不同的节点上,不同节点计算完成后再返回到发起节点,发起节点再通过合成的机制来完成具体计算结果的整合,从而完成用户的协同诉求。

4.应用组合服务

上面的云存储服务、云路由服务以及云协同服务都是普滙云的底层服务,除了他们三个云服务类型,还可以通过他们以及底层资源来构建一个应用组合服务,比如CDN分发服务、安全数据共享服务、云下载服务等等应用服务。

五、普滙云的发展路线

2021年

第二季度

普滙云服务系统研发完成并上市;

普滙云官网正式上线;

第三季度

普滙云服务系统多版本产品研发完成;

普滙云与数据中心建立技术合作,构建普滙云灾备体系;

普滙云数据分片技术升级,打造多场景数据切片技术;

普滙云全面接入普华系列应用;

第四季度

普滙云服务系统第二代研发完成;

普滙云数据分片多活与动态监测机制优化,提升数据发现能力;

普滙云数据动态索引技术升级,构建分级索引网络;

2022年

第一季度

普滙云开放平台正式对外发布;

普滙云多类型存储服务(非节点型)技术平台搭建完成;

普滙云服务系统存储计算框架升级,更新函数库;

第二季度

普滙云服务系统第三代研发完成;

普滙云数字身份技术升级,支持软硬链结合安全解决方案;

第三季度

普滙云存储内核重构,支持节点型存储服务接入形式;

普滙云垂直行业应用SDK/API版本研发完成;

第四季度

普滙云服务系统第四代研发完成;

普滙云存储协议技术标准发布;

普滙云应用市场与服务集成门户研发完成;

六、普滙云的未来趋势

普滙云的未来趋势可以从云存储的整个生命周期来解读,从底层到上层可以有以下几个典型的趋势:

1.终端可信芯片

普滙云是以可信为基础,目前可以借助区块链技术来实现节点与服务的可信,未来为了实现更高效率的可信能力,可以把部分可信计算的职责封装到终端硬件中,在终端节点中植入一个可信执行环境,一方面可以实现对终端节点身份的确认,同时还可以解决部分上链可信计算的需要。终端可信芯片的研发与发展是未来普滙云体系的一个趋势。

2.可插拔存储(或计算)

普滙云体系依赖海量存储与计算能力,具有可插拔性的存储与计算功能可以解决未来存储设备故障更换、存储设备扩容、计算设备更换与升级等情形,保证节点资源共享能力的持续与增强。可插拔存储与计算的研发以及发展是未来普滙云一个趋势。

3.智能路由器

对等网路下节点与节点进行通信,通过广播方式是最消耗资源,并且没有公网ip、NAT网络穿透类型不同等等都会对未来云服务的提供效率产生很大的影响。具有更加灵活的路由器可以从底层解决网络数据穿透问题,从而可以给云存储提供了稳定运行的基础。智能路由器的研发与发展是未来普滙云的一个趋势。

4.云服务平台

依托普滙云体系可以实现各种各样的云服务,云服务平台的发展是未来最确定的一个趋势。底层的存储、路由以及协同计算能力通过有线组合可以构建丰富的应用服务,进而可以满足未来多元化商业场景的需求。云服务平台一方面要演化与设计更多的云服务,另一方面还要设计如何对服务进行有效的管理以及服务度量,催生对节点的管理与有效调度,从而可以从根本上保证了云服务的可靠与稳定。

云服务平台与具体的行业或领域结合,催生了政务云、金融云、视频云等垂直云的形成,通过深度行业定制可以提供有真正安全保证的应用产品,满足不同行业的诉求,进一步可以巩固与强化普滙云体系的商业价值。


返回顶部