飞腾与易华录联手打造超级智能存储系统联合解决方案

  • Bootstrap 行业: 全行业

  • Bootstrap 技术: 通用

行业痛点:

随着数字经济和新兴技术的快速发展,数据量由爆炸式增长,尤其是由人工智能、物联网和5G等技术推动下产生的数据呈现爆发式增长。这些数据中很大一部分属于访问频度较低的“冷数据”, 需要安全、长期地存储, 根据IDC统计80%的数据最终都会变为访问频率低的温冷数据,因此各行业都面临海量冷数据长期甚至永久存储需求,如医疗行业的病历数据、政法行业的执法办案数据、档案行业的档案数据、金融行业的交易数据、广电媒体行业的媒资数据等。

为此飞腾联合易华录打造了基于飞腾处理器的自主可控、绿色节能、安全高效、软硬件一体超级智能存储系统解决方案,超级智能存储系统融合了蓝光光盘、磁带、机械硬盘、固态硬盘等多种存储介质,实现了热温冷数据分级存储、异质保存,为用户提供高效、安全、稳定、低成本的全介质数据存储服务,解决了数据中心冷数据存储的能耗、能效、安全及成本等核心痛点问题。


方案详情:

超级智能存储系统解决方案采用搭载飞腾处理器的管控服务器、国产操作系统、易华录超级智能存储软件、华录蓝光光盘库构建的安全自主可控软硬件运行环境,其中蓝光光盘库提供蓝光存储空间,管控服务器提供一定的热磁缓存空间;超级智能存储系统软件提供对存储池的监控和管理服务;配套数据迁移工具易迁并支持S3 API/SDK,实现存量和增量数据到蓝光存储池的迁移。

整体架构如下:

图:超级智能存储整体架构图

使用流程如下:

图:使用流程图

  1. 数据通过易迁软件向蓝光存储池迁移,历史数据一次性传输,增量数据通过设置同步任务每天定时自动传输到蓝光存储池;
  2. 数据先缓存于管控服务器即热磁层,后向蓝光光盘库刻录;
  3. 数据需要恢复时,可通过易迁软件将所需数据取回至本地指定目录;
  4. API/SDK支持:数据的上传和取回也可使用SDK调用符合标准AWS S3协议的API来进行。

蓝光光盘库DA-BH7010外观与结构如下:

蓝光光盘库DA-BH7010外观与结构图

DA-BH7010是华录自主研制的新一代大容量、高安全、低存储成本的蓝光存储设备,可以为用户提供数据近线存储与离线存储,产品采用蓝光光盘匣存储数据,单个光盘匣内含12张300GB AD-R蓝光碟片、单光盘匣裸容量达3.6TB,单个光盘库机柜存储裸容量为1.64PB。蓝光光盘库考虑到数据安全,支持盘匣内12张碟片间Raid功能,支持RAID0/5/6。

DA-BH7010采用模块化标准设计,由光盘匣、基本单元、温数据扩展单元(含光驱组模块,可选)、冷数据扩展单元(不含光驱组模块)、机械手单元、光驱组模块、电源模块和管理服务器构成。用户可以根据数据存储容量和读写速度需求,进行基本单元、扩展单元、光盘匣、驱动器模块灵活组合配置,实现不同容量的数据存储和不同的读写性能。

超级智能存储(SuperStor)系统是支持融合蓝光光盘、磁带、机械硬盘、固态硬盘等不同存储介质的全介质存储系统,可对外提供标准对象存储(S3协议)或文件存储(NFS、CIFS、FTP协议)服务,是兼具电、磁存储高性能读写和光存储长寿命、安全、可靠、绿色节能等特点的全介质存储系统。主要功能如下:

  • 分级存储

超级智能存储结合多种存储介质的优势,各取所长,让数据在不同的存储介质中实现分级存储。主要分为全闪存储、标准存储、低频存储、智能存储、归档存储和深度归档存储。

  • EC纠删码

EC(erasure coding,纠删码)是数据保护策略之一。它将数据分割成片段,基于N块原始数据计算获得M块冗余数据,并将N+M块数据存储在不同的存储节点上。当其中任意的M块数据出错时,存储系统可通过数据恢复算法恢复出原来的N块数据,实现冗余和容错的目的。

  • 数据恢复Qos

在数据较长时间处于降级状态时,例如节点丢失或副本丢失,系统会自动触发数据重建恢复。数据恢复Qos可以限制数据恢复的带宽,以确保在数据恢复的同时,存储系统对外的读写任务性能亦可达到可用标准。

  • 生命周期管理

生命周期管理满足海量非结构化数据管理的需求,使用户数据在不同的存储介质中流动。基于桶或名称前缀,通过设置过期删除和定期转储策略,使存储在磁盘上的读写频繁的热数据经过时间的冷却后,逐渐下沉到安全性更高、成本更低的冷存储介质中。

  • 小文件归并

小文件归并功能,支持预先定义文件大小,并将小于阈值的文件,合并到指定大小文件后再进行数据写入,采用性能更佳的SSD作为存储介质,提高整体存储性能。

  • 断点续传

支持将一个大文件分割成若干个小文件进行上传,服务器收到小文件后按照一定的规则将这些小文件合并成一个大文件。当传输中断后,下次只需要从中断时的小文件部分继续上传即可,不需要重新从头传输,增加了文件传输的效率。

  • 访问权限控制

用户访问权限包括ACL和policy两种,桶policy是作用于所配置的桶及桶内对象的。桶拥有者通过桶策略可为用户或其他帐号授权桶及桶内对象的操作权限。ACL可以控制存储桶和对象的读写控制,包括公共读、公共读写、私有。

  • 元数据备份与数据反向重建

支持将元数据信息写入到磁带或者蓝光中进行备份来提升数据安全等级,当磁存储节点发生故障后,可通过磁带或者蓝光上保存的副本元数据进行数据反向重建,在新的集群中重建索引和元数据,并对外提供访问。

  • 智能存储

当上传的文件指定智能存储类别或者针对存储桶开启智能存储开关后,数据将按照智能存储指定的存储策略,根据数据的访问时间进行逐步下刷,直至存储到蓝光介质。通过此方式写入的数据无需人工干扰,可实现自动的转储过程,适用于数据访问模式不固定或无法预估访问模式的场景。

  • 管理系统

超级智能存储管理系统面向运维人员和管理员,提供对集群的监控和管理服务。支持监控存储性能、容量、存储服务和硬件设备健康状态等,支持存储服务的管理面配置,支持集群的服务器、网络拓扑、存储池、硬盘、磁带和蓝光的管理,支持集群故障告警和系统事件监控。管理系统实现了存储软硬件一体化管理,操作便捷友好,为集群的健康运行提供保障。


方案实施效果:

(一)数据分级存储,有效利用存储资源

利用磁盘存储作为数据读写缓存,可快速响应客户应用请求,同时利用蓝光存储,把低频冷数据进行长期保存,实现冷热数据分级存储,为用户提供优化的、不同服务级别的存储服务。

(二)全方位保护策略,提高数据安全性

方案产品配备权限设置、数据一致性检验、EC、副本、RAID数据冗余保护、数据恢复等策略;采用高安全、防篡改的蓝光存储介质,可保证档案存储的安全性;通过光盘匣对光盘进行封装保护,相较单盘暴露方式更具安全性。

(三)数据长期归档存储,满足国家政策要求

存储设备采用蓝光光盘作为主要存储介质,寿命达50年以上,抗电磁、防篡改,满足电子档案数据的长期归档存储,满足国家政策要求。

(四)标准协议接口,便于系统集成

兼容标准Amazon S3 对象存储协议,兼容NFS、CIFS、FTP文件存储协议,提供标准的 RESTful 编程接口,可以方便地与各种应用系统进行无缝连接。


成功案例:

  1. 厦门市XX局技侦支队蓝光存储项目
  2. 大连商品交易所数据归档存储项目

相关产品:

  1. 易华录超级智能存储软件
  2. 易华录Esync迁移工具
  3. 华录蓝光光盘库
  4. 搭载飞腾FT-2000+/64 CPU的管控服务器

支持CPU平台:

FT-2000+/64


伙伴信息:

北京易华录信息技术股份有限公司
http://www.ehualu.com

易华录成立于2001年4月,是国务院国资委直接监管的中央企业中国华录集团(简称“华录集团”)旗下控股的上市公司。华录集团以“全面建设以信息产业为基础的新型文化产业集团”为目标,提出“1+3+N”数字经济发展战略。“1”即强化科技创新,以自研的光存储技术为核心,构筑大数据融合存储产品、智能算法与开发利用关键能力。“3”即布局终端与智能制造、信息产品与服务、文化内容与创意三大产业板块,提供核心产品与服务。“N”即重点培育开发系列数字与创意应用。 作为华录集团信息产品与服务板块中坚力量,易华录积极响应国家大数据战略,准确把握政府治理体系和治理能力现代化、区域产业转型升级、企业创新变革所形成的数字化转型刚需,发挥央企优势,实施“数据湖+”发展战略,致力于通过建设城市数据湖这一新时代数字经济基础设施,促进全社会数据生产要素的汇聚与融通,为构建数字孪生城市、实现个人数字永生奠定坚实基础,为中国打造数字经济新引擎、在全球政治经济发展新格局下把握数字经济先机做出贡献。 易华录业务覆盖全国31个省、自治区、直辖市,300多个城市,并在“一带一路”倡议推动下拓展至亚、非、欧三大洲。