拓尔思与飞腾海贝大数据管理系统 联合解决方案

    随着大数据应用的不断深化，面对政务部门数据类型复杂化、数据内容多元化，数据量级海量化、数据形式虚拟化及数据安全的相关要求，传统的数据检索系统已难以满足日渐复杂的业务需求，为了建立一套新型、安全、有效的大数据自动检索工具，拓尔思携手飞腾推出基于飞腾架构的海贝大数据管理系统解决方案，为政务大数据应用提供高效的数据存储、全文检索、分类统计等数据管理服务。

    拓尔思公司基于飞腾架构服务器平台自主研发海贝大数据管理系统，定位为大数据应用支撑软件，为大数据应用提供高效的数据存储、全文检索、分类统计等数据管理服务，支持包括文本、数字、地理空间、图片等各种结构化、半结构化和非结构化数据。系统从设计之初就考虑到海量数据的特点，支持SSD、HDD、HDFS混合存储，引入了多副本、列存储和内存索引等机制，充分利用现代计算机多CPU、大内存的特点，实现分布式并行计算，满足用户对海量数据交互式处理的需求。逻辑架构如下图所示：

图1-逻辑架构图       

    方案以飞腾处理器提供自主算力及内生安全保障，以拓尔思海贝大数据管理系统为支撑，构建了一套数据采集（TRS InfoRadar）、数据加工（TRS Search Adapter、DL-CKM）、数据存储、数据分析、数据展现全流程大数据底座，在保障数据安全性的基础上为政府客户提供检索服务。

    功能特点如下：

• 软硬件自主安全：采用基于飞腾FT-2000+/64芯片的服务器作为承载平台，实现完全的软硬件自主安全。飞腾FT-2000+/64芯片是飞腾公司自主研发的国产高性能CPU，应用于高性能、高吞吐率服务器领域。
• 图文检索：支持输入的关键词查找图片所在文档的文本或图片中的文字属性，从而搜索到相关图片，支持通过对提交图片的特征进行抽取，并与库中其它图片特征进行比较，搜索得到相似图片。
• 读写分离：支持读写分离，避免数据同时入库+检索时的锁竞争；节点分离，避免系统CPU、IO、内存等资源的竞争。
• 全息索引：支持任意维度组合查询、图片索引、地图索引、二进制索引、分类统计、多维下钻。
•  弹性扩展：单集群支持PB级别存储量、单集群支持万亿级别数据量、支持在线扩容。
• 混合存储：支持SSD、非SSD、HDFS等多种文件系统统一管理。

• 安全，底座自主、IP黑白名单控制、用户逻辑隔离和物理隔离、数据加密存储、加密传输。
• 高效，实时索引、离线索引、读写分离、二级分区、列存储、冷热数据分离。
• 易用，开箱即用，降低使用门槛，一体化管理自动部署、更新。
• 智能，全语种数据统一处理、字词混合分词、词典统一维护，无需重构索引。

1.TRS智拓语义智能技术平台