飞腾大数据使能套件致力于在飞腾平台下提供大数据主流组件适配,迁移与优化能力,提升大数据平台与应用在国产化环境下的应用效率,赋能数字化时代。
飞腾大数据使能套件致力于在飞腾平台下提供大数据主流组件适配,迁移与优化能力,提升大数据平台与应用在国产化环境下的应用效率,赋能数字化时代。
一、核心优化目标
提升大数据查询效率、分布式存储性能、流处理吞吐等核心能力,助力企业高效处理海量数据。
二、典型优化场景
1.数据存储:通过 EC 纠删码、密码、压缩算法等指令 / 硬件加速,提升分布式存储系统的编解码与校验效率。
2.流与批处理:优化 Spark、Flink 等计算框架的任务调度与执行效率,提升数据处理吞吐量。
3.数据仓库与查询:适配 Hive、openLooKeng 等组件,提升复杂查询与跨源分析性能。
4.消息与数据库:优化 Kafka、HBase、Redis 等中间件,提升消息吞吐与数据读写性能。
三、应用价值
帮助企业快速完成大数据平台国产化迁移,降低迁移成本,同时充分释放飞腾平台算力,提升大数据业务整体处理效率,支撑千行百业数字化转型。
HDFS 加密优化
Hive on Tez优化
Spark优化加速