贝思科与飞腾教育行业人工智能教学科研实训平台联合解决方案

随着人工智能强国战略的逐步落地，国内高校逐步开设人工智能专业，目前国内开设人工智能专业的本科院校逾 300 所，覆盖专科超过 1000 所。跨学科与人工智能的结合教学研究需求也十分普遍。而人工智能是实践性非常强的学科，急需建设人工智能实验室、配套科研实践教学设备，为科研人员研究、老师教学、大学生人工智能学习实践提供便利化实训工具。人工智能教学科研实训平台具体解决如下需求：

1、高校科研人员创新性研究需求
高校研究人员尤其是非计算机相关专业科研人员的研究离不开人工智能等现代技术的支持及对前沿科技的融合。高校非计算机专业科研人员亟需合适科研辅助工具，便于对相关领域科研成果进行人工智能建模/人工智能模型训练。
2、本硕博人工智能教学实验需求
高校计算机、信息化、自动化等相关专业人才培养需产教融合，需专门设备实现对人工智能模型训练到人工智能模型推理全流程实践，通过实践训练加强对产业的认知和实操能力。贝思科作为人工智能产品研发企业，自主研发了支持多源异构数据计算的Smart AI 人工智能计算推理系统和Smart AI 人工智能算法训练系统，支持与各类人工智能芯片适配，支持国产处理器。飞腾作为国产芯片龙头企业，与头部AI 加速卡及算法企业共建生态，深入教学应用，联合贝思科共同发布基于飞腾的人工智能教学科研实训平台，助力人工智能应用实训教育的发展。

 

    人工智能教学科研实训平台兼顾易用性与兼容性，其人工智能算法训练系统及人工智能计算推理系统均采用拖拉拽赋能科研、教学和人工智能算法的开发。
    贝思科与飞腾已经完成了人工智能教学科研实训平台在FT-2000+/64 处理器的产品兼容性相互认证测试。测试结果表明人工智能教学科研实训平台与飞腾系列处理器实现了全面兼容，并且在人工智能推理计算相关功能和性能上实现对传统操作系统的超越。这意味着国产硬件和国产底层系统软件在技术上的深度融合，及融合人工智能计算推理等新技术的应用超越。国产计算软硬件生态融合将携手助力关键信息基础设施信息化全建设。
人工智能教学科研实训平台包含人工智能算法训练系统和人工智能计算推理系统。两大系统涵盖了人工智能应用从模型训练到模型部署推理的两大关键环节，为教学和科研提供便利化实训工具。

图1 人工智能教学科研实训平台

人工智能教学科研实训平台的人工智能算法训练系统和人工智能计算推理系统通过飞腾处理器、国产人工智能芯片实现硬件支撑，提供数据集采集、模型训练、模型调优、算法推理、研发实践、项目实训、教学管理等应用。

 

图2 人工智能教学科研实训平台应用
1、人工智能算法训练系统
人工智能算法训练系统提供托拉拽搭积木式算法开发环境，能够为实验主体提供人工智能算法二次开发能力。支持在已有模型或新建模型的基础上开发满足业务需求的人工智能算法。算法训练系统包含算法训练、模型管理和系统管理。算法训练系统满足零代码开发，非计算机专业科研人员和本硕博士生也可应用此系统进行算法模型的搭建。

图3 人工智能算法训练系统

人工智能算法训练系统提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成，管理人工智能算法开发、训练等过程。

人工智能算法训练系统支持视频、图片、语音、文本等非结构化数据处理和相关算法训练和生成，可帮助用户根据场景需求快速构建算法模型。

人工智能算法训练系统内嵌的机器学习模块，具备强大的数据建模能力，能够满足对结构化数据的处理和建模。算法训练平台子系统包含数据导入、数据预处理、模型训练、模型评估、模型发布、任务管理以及任务监控等一站式全方位的建模到上线的流程。模型开发训练平台内置丰富的算法模型，包含逻辑回归（LR）、聚类Kmeans、支持向量机（SVM）、卷积神经网络CNN）、深度神经网络（DNN）等，满足从原始数据到模型产出的一站式服务。

“一站式”是指人工智能算法开发的数据处理、算法开发、模型训练、模型部署等环节都可以在算法训练系统上完成。算法训练系统底层支持各种异构计算资源，开发者可以根据需要灵活使用，而无需关心底层的技术。同时模型开发和训练平台支持Tensorflow、Pytorch、MindSpore 等主流开源的人工智能开发框架。

 

图4 人工智能算法训练系统工作流程图
算法训练系统主要包括四大功能：智能数据管理、数据处理、数据标注、模型自训练。

（1）智能数据管理
人工智能三要素数据、算法和算力。数据的质量会影响模型的精度，高精度人工智能模型需要大量高质量的数据。智能数据管理提供相关处理工具：视频处理工具、自动化目标数据裁剪工具、数据格式化工具，能够实现数据接入。
（2）数据处理
数据处理功能是从大量、杂乱无章、难以理解的数据中抽取或者生成有价值、有意义的数据。数据处理类型有以下四种：数据校验、数据清洗、数据选择、数据增强。

（3）数据标注
模型训练需要大量标注数据，在模型训练之前需要进行数据标注作业。平台为用户提供了标注数据的能力：人工标注、智能标注、团队标注。
（4）模型自训练
模型自训练是算法训练系统的核心功能，通过设置对应的数据结构，保证数据在各个模块流通与计算。分为训练初始化模块、自动训练模块、模型评估模块。根据不同的数据、模型参数，选择不同规格的资源池用于模型训练。
a）自带算法模型库
算法训练系统自带算法模型库，内置多种算法模型可供选择，便于算法训练实训人员直接筛选算法模型进行二次训练或模型调优。

b）模型管理
模型管理支持导入模型，支持对模型版本、模型的各种状态（服务状态、训练状态）、分类、模型的操作记录、模型的详细参数进行管理。在模型有优化更新、异常等情况下，通过模型管理可以对模型进行操作，如暂停服务，复制模型、上线模型、删除模型等操作。模型管理支持对模型压缩、调优，支持在比较特殊的业务场景下运行（例如边缘端、硬
件资源有限、网络延迟较高）。
模型管理支持模型文件下载和更新时间的管理。模型管理支持关键字模糊搜索，模型可以按照业务和功能划分为多种不同类别。

 

2、人工智能计算推理系统
人工智能计算推理系统实现了对人工智能计算资源的统一管理，能够在给定模型和算法的前提下利用人工智能计算资源，自动部署算法模型，并推理出研究场景的预测结果。人工智能计算推理系统包含人工智能计算资源管理和人工智能推理和部署管理。

图5 人工智能计算推理系统页面
（1）功能丰富和使用方便
人工智能计算推理系统包含应用中心、算法配置、算力管理、数据查询和推送等多种功能，模块化功能配制。将算法训练平台子系统的算法
（2）人工智能计算资源管理
人工智能计算资源管理实现了对人工智能资源的统一集中管理，通过采用分布式计算架构和Bhomebus 总线通讯协议，解决了多维度数据和多系统的融合问题。实现了在不需要任何数据接口，也不对原有系统做任何改造和代码植入以及在数据库封闭/无源代码/无原厂支持的情况下，完成对客户需要的多系统升级、改造、融合、连续流程执行以及新老系统融合或并行使用，从而实现不同应用系统之间数据的互联互通。

人工智能计算资源管理模块实现了对智能辅助装配的智能计算系统的资源、算力、算法任务、系统配置、集群、数据、设备等进行管理，提供以资源和计算能力为主的服务，包括算力管理、算法管理、业务调度、自动化任务分配、计算节点的设备管理、硬件资源弹性调度、硬件资源动态伸缩等。

人工智能计算资源管理模块支持分布式部署，人工智能智能计算各子节点系统既可独立运行，又接受人工智能计算资源管理中心节点的管理，作为相关业务数据的统筹中心、运算中心、管理中心和派发中心，实现了对人工智能智能计算各子节点相关信息（数据）资源的收集、查询、分析、结果派发等，从而实现各分界点资源实时调度，支撑各业务系统统一运行。

人工智能计算资源管理模块解决了人工智能开发和应用过程中计算资源短缺、集群环境配置复杂、资源管理缺失等问题。通过开放调用接口，用户可以根据自身的业务需求定制开发算法、应用模块，为企业人工智能业务应用保驾护航。通过提供完整的、可靠的、高度灵活的企业级人工智能应用管理能力，从而全方位实现对人工智能应用的管控，能够满足用户对于人工智能应用在实际业务场景中的要求。

（3）人工智能推理和部署管理
在人工智能算法训练平台系统完成模型的训练生成模型，并且对模型进行一定验证后，人工智能部署管理能够对模型进行分布式部署上线。部署流程通常为灰度部署过渡到全量部署。在边缘端应用场景下，也可以通过边缘端定期请求拉取最新模型文件或者通过边缘节点实现边缘端部署。

人工智能推理针对应用场景的具体需求，建立或选取合适的模型，利用相应数据和算
法对模型进行训练拟合，然后再把训练拟合好的模型提供推理服务，从而实现自动解决具体
应用场景的任务。
智慧辅助装配支持主流的深度学习框架TensorFlow、PyTorch、Caffe 和TensorRT 等推
理服务部署。
a) TensorFlow 推理
TensorFlow Serving 可以直接读取SavedModel 格式模型文件进行部署，支持热更新模
型，支持以gRPC 和RESTful API 进行调用。当一个模型需要部署多个节点时，智能结构件
辅助装配系统基于动态加权轮询算法实现多个推理节点的负载均衡，能够解决采用
TensorFlow Serving 组件部署时需要解决请求负载均衡问题。

 

人工智能教学科研实训平台的核心优势来自于贝思科自主知识产权的如下基础软件：
1. Smart AI 人工智能操作系统是贝思科自主知识产权、分布式技术架构的人工智能操作系统，无需安装Linux 等其他操作系统便可直接与国产服务器、人工智能加速芯片等硬件结合，进行从人工智能模型部署到算法推理的算法应用小闭环，有效支撑人工智能模型的推
理验证和结果输出，赋能高校人工智能教学实践，助力高校快速运用人工智能能力提升教学效率。

2. 人工智能算法训练平台是贝思科自主知识产品的低代码模型训练平台，采用拖拉拽的模式，功能覆盖从数据处理、智能数据标注、模型自训练、模型优化等算法训练全环节，让用户无需复杂的流程、无需多平台切换、无需深度人工智能专业知识，即可完成算法模型
的训练。