秒云与飞腾智能日志分析联合解决方案

        经过持续的信息化建设，企业对信息系统依赖性逐步加大，信息系统本身以及支撑这些系统的基础设施每天都会产生海量的日志数据。过去，由于对日志数据的重要性认识不足，以及缺乏对日志这种非结构化数据的处理能力，大量的日志信息往往被遗弃，未能有效发挥其价值。

        企业日志数据管理面临的主要问题：

• 日志数据分散在不同的设备上，统一采集、存储和维护成本高；
• 日志记录格式不规范、不统一，导致整合困难；
• 日志记录的垃圾数据较多，数据价值提炼困难；
• 海量数据检索效率低，无法有效利用;
• 日志利用率低，价值得不到发挥;
• 等保2.0要求对日志数据进行强制保存、全程审计;

        由于日志分散和管理手段缺失，导致各个设备或系统产生的日志存在数据孤岛，给运维人员进行日志分析带来困难。

核心价值

    秒云日志分析系统是成都元来云志科技有限公司自主研发的大数据日志管理分析工具，基于当前流行的大数据、人工智能技术，为用户提供的专业日志管理工具。基于飞腾平台，系统紧跟当前云原生技术趋势和特点，采用微服务架构设计，容器化的产品部署，满足各类场景的日志分析，“应云而生，为云赋能”是系统的核心价值。

整体架构

        区别于传统的日志审计分析平台，秒云日志分析系统基于飞腾平台，麒麟操作系统，采用模块化的功能设计，内置多种算法模型，提供开放的数据接口，灵活的扩展能力，可满足单一企业或多组织的集团企业日志管理的需要。秒云日志分析系统以自有的秒云容器云平台作为系统底座，实现了一键扩容、弹性伸缩标准化的产品部署。 

全生命周期的日志管理

  秒云-云原生智能运维中台通过自研数据解析和搜索加速引擎，采用多维写时建模，实现“0”延时处理和“0”延时搜索。是集多源日志采集、解析、检索、分析、告警、响应、可视化于一体的多场景实时日志分析平台。系统支持从芯片、服务器到操作系统的全系国产生态。可帮助客户方便、快速的构建运维全景分析视图，从海量日志中发现问题、定位问题、解决问题，提高运维效率，降低运维成本。

方案价值

        数字化时代，企业对信息系统依赖逐步加大，伴随数据资产化的深入推进，日志数据的价值逐步显现，通过云原生智能运维中台，对分布在不同地点的日志进行集中采集和统一存储，解决日志数据孤岛和数据价值挖掘的难题。

秒云-云原生智能运维中台重点解决以下问题：

• 实现对分散在不同的设备和地点的日志，实时统一采集、集中存储和全面展示，降低运维成本；
• 解决多源日志格式不规范、不统一、识别难的问题，通过数据建模，解决日志识别和关联分析的难题；
• 优化日志数据，提取最关键日志事件并进行预警分析，精确提炼数据价值；
• 满足海量数据快速检索，数据分析展示的需求，实现IT系统的可观测性；
• 引入人工智能算法模型，实现对异常的发现和趋势预测，提升业务连续性；
• 为等保2.0提供全面的日志审计方案，满足企业合规审计需要;

核心功能

数据采集

        支持代理采集以及无代理采集两种方式。无代理方式支持Syslog、SNMP、SNMP Trap、FTP、netflow、kafka、Restful、数据库表等多种采集协议，也可以支持文件上传方式获取日志；代理采集支持部署日志代理采集日志数据文件内容，包括读取日志文件，获取系统指标信息和系统事件。

数据解析

       日志解析是对原始日志进行格式化处理的过程，原始日志都是以文本方式保存的非格式化数据，要对日志进行识别，则需要按照一定的规则对日志进行解析，生成格式化数据。

数据搜索

       系统提供强大的查询搜索引擎，支持SPL语句和关键字两种检索方式。用户通过秒云日志分析系统可实现类似使用谷歌一样，在海量日志中进行全文检索，提供包括字符串查询、KV查询、范围查询、模糊查询、正则表达式查询等多种方式的检索定义，同时也支持NOT/AND/OR等逻辑运算组合条件检索。用户在输入检索条件时支持联想提示，帮助用户快速生成查询条件。

机器学习

        系统提供机器学习工作台，内置多种机器学习算法，包括分类（预测分类）、回归（预测数值）、聚类和时间序列预测。通过机器学习工作台，用户可自由选择数据、算法和参数，训练得到更适合自身场景的模型。模型被用于动态阈值告警、指标预测、异常点告警等。应用场景包括但不限于：业务请求数、响应时间、流水和订单等数据的异常波动，CPU、内存、流量等指标的动态阈值告警，预测未来磁盘耗尽、带宽超限时间点。

日志告警

       秒云日志分析系统具备强大的告警管理功能，用户可将日志中任意字段作为要素进行告警规则及告警内容的定义，告警规则可按照单一事件、重复事件发生频率等方式设定触发条件，并提供完整的事件内容追溯，事件响应可精确到秒级。

应用

        日志应用是秒云日志分析系统的重要特色之一，用户可通过0代码的方式，在平台上定义专属场景的分析APP，满足个性化的分析和展示需求。应用的菜单、数据解析规则、统计图表、告警、机器学习等均可通过图形化的界面配置完成，无需编码实现数据的处理和分析展示。

 

 

平台特色

秒云-云原生智能运维中台具备以下特点：

• 自主支持：秒云智能日志分析系统全自研，全面支持国产操作系统（中标麒麟、银河麒麟、统信UOS等）和国产芯片（飞腾、兆芯、海光等）。
• 统一：多来源（传统IT设施及云平台（Docker&k8s））、多格式（结构化/非结构化数据）、多类型数据（日志/指标/应用数据）的统一查询/分析平台，解决数据孤岛问题，实现关联分析，方便回溯问题。
• 实时：0延时处理/存储/搜索，秒级分析/展示/告警，实时发现和解决问题。
• 0代码可定制：简单易用的全图形化操作界面，0代码定制开发企业专属场景分析APP，快速满足用户对数据分析的个性化需求。
• 生于云原生：构建在云原生平台上，支持在线扩容、弹性伸缩、可靠性高；服务云原生：解决云原生环境下海量日志、动态日志等问题，专业的容器日志分析平台，服务于云原生下的日志运维。
• 数据驱动的响应平台：由AI决策，将数据转换为行动的AIOps平台。不仅能自动发现问题，更能帮助客户智能解决问题。
• 多重权限控制：基于角色、用户账号、IP地址等多种方式的权限控制。
• 高效的数据处理能力：单设备每秒数据处理能力超过80000EPS，增加设备可线性提升性能。200亿条数据（约合12TB）检索时间小于10秒。

项目背景

        全球最大的有线电视城域网，占有整个上海市的有线电视网络资源，具有视频点播、个人宽带、企业数据、电视互动等业务，数字化以后，不同业务每天会产生大量的日志数据，日志中存在较大的业务价值需要挖掘，同时需要满足审计要求

解决方案

        通过秒云日志分析平台的大数据分析能力，采集上海东方有线公司视频点播、个人宽带、企业数据、电视互动等业务相关的事件数据，对复杂的非结构化的日志实现了结构化的日志数据清洗，分析业务数据。

客户收益

        借助秒云日志分析平台为上海东方有线，业务稳定运行提供技术支撑，为运营分析提供数据支撑

秒云智能日志分析系统

秒云容器云平台