一种可视化智能运维方法及平台[发明专利]

(12)发明专利申请

(10)申请公布号 CN 1069034 A(43)申请公布日 2017.05.10

(21)申请号 201611030749.6(22)申请日 2016.11.22

(71)申请人 北京锐安科技有限公司

地址 100192 北京市海淀区西小口路东升

科技园B-2楼7层(72)发明人 赵立波　

(74)专利代理机构 北京君尚知识产权代理事务

所(普通合伙) 11200

代理人 司立彬(51)Int.Cl.

G06F 11/30(2006.01)

权利要求书2页 说明书5页 附图2页

()发明名称

一种可视化智能运维方法及平台(57)摘要

本发明公开了一种可视化智能运维方法及平台。本方法为：1)采集各网络安全设备中的各种结构类型协议数据的填充情况；2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。本发明能智能分析设备的数据质量，从而主动、及时发现问题，促使研发人员高效解决，保证设备提供网络安全服务的质量。

CN 1069034 ACN 1069034 A

权　利　要　求　书

1/2页

1.一种可视化智能运维方法，其步骤为：

1)采集各网络安全设备中的各种结构类型协议数据的填充情况；

2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；其中，该特征向量

M为协议数据种类数，Nj为第j类协议数

据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；

3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。

2.如权利要求1所述的方法，其特征在于，进行有效性评估的方法为：如果当前采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化超过设定阈值，则判定当前采集的协议数据失效。

3.如权利要求2所述的方法，其特征在于，采用贝叶斯模型、SVM模型或人工神经网络模型对步骤2)得到的各特征向量进行模型训练，得到该决策模型。

4.如权利要求1所述的方法，其特征在于，步骤1)中采集的数据还包括可视化智能运维服务器的即时运行状态信息。

5.如权利要求4所述的方法，其特征在于，所述即时运行状态信息包括cpu使用率、内存使用率、磁盘占用率、硬盘io状态以及设定的关键进程服务是否正在运行。

6.一种可视化智能运维平台，其特征在于，包括实时数据采集模块、数据存储模块、数据智能分析处理模块和运行日志管理模块；其中，

所述实时数据采集模块，设置于各网络安全设备中，用于采集各网络安全设备中的各种结构类型协议数据的填充情况；

所述数据存储模块，设置于可视化智能运维服务器，用于存储实时数据采集模块采集的数据；

所述数据智能分析处理模块，用于根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；然后利用各特征向量进行模型训练，得到一决策模型；以及计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估；其中，该特征向量

M为协议数据种类数，Nj为第j类协议数

据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；

所述运行日志管理模块，用于根据数据智能分析处理模块的分析结果，对数据存储模块中的数据进行维护。

7.如权利要求6所述的平台，其特征在于，还包括一数据缓冲管理模块，设置于可视化智能运维服务器，用于缓存实时数据采集模块采集的数据。

8.如权利要求6所述的平台，其特征在于，还包括一监控模块，用于以可视化展示界面形式显示可视化智能运维服务器的即时运行状态信息。

9.如权利要求6或7或8所述的平台，其特征在于，所述数据智能分析处理模块根据当前

2

CN 1069034 A

权　利　要　求　书

2/2页

采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化是否超过设定阈值，判定当前采集的协议数据是否失效。

10.如权利要求6或7或8所述的平台，其特征在于，采用贝叶斯模型、SVM模型或人工神经网络模型对步骤2)得到的各特征向量进行模型训练，得到该决策模型。

3

CN 1069034 A

说　明　书

一种可视化智能运维方法及平台

1/5页

技术领域：[0001]本发明涉及计算机数据通信领域，特别是对网络数据采集的效率进行了智能的运维管理，以保证网络数据采集的有效性。背景技术：[0002]随着近几年互联网和移动互联网用户的大量增长，需要大量高质量网络安全设备来予以保障。对网络设备的运行维护、实时监控更加重要。在IT运维监控系统中，将对企业的网络设备运行数据进行采集和处理，使得企业可以掌握和管理所有IT资源的运行情况。然而，现有的运维监控软件对设备的监控不够直观，对设备处理的数据质量无法智能的进行提示告警。[0003]目前全国各地网络设备资源的显现度低，现场设备运行维护人员的工作往往具有难度大和工作量大的问题。目前运行维护人员的工作方式大多为被动响应式的，容易造成发现设备出现问题的时间比较滞后，不容易及时发现设备出现的一些小问题以及数据质量下降的一些问题，易造成问题积累而产生大问题出现大影响。现场接入网络的设备数量大，设备的性能参数和软硬件环境不完全相同，现场运维人员的工作仍主要采用手动监控方式，技术门槛较高，效率低下，很难及时发现和预见问题的发生。手动监控是一种离线的、片面的、以点见面式的检查方式，不能够持续对设备运行状态进行监控。更难以对整体系统的运行进行调优工作。另外，现场网络设备的监控需要通过大量的命令语句来进行管理和监控运行状态，有一定的技术难度，运行维护人员遇到问题往往过度依赖厂家。而厂家支持部门的人力资源严重不足，运行维护人员的工作负荷也过重，目前往往处于既要应对发现的明显问题的支持解决，又要面临不断改进服务和提高数据质量、分析故障原因的压力。[0004]本发明旨在解决上述网络安全设备监控存在的缺陷，提出了一种智能分析设备数据质量和工作状态运行监控的可视化方法。

发明内容：[0005]本发明提供了一种对网络安全设备数据质量进行可视化智能监控的平台，同时能够对设备运行状态监控告警，解决了目前运行维护监控存在的缺陷，为企业降低了设备维护和数据质量改进成本。[0006]本发明的技术方案为：[0007]一种可视化智能运维方法，其步骤为：[0008]1)采集各网络安全设备中的各种结构类型协议数据的填充情况；[0009]2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；其中，该特征向量

M为协议数据种类数，Nj为第j类协

议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；

4

CN 1069034 A[0010]

说　明　书

2/5页

3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；

[0011]4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。[0012]进一步的，进行有效性评估的方法为：如果当前采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化超过设定阈值，则判定当前采集的协议数据失效。[0013]进一步的，采用贝叶斯模型、SVM模型或人工神经网络模型对步骤2)得到的各特征向量进行模型训练，得到该决策模型。[0014]进一步的，步骤1)中采集的数据还包括可视化智能运维服务器的即时运行状态信息。[0015]进一步的，所述即时运行状态信息包括cpu使用率、内存使用率、磁盘占用率、硬盘io状态以及设定的关键进程服务是否正在运行。[0016]一种可视化智能运维平台，其特征在于，包括实时数据采集模块、数据存储模块、数据智能分析处理模块和运行日志管理模块；其中，[0017]所述实时数据采集模块，设置于各网络安全设备中，用于采集各网络安全设备中的各种结构类型协议数据的填充情况；[0018]所述数据存储模块，设置于可视化智能运维服务器，用于存储实时数据采集模块采集的数据；[0019]所述数据智能分析处理模块，用于根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；然后利用各特征向量进行模型训练，得到一决策模型；以及计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估；其中，该特征向量

M为协议数据种类数，Nj为第j类

协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；[0020]所述运行日志管理模块，用于根据数据智能分析处理模块的分析结果，对数据存储模块中的数据进行维护。[0021]进一步的，还包括一数据缓冲管理模块，设置于可视化智能运维服务器，用于缓存实时数据采集模块采集的数据。[0022]进一步的，还包括一监控模块，用于以可视化展示界面形式显示可视化智能运维服务器的即时运行状态信息。[0023]该平台主要采用如下技术方案：[0024]组成该智能运维平台的模块主要有六大模块构成：实时数据采集模块、数据缓冲管理模块、数据存储模块、数据智能分析处理模块、运行日志管理模块和监控模块。[0025](1)、实时数据采集模块。该模块主要解决了目前运行维护人员手动命令式的对运行状态进行监控和设备数量大造成监控不及时不到位问题的缺陷。另外，该模块的另一重要功能是实现对设备(即网络安全设备)数据质量(即数据填充的情况)的采集。本文提到的网络安全设备是一种提供网络内容安全数据采集的设备。它工作在互联网应用层，设备分析网络流中各种协议，并根据需要进行协议数据的部分采集。该实时采集模块对安全设备采集到的协议数据进行监控记录。该模块将对每一台设备的运行状态和设备处理数据的各

5

CN 1069034 A

说　明　书

3/5页

字段填充日志进行实时采集。[0026](2)、数据缓冲管理模块。该模块主要是针对设备数量众多，实时采集的数据多，可能造成后续模块处理效率不匹配的问题。该模块首先对采集的数据进行预处理，将各台设备的数据进行缓冲收集。[0027](3)、数据存储模块。该模块主要实现对运维数据的存储，形成运维数据中心。针对目前运行维护过程中对设备的运行状态和数据质量的监控工作不持续，对数据质量下降不易及时发现的问题，该数据中心会存储一定期限的历史数据。[0028](4)、数据智能分析处理模块。该模块主要解决目前对数据质量的监控过度依赖有一定经验的运维人员，发现数据质量问题比较滞后的现状。该模块的一大重要特点是采用了人工智能模型对数据进行智能分析，然后进行数据质量警告。[0029](5)、运行日志管理模块。该模块设计的功能实现对设备运行状态进行记录管理，维护数据存储模块中数据。[0030](6)、监控模块。该模块以可视化展示界面形式显示网络安全设备的运行指标(cpu、磁盘、内存使用率，磁盘I/O状态以及监控软件运行状态的参数项)和数据质量指标(智能分析模块分析后给出的各种协议数据是否数据质量下降的情况)。[0031]由以上技术方案可知，本发明具有如下有益效果：[0032]本监控可视化平台，可自动、不间断、直观地监控网络安全设备的运行状态，能智能分析设备的数据质量，从而主动、及时发现问题，促使研发人员高效解决，保证设备提供网络安全服务的质量。同时，该平台可以参考历史记录数据进行智能分析，推断出数据质量下降具体的数据类别，大大减少发现问题解决问题的周期。附图说明[0033]图1为系统网络拓扑图；[0034]图2为本发明的可视化智能运维平台结构框架说明图；[0035]图3为本发明的数据智能分析处理模块工作流结构图；[0036]图4为数据采集模块采集数据和数据预处理示例。[0037]具体实施例方式：[0038]以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。[0039]图1是该可视化运维平台的物理网络拓扑图。通过拓扑图该系统可以将各个地市的设备运维工作信息收集进入运维系统进行处理和运维数据可视化。[0040]图2是可视化智能运维平台的结构框架图。该运维平台的搭建需要在各地市的设备上安装部署运维数据采集模块，用来对安全设备的工作状态和服务器的运行状态进行实时数据采集。该采集模块用来采集安全设备的工作状态，即一段时间内设备处理的各种结构类型协议数据(表1为该设备处理后产生的数据示例)的填充情况和服务器即时运行状态信息(cpu使用率、内存使用率、磁盘占用率、硬盘io状态、关键进程服务是否正在运行)。[0041]表1为设备产生的数据

6

CN 1069034 A

说　明　书

4/5页

[0042]

该平台的数据缓冲模块主要功能是将采集到的各地市设备运维信息进行收集缓

冲，以确保各个地市所有设备的运维数据都能够收集上来。该模块将各设备的运维信息收集放入一个固定的缓冲空间，以供数据存储模块将数据处理入数据库。[0044]数据存储模块主要实现运维数据的入库和数据存储功能。具体实施例可以采用mysql、oracle、sqlserver等数据库。[0045]运行状态日志管理模块主要实现对数据库中的运维数据的管理，以保证数据库有足够存储空间，和运维数据在数据库中的生存期。[0046]数据智能分析处理模块实现对运维数据的处理和安全数据的价值性分析。图3为该模块的工作流结构图。该模块是该可视化智能运维平台的关键数据处理环节。该模块主要有三个功能：(1)、对各类安全数据进行预处理计算得到特征向量；(2)、针对一段时间内从各类安全数据计算得到的特征向量，进行模型训练；(3)、根据训练的分析模型，对当前安全数据的有效性进行分析，从而做出安全数据的失效性评估，并分析出哪些可能存在失效的安全数据。[0047]图4为该模块对数据进行预处理和特征向量计算过程示例说明。本运维数据采集模块采集的运维数据会保留数据细分类FA4字段(该字段是对DATA1数据的具体细分类，例如该字段为01代表都为网民登陆网站时的数据，03代表网民发送信息时的数据)的原始信息，以对该DATA1类型数据进行分类，并分别对字段填充情况采用0,1表示(1为有填充值，0为null)。然后该分析模块根据数据库中采集的数据计算得到该时间段(例如：24小时内)的特征向量。特征向量计算公式如下：

[0048]

[0043]

其中，M为DATA1数据细分类种类数，即协议数据种类数，Nj为M中第j类协议数据的总条数，xi为运维模块采集数据的第j类第i条数据的填充情况(即1或0)。Y为分析计算得到的该时间段特征向量。[0050]提取数据关键特征首先会对一定时间段内的协议填充数据按协议类别分别进行填充数据抽取，整理形成特征向量，以供进行数据模型训练。在该可视化智能运维平台实施例中数据模型可以选择已知的人工智能模型，如贝叶斯模型、SVM模型、人工神经网络模型等。当模型训练完成之后，得到一个决策模型，新的安全数据会根据模型进行分析。当前采集的协议数据的填充情况特征向量与最近一段时期的特征向量，通过决策模型判定有显著变化，并给出告警信息。[0051]监控平台模块部署在web服务器上，主要提供运维数据的可视化展示界面，方便运维人员直观的监控。

7

[0049]

CN 1069034 A[0052]

说　明　书

5/5页

以上所述为本发明的优选实施例，对于本领域的技术人员，本发明可以有不同的

变化。凡在本发明的思想和原则之内，所作的修改、改进等，均包含在本发明的保护范围之内。

8

CN 1069034 A

说　明　书　附　图

1/2页

图1

图2

9

CN 1069034 A

说　明　书　附　图

2/2页

图3

图4

10