移动互联网内容监测系统方案设计

系统结构设计

网络内容安全监测系统由内容监测前端机、图片识别服务器、应用服务器和中心报表服务器组成，系统逻辑组成如图2所示。

监测前端机、图像识别机和应用服务器之间通信采用内部地址，探针监测网络出口数据流时，监测端口不需要配置IP地址，不需要访问被监测设备，对被监测设备的性能没有影响，不改变原有业务流程。

监测前端机

监测前端机可根据需要选择千兆以太网电接口或光接口，前端机采用数据旁路方式接入被监测链路，多接口或主备链路可采用前端机接入集群来实现数据接入和内容安全分析。

监测前端机的主要工作任务是采集链路数据、还原业务内容并进行文字不良信息匹配识别，同时应用内容匹配去重机制过滤图片信息，将过滤后的图片传递到图像识别机进行黄色图片识别判定。

高速数据接口分流转换设备

对于2.5G/10G的高速数据接口可选择旁路接入的分流设备对被监测链路完成数据分流和流量预筛选。数据分流设备将接口转换为千兆以太网电接口，通过千兆接口的监测前端机对分流处来的网络流量进行数据采集分析。

对于多个GE接口，也可以采用GE接口专用汇聚设备将多个GE接口数据过滤转换到若干个GE接口，实现流量汇聚分析。

图像识别机

图像识别机的主要工作任务是将监测前端机传送过来的图片信息进行黄色图片智能识别判定，将判定结果上传到应用服务器。

应用服务器

应用服务器是内容安全监测系统的控制中枢，完成监测功能配置、监测记录存储记录、监测结果统计分析等功能。系统用户通过WEB浏览器完成对系统的功能配置和结果分析。如果监测入库的数据量汇总结果过大，可配置多台应用服务器实现应用服务器集群。

由于应用服务器需要和监测前端机保持高速的大带宽通信接口，所以需要每个监测的物理节点配置至少一台应用服务器，实现主备或监测集群设置需配置两台或多台应用服务器。

中心报表服务器

中心报表服务器主要完成监测结果的汇总统计分析功能，中心报表服务器与应用服务器通过网络连接。

系统功能设计

海量数据还原分析

针对业务访问特点，系统对捕获的图片进行智能分类记录，经过去重分析处理后的记录在数据库中的图片减少90%，经过黄色图片智能识别系统审核后的嫌疑图片占总数的1%左右，低于识别门限的小图片和图片被自然过滤。

系统实现了在电信系统高速数据接口对海量数据和图片的系统化应用，为业务运营的内容监管提供了新的技术手段和发展思路。

黄色图片智能识别判定

采用"基于内容的图像识别技术"，建立了人工智能的图像识别数学模型，根据标准肤色、姿态特征库直接对图像进行判断，而不是和现有图像库进行简单的对比，对色情图像的识别率很高，变被动防御状态为真正主动过滤，极大地提高了过滤的有效性。

文字不良信息智能匹配识别

关键字设置匹配管理可以增加、修改、删除关键字的类型。策略中需要进行关键字匹配时，需要指定关键字的类型（当然同一个策略可以指定多个关键字类型）。这样在检查业务数据时，如果业务内容中有一种指定关键字类型中的关键字则认为关键字匹配成功。

关键字可通过Excel模块来定义和维护，可通过系统导入关键字字典。用户可通过关键字列表来实现对关键字的维护，不同的业务类型可分别定义所属的关键字，也未可共用关键字列表。

权重匹配管理系统支持不同协议（业务）设置不同的关键词和权重，可根据查准率和出现概率，设置关键词的权重，可以设置减权关键词，降低误报率。

合理的设置监测策略，能极大提高数据中标率，降低误报率，从而极大地降低工作人员的工作量。具体来说，可以采取以下4种措施：调整关键字权重；设置减权关键字；把易误报的业务类型和URL增加到系统信任对象（白名单）；按照系统使用情况定期调整关键词权重，合理设置权重阈值。

网站报备监测

系统能根据IP地址判断IDC客户的网站页面底部的中央位置上是否有通信管理局发放的备案编号及证书，系统能够对备案编号、证书、信息产业部备案管理系统网址等进行特征抽象，并形成一定的规则，进行智能识别，保证监测结果的准确性。

不良信息取证记录

为了满足增值业务不良信息监控审核的需要，系统提供不良信息监测结果的审核确认流程，并可在各阶段分别生成分析报表。

本系统支持良好的报表展现和不良信息审核流程，大致的审核流程如下：

●监测前端机获取符合内容匹配条件的中标记录信息；

●系统用户浏览并审核抓取的图片和网站内容；

●对于有嫌疑的网站或链接，系统会给出具体的url，通过链接查实；

●通过审核确实有问题的链接，可以进行截图，保存文件等取证工作。

●可按不良信息的类型（如黄色、反动、欺诈等）进行查询，支持多条件的复合查询，可对中标信息进行去重处理。

统计查询

系统支持对至少提供主机域名、URL、URL命中次数、源数据链接、源IP、源端口、目的IP、目的端口、协议方法、协议内容类型、时间、权重等可用信息的报表生成。系统支持测试报告的打印预览、Excel、html等格式的输出方式，为管理工作提供方便。

告警策略配置

对于系统监测到的不良信息，除了进行浏览审核外，系统还支持使用邮件、短信、SNMP的方式进行告警。系统告警的产生基于配置的告警策略，在配置告警策略后，系统会实时监控、统计抓取到的不良信息数据，如果满足配置的告警阀值，就会产生相应的告警。用户可根据需要设置若干个告警策略，可以基于告警策略设置告警阀值、告警通知邮箱、告警短信通知手机，并选择告警基本。

移动互联网随着网络流量带宽的不断增长，各类违法等有害信息也乘虚而入，网络信息安全将出现严峻形势。其中互联网数据中心是各类网站及应用系统的主要集中地，也是网络信息传播的主要节点，通过建设内容监测系统，采取技术手段，将提高维护人员工作效率，将强化对移动数据网内的信息监控，将会有效切断违法有害信息传播链条，确保互联网健康发展，为促进和谐社会贡献力量。