人机协同，精确高效完成互联网内容审核

客户世界 | 2025年4月21日 | 客世原创, 期刊 | 评论已关闭 | 1083

互联网内容审核偏重于审查数字内容本身的内容质量和适宜性，其与信息安全管理共同构成了维护健康互联网环境的基础，确保了用户在享受互联网便利的同时，也能享有一个相对安全、健康的网络空间。

内容审核过程中，由于互联网内容的多样性和复杂性，单纯的机器审核或人工审核都存在局限性。借助人工智能工具，能够快速过滤和标记大量内容，但其判断逻辑仍由人类管理，并且当前的人工智能技术尚未达到真正的智能水平，缺乏高阶思维能力。这意味着对于某些复杂或模糊的内容，机器可能无法做出准确判断。人工审核则能够弥补这一不足。通过对审核人员培训，可以提高他们的知识储备和经验成熟度，使他们能够更准确地理解和执行审核标准。同时借助主动的信息反馈，加强机器的学习，人工审核反而可加速智能审核准确性的提升。因此，在实际内容审核管理过程中，更多采取“人机协同”的审核方式。

一、技术审核能力建设

为互联网内容安全管理进行技术赋能，可以设计一个多层次的技术能力模型。这个模型可以分为数据收集层、数据处理层、监测分析层、决策执行层和审计反馈层。每一层都是基于特定的技术和方法，用以应对网络内容安全管理的需求。技术能力模型遵循从数据获取到决策实施的过程，同时强调审计与反馈的重要性，以此保证互联网内容管理的透明度和准确性。不断的技术迭代和模型优化也是模型建立之后持续维护的关键点。这个模型还需要考虑到用户隐私保护、遵守地方法规和国际标准等因素。

在规划和设计针对中国市场的互联网内容审核和信息安全管理模型时，可以在以下方面进行技术赋能，并应用各种技术和数字化工具：

自然语言处理(NLP)，具体做法如下：
关键词检测：利用NLP进行关键词和敏感词汇检测，确保及时识别和处理潜在的风险内容。可以使用机器学习训练的模型来进行文本分类。
语义分析：通过语义理解技术，比如BERT等深度学习模型，分析句子和段落的真实含义，以更准确地识别言论的风险等级。
图像和视频分析技术，具体做法如下：
图像识别：应用深度学习技术如CNN(卷积神经网络)进行图像识别，准确识别色情、暴力等违规图像内容。
视频内容审核：使用逐帧分析和物体识别技术来自动检查视频内容，借助于深度学习算法对视频进行实时内容监测。
语音识别与审核，具体做法如下：
语音转文本：将音频内容转换为文字，之后使用NLP进行内容分析和检测。
语音分析：直接对语音流进行情感分析，识别潜在的敏感信息或异常活动。
数据加密与安全存储，具体做法如下：
加密技术：使用AES、RSA等强加密算法保护数据传输和存储的安全，防止数据泄露。
安全数据存储：结合区块链技术等提供不可篡改的数据存储解决方案，保障存储的安全可靠。
实时监控与异常检测，具体做法如下：
流量监控：实时监控网络流量，分析数据包，识别异常行为，比如DDoS攻击等。
行为分析：通过用户行为分析来预测和阻止潜在的不良行为，比如刷屏和滥发广告。
反馈与投诉处理系统，具体做法如下：
在线客服机器人：利用自动化的聊天机器人来及时响应用户的查询和投诉。
工单系统：自动化工单系统，对用户申诉和反馈进行分类、标记和响应，确保及时有效地处理用户问题。
法律法规合规性检查，具体做法如下：
合规性引擎：构建一个自动化的合规性检查系统，它可以定期更新法律法规，并确保检查过程符合最新的法律要求。
审计与报告：提供自动生成审计报告的工具，确保内容审核的透明度和可追溯性。

在应用这些技术和工具时，中国的企业还需要密切关注国家的政策动向，并不断调整技术方案以确保不仅在效率上，还在合法合规性上都达到最佳状态。同时，还需要处理好技术赋能与用户隐私保护之间的平衡，避免侵犯个人隐私的同时提供高效的监控服务。另外，一定要知道技术并非万能，还需要良好的管理制度与之配合，以实现最佳效果。

人工审核建设

近年来，互联网行业涌现出了众多内容平台巨头，如快手、抖音、今日头条等，通过内容发布和传播取得了巨大的发展。在这些平台发布内容之前，都需要进行机器审核和人工审核。这些平台的迅猛发展也引发了互联网信息审核员和人工智能训练师数量的激增。据不完全统计，截至2023年，国内互联网信息审核员数量超过15万人，与审核相关的互联网信息标注员数量超过5万人。这两个职业是互联网内容审核行业快速发展和规模化的产物。

在内容审核行业中，人工审核的工作主要包括对音视频、图文、直播等内容进行审核、监看及标注等，并对不符合法律法规、运营规则的内容进行判断及操作。完整的人工审核团队，应包括产品团队、策略与运营团队以及专业的执行团队。在人工审核执行团队方面，要加强在人员管理、数据管理、信安合规以及队列管理方面的工作，通过精细化的管理保证审核效率和审核质量。审核团队人员的管理是最基础也是工作量最大、涉及面最广的工作，团队以人为基础，管理动作以人为对象，业务指标以人去达成，方方面面都离不开对人员的干预，因此人员管理是日常管理场景下最根本的环节。对于人员的管理，最重要的是对审核人员进行正确的选拔、培养与技能提升。根据运营管理实践和分析，互联网信息审核员需要具备包括学习理解能力、变化适应能力、细节识别能力在内的“九大能力”，以及包括保密意识、危机以及效率意识等在内的“四大意识”。

同时，要使得人工审核执行团队的工作正常开展，需要提供一定条件的网络环境以及具备一定保密措施的作业环境，包括网络带宽配置（例如高速光纤或宽带网络）、稳定网络环境（例如专线一主一备）、高度安全性网络传输、适配审核内容的电脑硬件配置，作业区域的物理隔离、环境监控以及现场人员安全管控要求等等。

通常企业人工审核的运营管理模式，可分为自营管理模式、BPO管理模式、自控他营模式等。每种管理模式中甲乙方的职责分工存在较大差异，管理流程和决策流程也有较大差异。然而，尽管各种管理模式存在较大差异，但在指标提升和业务落地执行方面，逻辑和策略基本相同。

自营管理模式：人工审核团队作为保障企业平台内容安全的守护者，对企业的合规安全运营尤为重要。在初期阶段，各大互联网巨头的人工审核团队主要采用自营管理模式。该模式具有职责分工明确、审核员素质和专业性高、管理流程较完善以及管理水平较高、成本高的特点。
BPO管理模式：随着互联网巨头对人工审核流程和经验的不断沉淀和优化，人工审核逐渐走向标准化，其可控性也得到进一步加强，BPO企业代管模式开始被尝试。与此同时，随着互联网巨头在达到用户规模聚合后开始考虑企业盈利模式和盈利能力，它们不断推出降本增效的措施，将人工审核外包给BPO企业成为有效的成本控制方案。BPO企业具备丰富的运营管理经验以及强大的资源弹性，不但能满足人工审核的指标交付要求，而且能够有效控制成本，规避用工风险。但也容易因致力于达成KPI指标，而无法平衡及考虑服务质量和业务发展的情况。
自控他营管理模式：是指一线审核员归属于BPO公司，以自营管理团队为主、BPO管理团队为辅的管理模式。自营管理团队负责制定、决策和规划审核团队的执行要求，而BPO管理团队负责具体的执行工作，两个管理团队协同开展工作。自控他营管理模式继承了BPO管理模式的优点，同时也能够避免因BPO公司管理人员对业务背景、流程及底层运营逻辑缺乏了解而导致的服务不足和其他管理专业性上的局限。在BPO化进程的初期阶段，这种管理模式较为适用，既能规避运营风险，又能够达到降低成本和提高效率的目的。当然该模式也存在管理责权不清，影响运营工作高效开展的风险。
技术赋能人工审核

为了提高人工内容审核的效率和准确性，使用一些专门的工具和技术辅助审核是非常必要的。以下列举一些常用的技术手段：

OCR（光学字符识别）：这项技术帮助将图片或扫描的文档中的文字转化为机器可读的文本形式，方便审核文字内容是否违规。
高危帧置顶或飘色：这项技术在视频中自动标记出看起来可能包含有害信息的特定画面，使它们更容易被审核人员注意到。
高亮词及维护：自动标记出可能表示违规内容的关键词，让审核人员可以迅速识别潜在问题。
风险词前置：将含有潜在风险的词汇提前展示给审核人员，以便快速进行处理。
高危case实时同步：指在发现极有可能违规的内容时，能够实时通知审核人员，以便采取紧急措施。
以图查图：当需要确认一张图片是否违规时，可以通过比较数据库中的已知违规图片来快速识别。
违禁库对比：检查内容是否与已知的违规或不允许的内容匹配，比如违禁词汇表，或者违规图片库。

通过以上工具和技术能显著提升人工对于互联网内容的审查能力，帮助快速、准确地识别和处理不适宜的内容。

随着社交媒体和互联网平台上多媒体内容的爆炸性增长，内容审核不仅需要涉及文字，还必须增强对图像、视频、音频甚至是实时直播内容的审核能力。这要求审查系统能够理解和解析多种形式的内容，并能够捕捉到跨模态内容中的潜在违规信息。在线内容的形式日益多样化，内容审核将不仅限于识别简单的文本或图片，还将涉及音频、视频、虚拟现实(VR)、增强现实(AR)甚至是物联网(IoT)设备。审核系统需要能够跨媒介工作，识别和解析多种类型的内容。随着科技的进步和全社会对网络环境健康的重视，内容审核产业将变得更加智能化、人性化和高效。

以上内容摘自鸿联九五集团常务副总裁高路编著《互联网内容审核与信息安全管理》

《客户世界》创办于2003年1月，是中国客户服务与数字运营行业的旗帜媒体。本文刊载于2025年句芒辑（总第237期），作者高路是鸿联九五集团常务副总裁；联络编辑：edit@ccmw·net