输入“/”快速插入内容

利用亚马逊云上AI服务进行多模态内容审核及分析

前言
近年来,世界各地逐步加强了对各行业内容安全合规的监管力度,并推出了相关的监管政策和法规要求,旨在抑制违法、违规、暴力、色情、垃圾、酒精、毒品、隐私敏感等内容的传播和扩散,不符合安全合规要求的内容,极有可能面临企业业务产品的下架和监管部门的处罚。由此可看出,面向用户的应用和平台构建安全合规审查的重要性。然而,随着生成式人工智能(Generative AI,GenAI)技术的兴起,各类基于 GenAI 的应用和服务层出不穷,覆盖电商、娱乐媒体、零售、金融、医疗等广泛行业。GenAI 改变了传统人工生产内容的方式,大模型可以根据提示实现文本、图像、音频和视频等内容的生成。相比传统决策式 AI,GenAI 具有创新性、高效性和个性化等特点,但是现阶段也存在生成内容可控性的问题。GenAI 生成的内容可能包含误导信息、有害内容等,需要建立内容审核机制进行管控。与此同时,面向用户的 GenAI 服务也会涉及大量用户上传内容,这些 UGC 同样需要审核,过滤掉违规违法信息。内容审核涉及文本、图像、视频等多模态数据,还需要结合行业规范、法律法规等方面进行综合判断。GenAI 时代下,利用 GenAI 的内容审核技术和服务都将是非常值得关注的点。
接下来我们将探讨,如何使用亚马逊云科技提供的一系列托管人工智能服务 Amazon RekognitionAmazon ComprehendAmazon TranscribeAmazon TranslateAmazon Bedrock 以及其他技术,打造自动化的智能化内容审核系统包括图像、视频、文本和音频审核工作流程,及时过滤不合适的内容,给用户带来更好的体验。
Demo1 多模态数据智能审核及分析
架构说明
本方案整体架构如下图所示:
1.
用户上传各类型文件(包括:文本、图像、视频、语音)到 Amazon S3 存储桶
2.
文件成功上传存储桶后,监测到 S3 存储桶的事件变化(PUT Event),会自动触发 AWS Lambda
3.
AWS Lambda 根据文件类型执行相应的内容审核
使用 Amazon Rekognition 进行图像/视频数据的内容审核,包括:
i.
对不合规图像/视频数据进行审核
ii.
分析图像中的人脸相关信息,包括名人、年龄范围、面部的检测框、置信度值等属性
iii.
提取图片中的文本,再使用Comprehend、Bedrock进行文本审核
使用 Amazon Comprehend 对文本数据进行情绪分析、个人信息提取、毒性检测,包括:
i.
毒性检测,分析文本中的不合适内容,检测是否有包含脏话,暴力等相关内容
ii.
分析文本情绪,识别文本中的个人身份信息(PII)实体,如年龄、地址等信息
使用 Amazon Bedrock 中集成的大语言模型 Claude v2,通过对提示词自定义内容审核策略,对文本数据进行内容审核
使用 Amazon Transcribe 对语音进行毒性分类,类别包括脏话、仇恨言论、侮辱等;检测到的文本信息再使用 Comprehend、Bedrock 进行文本审核