移动互联网内容监管平台结题报告.doc

研发项目结题报告（上报集团版）项目名称及编号彩信图片识别分析技术（移动互联网内容监管平台）主要研究单位及负责人（联系方式）上海移动四川移动山东移动网络部 赵东升其他研究单位及负责人（联系方式）山东移动公共设备维护中心 马进是否集团重点(是/否)是否联合项目（是/否）是项目经费（万元）0项目起止时间 2010年 1 月 2010年 12月专业类别研究类别其他关键词索引（35个）双线性插值法、grey world色彩均衡法、皮肤区域的检测、弹性图匹配、图片识别该项目在研究单位内部的评审结果该项目在研究单位内部的评审意见：u 项目的简介：随着彩信业务的不断发展，移动用户通过手机已经可以实现手机对手机、手机对邮箱的彩信收发，这使得用户可以轻松享受丰富的彩色图像、文字、声音、动画、振动等多媒体内容。但是近段时间，有些不法分子利用彩信向其他手机用户发布大量的广告信息，以及宣传色情、反动的内容，严重影响了用户的合法权益，降低了企业的形象，增加了社会不安定因素，影响了社会持续发展，垃圾彩信问题日益突出。分析此类非法彩信，其主要是利用一些群发彩信的工具和手机或手机客户端工具，通过彩信服务器发出。而目前现有系统无法有效的识别、过滤、处理大量的垃圾彩信。为了保护合法用户和合法经营者的权益，配合公安部第82号文件互联网安全保护技术措施规定的要求，如何净化网络，提高信息识别的能力成为一种强烈的需求，基于内容的不良图像的识别和检测技术目前是基于内容的网络过滤系统所面临的一个重要且待解决的研究课题，为此我们从彩信图片识别分析技术进行研究，以便能有效的控制反动、色情等非法信息通过彩信的方式传播。 多媒体内容识别算法，不仅能有效加快图像的整体识别速度，而且几乎不会影响图像的识别效果，通过grey world色彩均衡方法对图像中的光照进行调整后，能够有效的提高皮肤颜色区域的正确检测率。通过弹性图匹配方法对人脸不问的检测，能取得较好的识别性能，基于内容特征的图像检索提高了图像的检索精度。通过此技术的研究，确保了不良图像的监控率，也就提高了用户对移动公司的信任，凸显了移动公司践行社会责任的承诺。对现有企业标准规范的符合度：符合该项目的专利情况： 无该项目研发存在的主要问题及今后的设想：存在的问题：不良信息监控平台现在只是将部分重要系统（如wap系统等）有效监控起来，还未对彩信系统进行监控。对于彩信图片识别方法仅停留在研究阶段，并没有应用到现网，所以需要通过现网应用，达到监控目的。今后的设想： 建设彩信内容监控系统，以便能有效的控制反动、色情等非法信息通过彩信的方式传播。项目研究成果的主体内容（3000字以上，已附在表格后）：一、研究背景随着彩信业务的不断发展，移动用户通过手机已经可以实现手机对手机、手机对邮箱的彩信收发，这使得用户可以轻松享受丰富的彩色图像、文字、声音、动画、振动等多媒体内容。但是近段时间，有些不法分子利用彩信向其他手机用户发布大量的广告信息，以及宣传色情、反动的内容，严重影响了用户的合法权益，降低了企业的形象，增加了社会不安定因素，影响了社会持续发展，垃圾彩信问题日益突出。分析此类非法彩信，其主要是利用一些群发彩信的工具和手机或手机客户端工具，通过彩信服务器发出。而目前现有系统无法有效的识别、过滤、处理大量的垃圾彩信。根据公安部发布了第82号文件互联网安全保护技术措施规定，明确规定了互联网服务提供者和互联网信息提供者在互联网安全保护方面的责任和义务。同时根据成都市公安局计算机安全监察室互联网安全保护技术措施规定宣传纲要的相关规定，明确规定了互联网安全保护技术措施负责落实的责任主体是互联网服务提供者和互联网使用单位。为了保护合法用户和合法经营者的权益，配合公安部第82号文件互联网安全保护技术措施规定的要求，如何净化网络，提高信息识别的能力成为一种强烈的需求，基于内容的不良图像的识别和检测技术目前是基于内容的网络过滤系统所面临的一个重要且待解决的研究课题，为此我们从彩信图片识别分析技术进行研究，以便能有效的控制反动、色情等非法信息通过彩信的方式传播。 二、彩信图片识别分析技术的可行性研究现有的彩信图片识别技术中，被广泛采用的有已知图片识别、未知图片识别，但是随着网络的迅猛发展，面对浩瀚的图片，急需提高对反动、色情图像的快速识别率及识别准确率。为此，我们使用基于内容的方法对图像进行研究，采用统计分类方法实现对反动、色情图像的识别，此次研究采用的关键技术有：通过双线性插值法对图像大小进行调整、通过grey world色彩均衡方法对图像中的光照进行调整、利用皮肤颜色和皮肤纹理进行皮肤区域的检测、采用svm算法对分类模型的训练与识别、通过弹性图匹配方法进行人脸部位的检测。我们的研究设想是系统在获取图片后，先进行图片大小的标准化处理，将图片按比例进行标准化；之后对图片进行光照处理，从而对光线进行补偿处理；通过颜色及纹理的识别从而进行皮肤区域的提取，从而将非处理信息进行排除；在进行提取时，会对人脸进行识别，当有人脸占据图像的百分比超过指定系数时，即可排除非垃圾图像。之后进行降噪处理，将作用不大的皮肤区域或会产生干扰的区域去除；关键的皮肤区域按维度进行向量化处理，从而转变化可被图像处理模型识别的数据，并送入模型中。三、彩信图片识别分析技术的研究我们通过对现有图像识别技术的研究，了解到采用的关键技术有：肤色检测、目标区域的提取、图像特征的提取、分类器的设计等。这些技术已被应用到已知图像识别及未知图片识别。通过观察，我们认识到加强图像识别算法技术的研究，将有效提高图像的识别率及识别准确度，因此我们在此次研究中主要针对多媒体内容识别算法进行了研究。以下是彩信图像识别过程：（1）彩信图片识别过程（2）已知图像识别过程过程描述：1、 系统在进行初始化时，先产生特征值比对结构；2、 系统不断的读取已知图像库中的图像，根据特征值提取算法，将图像的特征值提取出来；3、 在提取出特征值后，将特征值存入特征值比对结构中；4、 当系统接收到待监控的图像时，采用同样的特征值提取算法，将待监控图像的特征值提取出来；5、 系统将此特征值送入特征值比对结构中进行比对；6、 如命中特征值，就会得知此图像是否为垃圾图像，如果该图像具有垃圾属性则被监管，否则将准确认定其为正常图像；（3）未知图像识别过程过程描述：1、 系统在进行初始化时，先产生图像识别结构；2、 系统不断的读取训练样本库中的图像，根据智能分析算法，将训练结果存入图像识别结构中；3、 在进行图像识别时，只需将图像送入图像识别结构中，即可提出此图像的可疑度，可根据配置，将可疑度超过指定门限的图像加入到疑似库中；4、 在进行人工仲裁时，首先由管理员将指定疑似图像查询出来，然后进行人工仲裁，以确定此图像最终的类别；5、 当判断为垃圾图像后，可将此图像加入到已知图像库垃圾图像中；6、 经仲裁后，无论是非法图像还是正常图像，都可以将此图像加入到训练样本库中，然后使其进行反馈学习，从而不断提高智能分析的准确度。三、多媒体内容识别算法的研究彩信图像信息的识别过程，主要包括图像预处理、图像的特征提取与向量表示、分类模型训练与识别。图像的预处理包括对图像大小的调整、图像光照的消除；图像的特征提取主要是在完成图像中皮肤区域的检测与分割后，对皮肤区域信息进行特征提取与向量描述；最后将得到图像的特征向量送到分类模型中进行训练与识别。以下针对图像识别过程中涉及到的主要算法进行一一介绍：（1）通过双线性插值法对图像大小进行调整图像缩放技术主要包括最临近插值法、双线性插值法和双三次插值法;双线性插法通过线性插值的方式来得到目的图像的像素值, 考虑了待采样点周围四个直接邻点对待采样点的影响，这不仅克服了最临近插值法质损严重的问题，同时该算法的时间复杂度要比双三次插值法小的多。通过测试发现，通过双线性插值法对图像大小进行适当的标准化调整，不仅能有效加快图像的整体识别速度，而且几乎不会影响图像的识别效果。（2）通过grey world色彩均衡方法对图像中的光照进行调整grey world彩色均衡方法基于“灰度世界假设”，该假设认为对于一幅有着大量色彩变化的图像，r，g，b三个分量各自的平均值趋于同一个灰度值。在客观世界中，一般来说物体及其周围环境的色彩变化是随机的，独立无关的，因此这一假设是合理的。通过grey world彩色均衡方法对图像中的光照进行调整后，能够有效的提高皮肤颜色区域的正确检测率。（3）利用皮肤颜色和皮肤纹理进行皮肤区域的检测对正常图像与色情图像进行观察分析发现：色情图像中的肤色区域占整幅图像的比例较大，而正常图像中肤色区域占整幅图像的比例则相应较小。皮肤区域的检测首先利用皮肤颜色空间将图像中非皮肤颜色像素过滤掉，然后筛选出图像中皮肤面积大于一定比例的区域，最后对筛选得到的需要进行皮肤纹理校验，对非皮肤颜色的区域进行进一步筛选；两次皮肤区域筛选，不仅能够过滤图像中存在的一些噪音，同时也能将一些类皮肤区域（比如动物的毛发等）进行有效的筛选。（4）图像的特征表示图像的特征除了包括图像中皮肤区域相对大小特征，皮肤区域的纹理密度和纹理直方图、皮肤区域的形状特征与轮廓特征外，还包括图像在颜色空间hsv的直方图信息。（5）采用svm算法对分类模型的训练与识别针对垃圾彩信中的二类问题，分类模型采用的是支持向量机模型（svm）。svm是目前机器学习中应用最广、分类效果最好的分类模型。在对彩信的识别测试中，svm也表现出来很好的鲁棒性。（6）通过弹性图匹配方法进行人脸部位的检测弹性图匹配方法通过gabor小波来提取并描述人脸中的一些局部特征点（节点），并把它们用成标记图（labeled graph）的形式连接起来，用标记图之间的相似度来衡量人脸图像之间的相似度。弹性图匹配方法不但体现了人脸中的几何特征信息，而且还可以通过标记图的弹性形变来描述人脸的一些变化，因而能取得较好的识别性能。人脸识别部分的技术虽好放在图像的特征表示之前，然后再图像的特征表示中添加人脸特征，即图像的特征表示可以修改为：图像的特征除了包括图像中皮肤区域相对大小特征，皮肤区域的纹理密度和纹理直方图、皮肤区域的形状特征与轮廓特征外，还包括图像在颜色空间hsv的直方图信息和人脸特征信息。（4）多媒体内容识别算法分析过程过程描述：1、 系统在获取图片后，先进行图片大小的标准化