一种基于感兴趣区域的图像情感特征提取方法

一种基于感兴趣区域的图像情感特征提取方法

作者：刘澍泽 张巍

来源：《电脑知识与技术》2018年第15期

摘要：为了获得图像的情感语义信息，提出了一种基于感兴趣区域的图像情感特征提取方法。首先通过眼动仪得到感兴趣区域，然后划分每一幅图像为感兴趣区域和非感兴趣区域；其次，使用了层次分析法来评价感兴趣区域和非感兴趣区域对图像情感的权重值，然后使用灰度共生矩阵及基于感兴趣区域的主颜色提取算法，分别计算求取了感兴趣区域和非感兴趣区域的纹理和主颜色特征，并进而求得了图像情感的整体特征。 关键词：图像情感；感兴趣区域；特征提取；眼动仪

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）15-0174-02 A Feature Extraction Method of Image Emotion Based on the Regions of Interest LIU Shu-ze1， ZHANG Wei2

（1.Rensselaer Polytechnic Institute， Troy 12180， USA；2.Shanxi Medical College for Continuing Education， Taiyuan 030012， China）

Abstract： In order to get the affective semantic information of the image， a feature extraction method of image emotion based on the Regions of Interest（ROI） was proposed in the paper. Firstly， ROI was obtained by the eye tracker. Secondly， Analytic Hierarchy Process（AHP） was used to evaluate the weight of ROI and non-ROI for the image emotion. Next， Gray level co-occurrence matrix and the extraction algorithm of domain color were utilized to compute and get the feature of texture and domain color of ROI and non-ROI respectively， and then the whole feature of image emotion was obtained.

Key words： image emotion； regions of interest； feature extraction；eye tracker 1 引言

随着互联网应用的发展，人们对图像检索的需求越来越强烈。人们从事图像检索研究的目的，是为了更好地满足为用户查找和访问图像资源的需要。但用户不仅需要图像内容，而且也需要主观性的图像情感体验。为了获得图像所蕴含的情感语义，目前的研究重点是缩小情感鸿沟，即改进特征与情感类别之间的映射关系。

龙源期刊网 http://www.qikan.com.cn

选取的图像特征会影响图像视觉特征和情感语义的映射关系，特征提取是图像视觉特征和情感语义映射中的一个关键步骤。感兴趣区域是图像情感研究的一个热点问题，它能吸引用户的注意力，并且能有效地表达整个图像的情感[1]，因此可以认为场景图像中的重点区域常常对应于某个感兴趣区域。

本研究使用Tobii眼动仪来得到感兴趣区域，该眼动仪能显示眼睛运动的轨迹。可以定义眼睛停留较长时间的区域为感兴趣区域，然后可得到852个图像的感兴趣区域，这些图像是由Tobii眼动仪检测出100 个人分别对这852 幅图片的眼动轨迹，每幅图片中眼动轨迹密集的地方就是感兴趣区域。

因为感兴趣区域可以有效地表示图像的主要情感，可以使用层次分析法来度量感兴趣区域和非感兴趣区域的特征向量的权值，然后分别提取感兴趣区域和非感兴趣区域的纹理特征及主颜色特征，并进而求得了图像情感的整体特征。 2 使用层次分析法分配权值

人们在看图像时，会关注图像的感兴趣区域，感兴趣区域的位置、大小、颜色等特征不同，对图像情感语义的贡献也不同，因此应针对图像不同区域的特征，设置不同的权重。在提取图像特征时，应考虑权重的影响，影响感兴趣区域权重值的因素如图1所示。 设置图像各个区域权重值的方法如下：

（1）层次分析法分层结构如图1所示，其中目标层是感兴趣区域对图像情感的权重，准则层有两层，是和感兴趣区域的权重相关的一些图像视觉特征，方案层是图像的感兴趣区域和非感兴趣区域。

（2）建立比较尺度。心理学家认为，成对比较的因素数应为7±2范围，若比较的因素太多，则会超出人的判断范围，因此本文设置比较尺度为1～9。评分值9表示绝对重要，7表示重要得多，5表示很重要，3表示略为重要，1表示一样重要，其余数值为中间值。

（3）建立判断矩阵。步骤为：第一步，先用数字1至9标出两两目标的比较判断；第二步，构造判断矩阵；第三步，计算出所有目标权重。

（4）确定权重。由成对比较矩阵确定权重的方法一般有和法、最小二乘法等。这里采用和法计算，该方法将n个列向量的算术平均作为权值向量。公式为： [wi=1nj=1naiji=1naiji=1，2，…n] （1）

其中，[aij]表示元素[ai]和[aj]相互比较得到的结果，n是元素的个数，[wi]表示此元素对应的权重值。

龙源期刊网 http://www.qikan.com.cn

为了得到准确的结果，对所有的数据做了一个调查，调查包括了100个人，其中有名女性，46名男性。最后的结果是感兴趣区域对图像情感所占权重是0.59，而非感兴趣区域对图像情感所占权重是0.31，即W1=0.59，W2=0.31。 3 使用灰度共生矩阵进行纹理分析

纹理分析的统计方法的典型代表是灰度共生矩阵[2]。灰度共生矩阵就是从图像坐标为（x，y），灰度为i 的像素出发，统计与距离为δ、方向为θ，灰度为j 的像素坐标为（x+△x，y+△y）同时出现的概率P（i，j，δ，θ）。用数学公式表示，则为：

[P（i，j，δ，θ）={（x，y），（x+Δx，y+Δy）]f（x，y）=i}；f（x+Δx，y+Δy）=j；x，y=0，1…，Nx-1（Ny-1）] （2）

式中，[i，j=0，1，2，…L-1]；x，y是图像中的像素坐标；L为图像的灰度级数；Nx，Ny分别为图像的行列数。

本文中，使用的图像像素灰度分辨率是8bit，因此，对于一个给定的位移向量，灰度共生矩阵有256行*256列的大小，对于所有的距离[δ]和角[θ]找到所有的灰度共生矩阵将需要巨大的计算量。Haralick等人[3]建议用[δ]=1或者2，并且[θ]=0°， 45°， 90°及 135°这样的4个位移向量来计算灰度共生矩阵。本例中，对于要处理的每一幅图像，使用[δ]= 1， 以及 [θ] = 135°这样唯一的一个位移向量，来计算唯一的一个灰度共生矩阵。

由灰度共生矩阵可以定义出大量的纹理特征， Haralick 等人[3]用灰度共生矩阵提取了14 种特征值。但是由于灰度共生矩阵的计算量很大，为了简便，一般采用下面四个最常用的特征来提取图像的纹理特征[4-6]，本文也是采用这种方法的。 角二阶矩 =[i=1nj=1nP（i，j，δ，θ）2] （3）

对比度 =[k=0n-1k2i=1nj=1i-j=knP（i，j，δ，θ）] （4） 相关= [i=1nj=1ni⋅jP（i，j，δ，θ）-μxμyσxσy] （5） 熵=[-i=1nj=1nP（i，j，δ，θ）logP（i，j，δ，θ）] （6） 其中x和y方向的均值和方差给定如下：

[μx=i=1nij=1nP（i，j，δ，θ），] [μy=j=1nji=1nP（i，j，δ，θ），] [σx=i=1n（i-μx）2j=1nP（i，j，δ，θ），] [δy=j=1n（j-μy）2i=1nP（i，j，δ，θ）] （7）

龙源期刊网 http://www.qikan.com.cn

4 基于感兴趣区域的主颜色的提取算法

因为感兴趣区域会影响人们的视觉感知，并且，从第2节中可以获得感兴趣区域和非感兴趣区域对图像情感的权重值，因此主颜色的提取应考虑权值的影响。根据计算颜色直方图的公式，可计算图x的颜色直方图[7]，定义如下：

[H（x）=（h0，h1，h2，...hi，...h.L-1）][hi=N1W1+N2W2N] （8）

在公式（8）中，L表示色阶的总数，本文设为16；i表示当前色阶；N1表示色阶为i 在感兴趣区域的像素数；N2表示色阶为i在非感兴趣区域的像素数；W1是感兴趣区域对于图像情感所占权重；W2是非感兴趣区域对于图像情感的权重；N 是整个图像的总像素数。因此使用公式（8）进行计算，得到的最大值h 即图像x的主颜色。 关于主颜色的提取算法的实现步骤如下： （1）利用眼动仪得到图像的感兴趣区域。

（2）使用层次分析法计算感兴趣区域和非感兴趣区域对于图像情感所占的权重。 （3）使用公式（8）求得图像的各区域直方图。 （4）通过直方图峰值法，可求出图像各区域主颜色。

5 融合感兴趣区域和非感兴趣区域的特征得到图像情感的整体特征

融合感兴趣区域和非感兴趣区域的特征得到图像情感的整体特征的实现步骤为： （1）利用Tobii眼动仪获得图像感兴趣区域。

（2）使用层次分析法求感兴趣区域和非感兴趣区域对于图像情感所占的权重。 （3）使用灰度共生矩阵以及基于感兴趣区域的主颜色提取算法，分别计算图像感兴趣区域和非感兴趣区域的纹理特征及主颜色特征，求出特征值后，分别与该区域的权重相乘，然后再将这两部分相加。

（4）得到图像纹理特征和主颜色特征的图像情感的整体特征。 6结束语及讨论

本文提出了一种基于感兴趣区域的图像情感特征的提取方法，下一步，根据本文建立的图像情感特征，将建立图像视觉特征和情感映射的关系，从而实现图像情感的识别。本文图像视

龙源期刊网 http://www.qikan.com.cn

觉特征仅提取了图像的纹理及主颜色特征，提取的图像特征偏少，这样就弱化了训练集的强度，今后应多提取一些图像特征，比如更多的颜色特征，形状特征等。 参考文献：

[1] Saha P， Bhattacharjee D， De B K， et al. An approach to detect the Region of Interest of expressive face images[J]. Procedia Computer Science， 2015，46：1739-1746.

[2] 陈艾伦，陈庆虎，罗霄，等.基于灰度共生矩阵的打印文件检验研究[J].科学技术与工程，2015；15（22）：42-46.

[3] Haralick R M， Shanmugam K， Dinstein I. Textural features for image classification[J]. IEEE Transactions on Systems Man and Cybernetics，1973，3（6）：610- 621.

[4] 徐岩， 刘斌， 米强.复合不变矩和GLCM特征加权融合的人脸识别研究[J]. 山东科技大学学报：自然科学版，2018，37（2）： 1-8.

[5] Pang Hui， Chen Tianhua， Wang Xiaoyi ， et al. Quantitative evaluation methods of skin condition based on texture feature parameters[J]. Saudi Journal of Biological Sciences， 2017，24（3）： 514-518.

[6] Yang Dengwen， Wu Hong. Three-dimensional temperature uniformity assessment based on gray level co-occurrence matrix[J]. Applied Thermal Engineering， 2016，108（5）：6-696. [7] 刘芳辉， 郭慧.综合分块颜色体积直方图和LGWBPs的图像检索[J].图学学报， 2017，38（3）： 388-395.