基于深度有序回归的图像视觉复杂度评估方法研究.pdf

摘要

随着人工智能技术的快速发展，人与人工智能之间的紧密互动变得日益可能。在

与计算机进行交互时，人们更倾向于获取感知负荷适中、复杂度适度的图像和文字，

以促进更友好和融洽的人机互动。图像复杂度作为计算机视觉领域的重要参数，有助

于更准确地评估和解读视觉图像信息，从而促进人机交流。传统上，图像视觉感知分

类任务的主要焦点在于评估图像的视觉复杂度等级和预测视觉复杂度分数，并没有

考虑等级之间的顺序性关系。此外，目前的开源图像复杂度数据库主要提供单一分数

评价，很少揭示图像复杂度的具体区域标签，而这些区域标签对于人类理解图像至关

重要。针对数据集和网络模型问题，本文研究基于卷积神经网络的图像复杂度评估方

法，并着重探究图像视觉复杂度的数据集构建和有序性评估问题。

（1）本文构建了一个名为ICEye的图像复杂度数据集，包含1200张图像。该

数据集利用心理实验和眼动仪技术，旨在提供更高质量的可视化区域标记，以评估图

像复杂度。本文从IC9600数据集中选择了8个不同领域的图像作为实验刺激，并招

募了70名志愿者参与实验。被试者观看一系列图像，并通过眼动仪记录他们的眼睛

运动轨迹，以生成热点图，并构建图像复杂度的热点图坐标和分割图像。ICEye数据

集强调区域级别的图像复杂度标记，使研究人员能够更深入地了解影响人类图像理

解的复杂因素。ICEye数据集为研究人员和从业者提供了一个有价值的资源，用于各

种与图像复杂度相关的研究。它适用于图像处理、视觉设计、用户界面设计等领域。

（2）本文着重探索了深度神经网络和有序回归相结合的方法,提出了改进的

ICNet和有序回归CORN相结合的评价模型（ICCORN），该模型充分提取全局语义

信息和局部细节信息，并在预测过程中引入有序性，能够从深层次的图像特征中提取

出更丰富、更准确的图像复杂度信息。此外，研究中发现有序回归可以对图像复杂度

的回归数据提供辅助作用，从而得到更精确的图像复杂度评估数据。实验结果表明，

本文提出的方法能够预测图像的视觉复杂度感知相关性，皮尔逊相关系数提升到

0.954，其他各项指标都有所提升。通过比较，该方法优于其他图像复杂度方法，主

观复杂度与客观复杂度度量之间的相关系数更高。

关键词：图像复杂度评估；深度学习；有序回归；眼动追踪；图像分割

I

目录

摘要I

ABSTRACTII

1绪论1

1.1研究背景与意义1

1.2国内外研究现状3

1.2.1图像复杂度评估研究现状3

1.2.2图像复杂度数据集进展5

1.3本文研究内容6

1.4论文组织结构6

2相关理论基础9

2.1卷积神经网络及相关模块9

2.1.1卷积神经网络结构和发展9

2.1.2ResNet模型12

2.1.3空间注意力分布模块13

2.2有序回归模型14

2.2.1有序回归简介14

2.2.2有序回归模型15

2.3数据集和评价指标18

2.3.1图像复杂度数据集18

2.3.2图像复杂度评价指标19

2.4本章小结20

3基于眼动数据的图像复杂度数据集构建21

3.1问题描述21

3.2基于眼动仪的图像复杂度数据集构建21

3.2.1数据集收集21

3.2.2参与者22

3.2.3实验设备22

3.2.4实验图像标注22

3.2.5实验标注过程24

3.3实验结果与分析24

3.3.1实验记录得分评估24