基于大语言模型的图像修饰的交互研究.pdf

摘要

图像的修饰在人们的日常生活中具有广泛的需求，然而，绝大多数普通人

既不了解图片的修饰知识，也不会或者不经常使用专业的图像修饰软件。随着

视觉语言模型的兴起，实现高效的人机交互成为可能，针对图像专门设计的外

部修饰算法，使得对于图片的修饰方法、效果以及标准能更好地对齐专业的图

像修饰软件，最终向用户输出修饰好的图片以及关于图片修饰的科普文本，使

得整个过程实现全自动化，满足了普通用户便捷使用的目标，可以极大地便利

他们的生活。

本文的主要目标是利用通用人工智能视觉语言模型修饰图片并实现人机交

互，帮助不了解图像修饰知识、不常使用专业修饰软件的普通用户便捷、高效

地将普通图片修饰为具有一定艺术美感的图片，同时视觉语言模型向用户输出

一个有关图像修饰的科普文本，科普文本向用户解释视觉语言模型在整个修饰

过程中分析、思考与决策，旨在帮助用户更好的了解和运用图像修饰，实现用

户群体的下沉。

本文将修饰过的图片进行多个实验对比，首先与其他流行的图像修饰算法

输出的结果进行对比，以某位专业摄影师的修饰过的图片为基准，利用直方图

交叉核算法计算本文图片与其他方法图片与基准的相似度，结果表明，本文图

片与基准的相似度，在多个维度优于其他图片，证明本文方法与工具的优越性

能。其次是将其他视觉语言模型直接修饰的图片与原始图片以及本文修饰的图

片进行对比，对比结果表明，本文修饰的图片在美学上更有进步。

本文邀请用户使用系统，并发放问卷展开调查和收集反馈结果，统计数据

显示，绝大多数受访者符合本文对目标群体特征的预期，绝大多数受访者对输

出的图片和科普文本持肯定态度，这充分表明，本文的研究成果，在帮助和服

务普通用户的目标上，取得初步成果。

关键词：视觉语言模型；图像修饰；科普文本；直方图交叉核算法；用户研究

I

目录

一、绪论1

1.1研究背景与意义1

1.2国内外的研究现状1

1.2.1自动修饰图像研究现状1

1.2.2人机交互现状3

1.3主要工作与研究内容4

1.4论文框架4

二、理论基础6

2.1视觉语言模型中的图像处理技术6

2.1.1图像特征提取的主要概念6

2.1.2图像特征图区的目的6

2.1.3常见的图像特征6

2.1.4卷积神经网络在图像特征提取中的应用7

2.1.5关键组件7

2.1.6CNN提取特征过程9

2.2Transformer结构9

2.2.1Encoder-Decoder架构9

2.2.2张量11

2.2.3自注意力机制（Self-Attention）11

2.2.4多头注意力机制12

2.2.5位置前馈网络13

2.2.6残差链接和层归一化14

2.2.7位置编码16

三、基于视觉语言模型的图片修饰18

3.1工作流程介绍18

3.2各个模块工作细节19

3.2.1模块一：整体算子规划20

3.2.2模块二：算子参数设计20

3.2.3模块三：调用外部算子21

3.2.4模块四：反馈与判断22

四、交互实现与结果展示24

4.1数据集24

4.1.1数据集介绍24

4.1.2数据集主要特点24