文本生成图像研究综述.pdfVIP

第

58

卷第

2

期浙

江

大

学

学

报(工学版)Vol.58

No.2

2024

年

2

月Journal

of

Zhejiang

University

(Engineering

Science)Feb.

2024

DOI:

10.3785/j.issn.1008-973X.2024.02.001

文本生成图像研究综述

1,21,21,21,21,21,21,2

曹寅，秦俊平，马千里，孙昊，闫凯，王磊，任家琪

(1.

内蒙古工业大学

数据科学与应用学院，内蒙古

呼和浩特

010000；

2.

内蒙古自治区基于大数据的软件服务工程技术研究中心，内蒙古

呼和浩特

010000)

摘

要：对文本生成图像任务进行综合评估和整理，根据生成图像的理念，将文本生成图像任务分为3大类：基于

生成对抗网络架构生成图像、基于自回归模型架构生成图像、基于扩散模型架构生成图像.

针对基于生成对抗网

络架构的文本生成图像方法，按照改进的不同技术点归纳为6小类：采用多层次体系嵌套架构、注意力机制的应

用、应用孪生网络、采用循环一致方法、深度融合文本特征和改进无条件模型.

通过对不同方法的分析，总结并

讨论了现有的文本生成图像方法通用评估指标和数据集.

关键词：

人工智能生成内容；文本生成图像；生成对抗网络；自回归模型；扩散模型

中图分类号：

TP

391

文献标志码：

A

文章编号：

1008−973X（2024）02−0219−20

Surveyoftext-to-imagesynthesis

1,21,21,21,21,21,21,2

CAO

Yin,

QIN

Junping,

MA

Qianli,

SUN

Hao,

YAN

Kai,

WANG

Lei,

REN

Jiaqi

(1.

CollegeofDataScienceandApplications,InnerMongoliaUniversityofTechnology,Hohhot010000,China;

2.

InnerMongolia

AutonomousRegionEngineeringTechnologyResearchCenterofBigDataBasedSoftwareService,Hohhot010000,China)

Abstract:A

comprehensive

evaluation

and

categorization

of

text-to-image

generation

tasks

were

conducted.

Text-to-

image

generation

tasks

were

classified

into

three

major

categories

based

on

the

principles

of

image

generation:

text-

to-image

generation

based

on

the

generative

adversarial

network

architecture,

text-to-image

generation

based

on

the

autoregressive

model

architecture,

and

text-to-image

gene