迁移学习在脉冲星候选体分类中的应用研究.pdf

目录

摘要I

ABSTRACTIII

第一章绪论1

1.1研究背景与意义1

1.2国内外研究现状3

1.2.1人工选择阶段3

1.2.2机器学习阶段4

1.2.3深度学习阶段5

1.3论文主要工作6

1.4论文结构安排7

1.5本章小结8

第二章基本理论9

2.1脉冲星候选体产生步骤9

2.2CRAFTS巡天13

2.3相关深度学习理论和方法介绍13

2.3.1深度学习模型13

2.3.2ImageNet数据集和预训练模型14

2.3.3PyTorch介绍和LogME介绍15

2.3.4迁移学习17

2.3.5对比学习18

2.3.6自监督学习18

2.4本章小结19

第三章利用预训练-微调进行脉冲星候选体分类20

3.1数据集介绍20

3.2数据预处理21

3.3模型选择22

3.4模型微调23

3.5本章小结26

第四章利用自监督对比学习进行脉冲星候选体分类27

4.1数据集介绍27

4.2数据预处理27

4.3自监督对比方案设计28

4.3.1样本增强方式29

4.3.2整体模型架构和基础模型选择30

4.3.3损失函数31

4.4模型训练和微调32

4.5本章小结34

第五章实验结果35

5.1评价指标35

5.2结果分析36

5.2.1模型选择LogME结果分析36

5.2.2HTRU1微调结果37

5.2.3自监督对比学习训练结果39

5.2.4自监督预训练模型迁移结果40

5.3本章小结41

第六章总结与展望42

6.1本文总结42

6.2研究展望43

参考文献45

附录50

致谢62

攻读硕士学位期间主要研究成果63

贵州师范大学学位论文原创性声明64

贵州师范大学学位论文使用授权书64

摘要

候选体分类是脉冲星有哪些信誉好的足球投注网站流程中的重要一步，它承上启下，既是

对有哪些信誉好的足球投注网站流程的阶段性总结，又是对脉冲星性质研究的开始。随着中国

“天眼”射电望远镜的正式投入使用，以及银道面脉冲星巡天、漂移

扫描多科学目标同时巡天等项目的开展，脉冲星分类问题面临海量数

据，单条赤纬三个小时的扫描数据即可产生百万级候选体，对分类工

作提出了巨大的挑战。早期的人工筛选早已无法满足这一步骤的需求，

尽管机器学习方法和监督深度学习方法在脉冲星候选体分类问题中

表现良好，但是机器学习方法非常依赖专家对脉冲星样本特征的选取，

而监督训练非常依赖样本的数量和质量，使得深度学习模型难以训练。

为了更有效利用海量数据和各种优秀的视觉深度学习模型，受自监督

学习和迁移学习启发，本文提出一种基于自监督对比学习和迁移学习

的两阶段脉冲星候选体分类方法。

为了将预训练模型应用于FAST数据，本方法以自监督对比学习

的方式对模型进行预训练得到预训练模型，再使用有标签数据集对模

型进行微调。首先，利用LogME方法评估各个预训练模型的可迁移

性，采用线性评估和微调评估两种方法，对预训练模型在HTRU1数

据集上的表现进行了综合评估，衡量该方法在脉冲星数据上的有效性。

然后，通过LogME评估得到在FAST数据集上可迁移性最好的预训

练模型结构，利用CRAFTS巡天项目收集的大量无标签数据进行自

监督对比学习预训练，使模型通过无标签脉冲星数据获得与识别脉冲

星特征相关的能力。最后，将自监督对比学习得到的预训练模型中的

特征提取模块直接在FAST训练集上进行微调，并在测试集上进行效

果测试。

结果表明，使用这种方式选择模型过程简单，训练过程无须进行

大量数据标注，得到的模型分类效果好，给其它望远镜或其它巡天项

目的周期性脉冲星采用计算机视觉领域的SOTA模型进行迁移学习

提供了一定的参考。

关键词：脉冲星候选体分类；迁移学习