基础全面-天文学中的数据挖掘.ppt

回归分析（known uknowns） ? 定义 ? ? 将一个连续应变量建模为一个或多个预测元的函数。 这个规则是通过具有标签的数据进行监督学习获得的。 ? 应用 ? 恒星物理参数（Teff、g、[Fe/H]）的测量， 星系和类星体的测光红移，等等 ? 方法 ? ? ? ? ? ? 神经网络 决策树 kNN 支持矢量机 核回归 ……. ? N 10 , 如何有效地排序、分类? 基本的天文问题 – 1 ? 聚类问题: ? ? ? ? 在数据集中查找聚类的天体 统计意义和科学意义上各个类别的重要性是什么? 找“朋友的朋友”或近邻的最优算法? 10 ? 维数 ~ 1000 – 因此, 若干子空间有哪些信誉好的足球投注网站问题 是否存在两点或更高阶的相关性? ? N 1010, N-point 相关怎么做? ? 与N2logN成正比的算法显然不能用 基本的天文问题 – 2 ? 离群探测: (未知的未知) ? 找到那些超出我们预期的天体或事件 (不属于 已知类别) ? 这些有可能是真正的科学发现或垃圾 ? 因此，离群探测可用于: ? 新奇发现 –Nobel prize? ? 异常探测 – 探测系统是否正常工作? ? 数据质量保证 – 数据流是否正常工作? ? 在1000维空间中或感兴趣的子空间（低维空间） 中，如何最优化地探测到离群? ? 怎样衡量“兴趣度”? ? 降维问题: ? 寻找相关性和参数的基平面 –维数成千上万 ? 维灾 ! –参数之间的相关性？线性或 非线性混合? –本征值或紧致表示是否可以 代表整个数据集的性质? 基本的天文问题 – 3 * 天文学中的数据挖掘 张彦霞 国家天文台 2014.2.24 概要 ? ? ? ? ? 必要性 概念 技术 问题 展望 天文学、天体物理学、天文统计学、天文学信息学 ? ? ? ? 天文学是研究宇宙空间天体、宇宙的结构和发展的学科。内容包括天 体的构造、性质和运行规律等。主要通过观测天体发射到地球的辐射 ，发现并测量它们的位置、探索它们的运动规律、研究它们的物理性 质、化学组成、内部结构、能量来源及其演化规律。天文学是一门古 老的科学，自有人类文明史以来，天文学就有重要的地位。 天体物理学是研究宇宙的物理学，这包括星体的物理性质（光度、密 度、温度、化学成分等等）和星体与星体彼此之间的相互作用。应用 物理理论与方法，天文物理学探讨恒星结构、恒星演化、太阳系的起 源和许多跟宇宙学相关的问题。 天文统计学是用统计学的知识来解决天文问题. 天文信息学是用信息技术来解决天文学所面临的各种大数据问题. Astronomy facing “data avalanche” IRAS 25m 2MASS 2m DSS Optical IRAS 100m WENSS 92cmNVSS 20cm GB 6cm ROSAT ~keV Necessity Is the Mother of Invention DMKDD 大数据-巨信息量-全波段天文时代 大型巡天导致天文学步入 一个新的时代 ? ? ? ? ? ? 大多数数据大的人们无法看 这就需要存储技术、网络技术、数据库相关技术和标准等 许多知识被数据的复杂性所掩盖而难以获得 大多(不是所有的 )经验关系是建立在3维参数空间基础上的，如椭 圆和核球星系的基平面。宇宙就是这么简单还是人类认知的偏见 ？ 大部分数据人们是无法直接理解的 这就需要数据挖掘、知识发现、数据理解技术、超高维可视化、 人工智能 / 机器帮助的发现 数据挖掘是帮助和加速科学发现过程的利器 ● 大数据 ● 机器学习 ● 可视化 ● 云服务 Credit：Tony Hey 天文数据的特点 ? ? ? ? ? ? ? ? ? ? 空间性 多波段性 海量性 非线性 异构性 缺值性或坏标记 分布性 高维性 时序性 开放性 海量数据 ? ? ? NVO (IVOA) 注册的数据资源有~14,000 一些大型的天文数据库包括NASA空间天文项目 已经完成或正在进行的大型天文巡天项目，如: ? MACHO 和相关的暗物质巡天: ~ 1 TB ? DPOSS: 3 TB ? 2MASS: 10 TB ? GALEX: 30 TB ? SDSS: 40 TB ? ? 将来的巨型巡天项目，如: ? PanSTARRS:每晚 10 TB，,预计最终40 PB ? SKA：2020年中期运行，每天约0.5-10PB LSST (Large Synoptic Survey Telescope):