Python多核并行计算在海量星表交叉证认中的应用-中国科学.PDF

中国科学: 物理学 力学 天文学 2011 年 第41 卷 第1 期: 102 ~ 107 SCIENTIA SINICA Phys, Mech Astron SCIENCE CHINA PRESS 论 文 Python 多核并行计算在海量星表交叉证认中 的应用 * * 裴彤 , 张彦霞, 彭南博, 赵永恒 中国科学院国家天文台, 北京 100012 *E-mail: ptptptptptpt@163.com; zyx@ 收稿日期: 2009-12-23; 接受日期: 2010-02-01 国家自然科学基金(批准号:和国家高技术研究发展计划(编号: 2006AA01A120)资助项目 摘要 天文学研究中经常需要通过交叉证认将来自多波段多项目天文数据联系起来统一考虑. 当前天文数 据急剧增长, 必然导致交叉证认的速度过慢. 针对这一问题, 提出一种在多核环境下使用 Python 语言进行高 效并行计算的方法, 与以往的研究结果相比, 速度提高了若干倍. 这为下一步的多波段数据统计研究和数据 挖掘打下了良好的基础. 关键词 天文星表, 巡天, 数据库, 交叉证认, 并行计算, Python PACS: 95.75.-z, 95.75.Pq, 95.80.+p 天文学中的交叉证认是指将来自不同星表的源, Terabyte 、甚至 Petabyte 来计量. 面对如此规模庞大 根据其某些属性(如: 位置、星名、星等等信息) 的相 的数据集, 交叉证认遇到了前所未有的困难. 内存容 关性, 相互联系起来. 通过交叉证认, 可以将同一目 量不够、证认计算量过大等问题都凸显出来. 过去常 标源在多个星表中的观测信息融合在一起, 从而加 用的工具(如Vizier, Simbad, Topcat 和Aladin 等)不再 [1,2] [1,2] 深对该天体的认识. 如果是来自不同波段的数据, 交 适用 . 为实现海量星表交叉证认, 高丹等人 在 叉证认后可以获得天体的多波段信息, 促进新天体 总结国内外研究状况的基础上, 研究比较了多级三 或新现象发现的机会, 也为进一步的多波段数据统 角划分法(Hierarchical Triangular Mesh, 简称 HTM, 计分析和数据挖掘打下基础. 天体多波段交叉证认 主页: /HTM/)和多级等面积 是 LAMOST 科学目标的三大核心子课题之一, 也是 同纬度划分法(Hierarchical Equal Area isoLatitude 虚拟天文台数据融合的必由之路, 有重要的现实意 Pixelisation, 简称 HEALPix, 主页: http://healpix.jpl. 义和科学价值. /), 于2008 年6 月提出“基于HTM 索引分区 近年来, 随着科技的进步, 无论地面的还是空间 与kd-tree 找最近邻算法的交叉证认”方法, 并开发出 的天文观测设备都在不断增加、改进和升级, 观测能 相应的交叉证认工具用于实际工作, 收到了很好的 力越来越强, 获得的数据量也越来越大. 尤其是巡天 效果. 其优