Python多核并行计算在海量星表交叉证认中的应用-中国科学.PDF

Python多核并行计算在海量星表交叉证认中的应用-中国科学.PDF

  1. 1、本文档共6页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Python多核并行计算在海量星表交叉证认中的应用-中国科学

中国科学: 物理学 力学 天文学 2011 年 第41 卷 第1 期: 102 ~ 107 SCIENTIA SINICA Phys, Mech Astron SCIENCE CHINA PRESS 论 文 Python 多核并行计算在海量星表交叉证认中 的应用 * * 裴彤 , 张彦霞, 彭南博, 赵永恒 中国科学院国家天文台, 北京 100012 *E-mail: ptptptptptpt@163.com; zyx@ 收稿日期: 2009-12-23; 接受日期: 2010-02-01 国家自然科学基金(批准号:和国家高技术研究发展计划(编号: 2006AA01A120)资助项目 摘要 天文学研究中经常需要通过交叉证认将来自多波段多项目天文数据联系起来统一考虑. 当前天文数 据急剧增长, 必然导致交叉证认的速度过慢. 针对这一问题, 提出一种在多核环境下使用 Python 语言进行高 效并行计算的方法, 与以往的研究结果相比, 速度提高了若干倍. 这为下一步的多波段数据统计研究和数据 挖掘打下了良好的基础. 关键词 天文星表, 巡天, 数据库, 交叉证认, 并行计算, Python PACS: 95.75.-z, 95.75.Pq, 95.80.+p 天文学中的交叉证认是指将来自不同星表的源, Terabyte 、甚至 Petabyte 来计量. 面对如此规模庞大 根据其某些属性(如: 位置、星名、星等等信息) 的相 的数据集, 交叉证认遇到了前所未有的困难. 内存容 关性, 相互联系起来. 通过交叉证认, 可以将同一目 量不够、证认计算量过大等问题都凸显出来. 过去常 标源在多个星表中的观测信息融合在一起, 从而加 用的工具(如Vizier, Simbad, Topcat 和Aladin 等)不再 [1,2] [1,2] 深对该天体的认识. 如果是来自不同波段的数据, 交 适用 . 为实现海量星表交叉证认, 高丹等人 在 叉证认后可以获得天体的多波段信息, 促进新天体 总结国内外研究状况的基础上, 研究比较了多级三 或新现象发现的机会, 也为进一步的多波段数据统 角划分法(Hierarchical Triangular Mesh, 简称 HTM, 计分析和数据挖掘打下基础. 天体多波段交叉证认 主页: /HTM/)和多级等面积 是 LAMOST 科学目标的三大核心子课题之一, 也是 同纬度划分法(Hierarchical Equal Area isoLatitude 虚拟天文台数据融合的必由之路, 有重要的现实意 Pixelisation, 简称 HEALPix, 主页: http://healpix.jpl. 义和科学价值. /), 于2008 年6 月提出“基于HTM 索引分区 近年来, 随着科技的进步, 无论地面的还是空间 与kd-tree 找最近邻算法的交叉证认”方法, 并开发出 的天文观测设备都在不断增加、改进和升级, 观测能 相应的交叉证认工具用于实际工作, 收到了很好的 力越来越强, 获得的数据量也越来越大. 尤其是巡天 效果. 其优

文档评论(0)

xiaozu + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档