脉冲星虚拟天文台 概念设计 - Chinese Virtual .ppt

脉冲星虚拟天文台概念设计 廖名学 王 娜 汪华祥 乌 鲁 木 齐 天 文 站 内容提要 背景简介 成熟的脉冲星软件 大量的脉冲星数据 VLBI实时数据传输 目前是国际合作，将来肯定有国内协作 其他处理软件和记录数据 比如分子谱线和人造卫星等方面。 管理型数据记录 比如观测日志。 背景：当前Pulsar软件体系结构 基本目标 远程计算 远程的，近实时的数据处理 数据共享 共享的，可管理的数据集成 统一平台 统一的，可扩展的开发平台 技术结构：总体结构 技术结构：Java-based Web Service 技术结构：RMI 功能结构 数据功能:总体 数据功能：转储 软件功能 系统软件（如编译器，OS库） 能够浏览必要的系统软件的位置，版本。 应用软件（如成图工具） 能够在线浏览必要的应用软件的位置，版本，管理者可以远程升级。 用户软件（如用户编制的各种处理程序） 用户软件的位置，版本能够浏览，源程序能够下载，上传。 用户功能 管理者 deploy, undeploy, 用户浏览，服务浏览，用户管理（审查，删除，权限分配），数据功能（整理），所有普通用户功能等 普通用户 注册，登陆，数据功能（转储，检索，上传，下载，请求整理，远程处理） 管理功能 用户管理 服务管理 软件管理 数据管理 Web管理平台 Off-line管理 服务功能 Web service（创建，发布，修改，撤销） 仅在必要时，作为外部接口 所有内部功能不使用Web service 根据外部需要创建服务 网络结构 近期：单－服务器的B/S体系 远期：多服务器的，具有负载均衡能力的，能提供实时服务的B/S，C/S多层混合体系结构。 网络结构：远期 网络结构：特点 具有实时数据接口 实时数据接口，采用c/s结构，因此整个结构是c/s,b/s多层混合结构。 分布式的数据库结构 从（脉冲星）数据处理程序和其他处理程序来看，由于输入数据的相对集中，这种布局是合理的。 基于URL和Web内容的交换 可实施优先级别控制（先响应优先级高的用户的需求）。 单入口单出口 受限于单IP，数据出口和入口限制在一台服务器上。适应批量数据转储，无速度要求的数据下载，数据处理过程中的结构相对较小。独占的实时数据接口。 强适应的Web负载分配机制 可以扩展到多个独立IP的服务器，以适应数据输入输出较多的情形。 网络结构：两种技术 其他构想 遗留系统的观点 目前的遗留系统主要是各个分散的处理程序，有些是开源软件，有些是自编软件，一般采用linux c语言。其特点是技术含量并不高，但是价值突出，应该采取集成化处理。并且今后仍然会不断产生这样的程序。目前，还不可能在这些程序基础上添加外部接口（比如Web Service，RPC，RMI等）。考虑到不可能修改这些程序以适应新的系统，故采用JNI进行集成（需要增加代码，但是量很小，不会超过10行每程序；方式单一，可以批量进行）。 数据分布的原则 怎样分布是合理的？怎样分布才能减少数据流量？大部分人和大部分处理请求很可能集中在必威体育精装版的数据上。对必威体育精装版数据 数据保护 概念设计中没有考虑这点。数据备份，可以在网络结构中增加数据节点，将历史的，稳定的数据备份；为防止数据破坏，数据节点可禁止修改。数据节点不承担计算任务。双备份，备份过程是备份＋检查。 集成科普 静态科普资料，动态科普资料；交互式科普调查，竞赛等 其他构想：统一管理平台？ 各个虚拟天文台的建设中肯定有共性部分 用户管理也许可以统一建设 脉冲星虚拟天文台应该考虑今后的用户管理集成？ 其他构想：统一管理平台？ 其他构想：并行处理 有些数据处理可能需要并行处理 比如脉冲星巡天数据分析 概念设计中的体系结构也适合并行处理 * 物理系统 逻辑系统 1 背景简介 2 基本目标 6 其他构想 5 功能结构 4 网络结构 3 技术结构 PTDA 闪烁 处理 到达 时间 PGPlot PSRChive PSRGUI VAP PAT …… PSR Scan 单个脉 冲观测 Qt TCL/TK 预 处 理 硬盘 数据记录 数据处理 脉冲星 Searcher 单个脉冲 处理 光盘 HTML JSP Servlet JavaBeans EJB Browser Web Container Tomcat5.0 EJB Container JBoss4.0 JNI Database File System Legacy Application Native Application Client Presentation Tier Logic Tier Middleware Data Tier ANT/Eclipse Web Service JAX-RP