中国天气网数据采集与产品.ppt

一键发布 当省级用户将文件上传到服务器后，想要检查文件是否正确入库时，可以通过一键发布功能进行查看；一键发布功能会将当前用户目录中所有未处理的文件，以列表方式列出，用户可以对这些文件进行一键发布（一键发布是将此用户下所有用户的时间任务立即执行，并暂停原来的任务，执行完毕后再继续执行原任务），也可以将不需要入库的文件删除 。入库成功后，时间任务会调用“个性化产品程序”生成页面htm块，htm块成功后，时间任务调用页面传输进程，将htm块同步到web服务器上，实现页面产品内容更新。 数据日志 省级用户可以通过入库时间、元数据的标识（参考中国天气网省级站元数据存储设计标准）、自动或手动等条件进行日志查询，不管是否是当前用户的，只要是本用户所属的气象局下的元数据都可以被查询到 网站功能简要说明 访问数据采集与产品共享 9:8080/ 小 结 通过本节的学习，我们了解到了如何使用《中国天气网数据采集与产品共享系统》对省级用户开放的功能，并通过这些功能可以手动调整产品的时间策略，以及通过日志查询处理的信息 谢 谢! 下面是问题交流时间 QQ群/provcenter/ * * * * 第一部分是各省用户需要处理的 第二部分是数据预处理系统 第三部分是数据采集与处理系统 第四部分是数据共享 * * 中国天气网数据采集与产品共享系统样例规程说明 李永杰 Great OpenSource Inc. Website: 目 录 目的 业务流程 开发样例说明 个性化应用程序说明 网站功能简要说明 问题交流 目的 数据采集与产品共享平台是一个复杂的可扩展系统应用平台，通过我们的努力已经减少了用户参与的复杂度，即使这样，由于整个平台环节较多，业务的灵活性也会导致用户不易于理解整个过程，因此，本培训主要讲解用户参与的实际过程应用，用户通过本培训可以了解到如何参与到数据准备、采集、网站编程、网站发布的过程中（网站页面的设计不在此教程）。 数据采集与共享数据流程 问题交流 问题交流 开发样例说明 系统处理流程 产品文件准备 命名规范 存储设计文档 定期作业 产品文件准备 整理并分类所需要上传的省级个性化的中国天气网产品，这些产品是原业务渠道中没有的，但是需要在天气网省级站中展示的地方特色产品，需注意的是已经有的数据产品还按照原有的方式处理，采集共享平台是对原有的数据进行补充。 产品文件类型分为数据型、文件型、图片型、标准数据。 数据型文件一般为TXT文件，TXT文件当前默认定义为文件的第一行为字段名，从第二行开始才是正式的数据行，数据的默认分隔符为“|”，一个文件只包含一种数据类型，文件命名遵守《中国天气网省级站--共享数据平台文件命名规范》的九段命名约定；如果是Excel文件，默认定义为第一个的工作页，第一行为字段名，从第二行开始为数据行。 文件型文件，代表此文件不提取数据，整个文件完全读取，这种文件包括TXT、DOD、PDF等，文件命名遵守《中国天气网省级站--共享数据平台文件命名规范》的九段命名约定。 图片型文件，按照500k大小进行整理，文件包括JPG、GIF、PNG文件命名遵守《中国天气网省级站--共享数据平台文件命名规范》的九段命名约定。 标准数据是按照《中国天气网省级站元数据标准》形成的文件，文件格式为XML文件格式，包含了以上四种数据格式。 产品文件准备 根据数值型文件定义表结构，如果此数据是标准的，则不需要定义表结构和字段名，由公共气象服务中心统一定义；如果此数据仅本省使用，则需要定义表结构和字段名，表名为“SHARE_九段标识的第三段”（产品内容编码）。 确认此文件更新频率后和公共气象服务中心交互形成每个省的《中国天气网省级站—产品数据存储设计》。 与各省业务部门一起协调解决文件命名和数据格式，使之符合第2条的标准。 省级站需要向公共气象服务中心申请分配FTP用户名和口令，并提交《中国天气网省级站—产品数据存储设计》 命名规范 命名约定 服务产品文件名由数据分类属性、产品制作单位、产品内容编码、产品生成系统书信、产品要素属性、产品区域属性、产品层次定位属性、产品图类标识、预报产品的起报时间（实况监测产品的观测时间）和产品预报时效、数据存储格式等信息编码组成。各个属性之间用下划线“_”分隔 命名表达式 PWCP_制作单位_产品编码_产品生成系统_产品的要素_产品覆盖区域_产品所指高度民主层次_图形产品的图形类别_「起报时间/观测时间」预报时效．数据存储格式 命名规范 数据分类 根据产品的内容属性和用途对产品进行分类，标记字符编码。所有产品使用“PWCP”分类。 产品制作单位 产品制作单位的字符编码。制作单位编码表见附件1中的表1.1。 产品内容编码 根