基于OAI与METS远程收集数据的方法与流程赵阳zhaoyang@.ppt

基于OAI和METS远程收集数据的 方法和流程 赵阳 zhaoyang@ 清华大学图书馆 学位论文项目组 2007.09.27 南京 主要内容： “CALIS 学位论文数据库”服务体系架构 CALIS 学位论文参建馆本地系统涉及到三个层面： 本馆层面 满足提交、审核、编目、标准化、回溯、发布、检索、管理、存储等需求 符合相关标准、规范 开放架构 CALIS子项目（分中心）层面 纳入“CALIS高校学位论文数据库”服务体系 CALIS中心层面 纳入“CALIS高等教育数字图书馆”服务体系 学位论文参建馆本地系统结构图 参建馆本地系统与CALIS子项目中心的互操作关系 学位论文提交与发布系统与CALIS中心的互操作关系 本地系统升级的主要接口 OAI和METS数据收割接口,实现元数据和对象数据的收集; CALIS_OID解析接口,实现数字对象的解析和获取; 数字对象安全下载接口,实现数字对象的安全下载; CALIS ODL接口,实现CADLIS各系统之间的统一检索; CADLIS认证/计费接口,实现认证计费。 主要内容： 基于OAI和METS数据收割模式 模式一： OAI-DP / METS-DP+MQ联动 模式二： 仅采用OAI-DP 模式一：OAI-DP / METS-DP+MQ联动 ---收割方式(1) 实时自动收割 元数据通过OAI-DP发布。OAI-DP所发布出来的OAI Record采用“CALIS OAI Record V1.0” 数据格式； 本地系统的数字对象通过METS-DP+MQ发布。METS-DP负责将数字对象封装成METS数据包，然后通过MQ服务器发布出去，数据格式记为“CALIS METS Record V1.0” ； 元数据和数字对象之间的关系通过OAI Record中的CALIS_OBJ:objInfo 子元素所包含的MetaID进行关联； 学位论文中心系统接收到 OAI-DP或METS-DP+MQ请求，自动收割参建馆本地系统中的数据； 模式一：OAI-DP / METS-DP+MQ联动 ---收割方式(2) 手动收割 用OAI数据导出工具将OAI-DP中的元数据导出成为包含OAI Record数据的XML文件，该文件称为OAI记录文件，数据格式为“CALIS OAI Record V1.0” ； 用METS数据导出工具将METS-DP中的数字对象数据导出成为包含METS Record数据的XML文件，该文件称为METS记录文件，数据格式记为“CALIS METS Record V1.0” ； 本地系统管理员手工将上述两类文件通过FTP上传至CALIS学位论文中心，由其完成数据汇总、统计工作； 模式一：OAI-DP / METS-DP+MQ联动 ---数据格式(元数据) 模式一：OAI-DP / METS-DP+MQ联动 ---数据格式(对象数据) 模式一：OAI-DP / METS-DP+MQ联动 ---实际收割测试 2006.03月---2006.07月 学位论文和特色库项目验收前，采用模式一方式收割 学位论文本地系统在部分参建馆完成升级、数据迁移和发布工作； 在厂商和参建馆配合下，CALIS技术中心和学位论文子项目组共同进行数据收割; 参加测试的学校: TPI:中国人民大学,中国农业大学 TRS:清华大学 北大方正:北京大学 杭州麦达:北京大学医学院 模式一：OAI-DP / METS-DP+MQ联动 ---实际收割测试 收割结果 实时自动收割： 本地系统和数据都存在问题 中心系统对本地系统的自动收割难以有效进行 手工收割: 本地系统能顺利提交数据 但所上传的数据仍存在问题 本地系统存在的主要问题 系统bugs 数据问题 模式一：OAI-DP / METS-DP+MQ联动 ---实际收割测试(系统bugs) OAI-DP本身的bugs 比较容易发现。但本地管理员仍缺乏有效易用的工具; METS-DP本身的bug问题以及MQ配置问题 难以由本地管理员自行发现; OAI-DP+METS-DP+MQ联动问题 厂商技术人员和本地管理员都难以测试和发现; 其他问题 著录和导入工具不完备; 本地DP所在机器软硬件系统的不稳定; DP本身的稳定性和可靠性问题 ; METS包传输丢包问题; 模式一：OAI-DP / M