- 1、本文档共27页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
并发数和吞吐量变化
知网数字资源保存实践 中国知网 2013/9/10 北京 提纲 知网资源的现状 知网资源保存中的问题 知网资源保存的技术方案 知网资源的现状 学术期刊: 4000万篇 博硕士论文: 200万本 会议论文: 200万篇 报纸论文: 1200万篇 工具书: 1800万条 统计年鉴: 200万条 专利: 4100万条 标准: 59万条 外文题录: 1.2亿条 每年新增: 600万条/篇 数据规模 学术期刊: 16TB 博硕士论文: 10TB 会议论文: 1TB 报纸论文: 1TB 工具书: 0.5TB 年鉴统计年鉴: 2TB 专利: 6TB 图片库: 9TB 其他: 2TB 日志数据 32TB 合计: 79.5TB 年新增数据: 10TB 数据规模 知网数字资源保存的范围 知网资源保存的特点 知网数字资源保存中的问题 内容编码的问题 格式使用的问题 软件兼容的问题 更新服务的问题 数据库系统升级的问题 数据校验的问题 版本管理问题 数据压缩的问题 保存硬件的问题 知网数字资源保存问题(1):文本内容编码的问题 原始编码还是统一编码? GB2312 GBK BIG5 UNICODE utf8 utf16 utf32 知网数字资源保存问题(2):图像音视频格式 JPG jpeg2000 PNG GIF/TIFF WebP 比jpeg少40% 视频: H.264,H.264的压缩比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍。 知网数字资源保存问题(3):软件兼容的问题 WORD6 WORD2000 WORD2007 WPS LATEX PDF1.1-PDF1.6 S2,S72,S92... 知网数字资源保存问题(4):数据更新 数据有加工错误 作者名字 数据有传输错误 格式转换的错误 文字错误 新规范实施导致 新格式 关联数据 引用数据 知网数字资源保存问题(5):系统保存与升级 知网在运行系统 KNS6 KNS5.5 KNS5.0 KNS4.0, 部分镜像用户 CAJCD,光盘系统用户 不同系统的数据并不相同 KNS6KNS5.5KNS5.0KNS4CAJCD. 知网数字资源保存问题(6):数据校验的问题 数据损坏 硬件 软件 可恢复的损坏 整体可恢复 部分可恢复 不可恢复的损坏 快速发现数据损坏的方法与措施? 知网数字资源保存问题(7):数据版本管理问题 数据更新的记录 什么时间更新的 谁更新的 更新了什么 形成更新事务,可以回退到上一个版本。 知网数字资源保存问题(8):数据压缩的问题 压缩节约空间,但在数据损坏的情况下,压缩的内容是否可以恢复? 压缩内容的可恢复性?完整性? 一个字节坏了,导致整个文件不可恢复。 知网数字资源保存策略 云模式 与服务体系向衔接:具有快速部署与接入能力。 持续更新与转化能力:两年转换一次 支持动态的持续的资源更新 支持大数据挖掘应用 保存与服务相协调 知网资源保存的技术方案 知网CNKI存档服务器 对象数据基于分布式系统的CNKI 云ArchiveServer. CNKI云存储系统是一个基础服务平台,为其他应用产品提供云存储服务支撑。既能满足CNKI海量的、零散的数据分布式云存储服务平台,也是能够满足一般用户云存储需求的通用分布式文件存储系统。 系统结合GFS的主存索引辅存存储模型以及FASTDFS分组模型来存储和冗余备份数据,采用KBASE数据库提供索引服务,实体数据分数据块加密存储,将零散的数据有效的打包合并加密,对外提供统一的文件管理服务。解决文件零散不便管理以及裸数据扩散问题。 提供 分布式存储服务,数据多备份服务,数据校验服务,数据恢复服务,数据版本管理,数据挖掘服务,自动扩展,数据加密存储,访问日志。 系统架构图 系统性能 并发数与文件写入请求数 单个节点每小时能提供最大10万次(1M)的文件写入 在次测试环境下,四节点能达到写入最大值为35万次,8个节点受限于网络无法测试最大值 系统性能 并发数和吞吐量变化 8个存储节点并发数达到160是达到最大吞吐量120M左右 系统性能 并发数与文件请求数对比 单节点能提供每小时40万次(平均1M)文件下载,双节点以上受限于网络无法测算每小时文件请求数。 高性能存储介质 元数据存入知网的XML数据库 元数据 基于NativeXML的KBASE/NXD云数据库 部署方案 谢谢! * * * TB 原始数据 出版商 合作单位 网络采集 中间格式数据 元数据 统一格式数据 文本,图像,视屏 规范数据 作者 机构 标引 分类 关联数据 知识元 引用 相似 下载数据 出版产品数据 数据库 访问日志 各数据库访问情况 各出版物访问情况 互联网资
您可能关注的文档
- soot的java程序控制流分析及图形化输出-计算机系统应用.pdf
- t2航站楼安检通道监控增补-杭州萧山国际机场.doc
- ups短信息远程监控系统-工业库.pdf
- tofr2003-2004的运行简况-上海应用物理研究所.ppt
- wams高级应用系统通用测试平台技术研究①-计算机系统应用.pdf
- web服务组合标准规范的研究.pdf
- web服务组合方法综述-中国科技论文在线.pdf
- web服务组合综述-计算机应用研究.pdf
- windowsxpprofessional商用版在企业环境使用之优势.doc
- windowsserver2003r2文件服务器安装方式.ppt
- 中国国家标准 GB/T 18233.4-2024信息技术 用户建筑群通用布缆 第4部分:住宅.pdf
- GB/T 18233.4-2024信息技术 用户建筑群通用布缆 第4部分:住宅.pdf
- GB/T 18978.210-2024人-系统交互工效学 第210部分:以人为中心的交互系统设计.pdf
- 《GB/T 18978.210-2024人-系统交互工效学 第210部分:以人为中心的交互系统设计》.pdf
- 中国国家标准 GB/T 18978.210-2024人-系统交互工效学 第210部分:以人为中心的交互系统设计.pdf
- GB/T 16649.2-2024识别卡 集成电路卡 第2部分:带触点的卡 触点的尺寸和位置.pdf
- 《GB/T 16649.2-2024识别卡 集成电路卡 第2部分:带触点的卡 触点的尺寸和位置》.pdf
- 中国国家标准 GB/T 16649.2-2024识别卡 集成电路卡 第2部分:带触点的卡 触点的尺寸和位置.pdf
- GB/T 17889.4-2024梯子 第4部分:铰链梯.pdf
- 《GB/T 17889.4-2024梯子 第4部分:铰链梯》.pdf
文档评论(0)