传输和数据交换系统功能说明.docxVIP

数据传输与数据交换功能说明 1需求说明 兵器210应用系统中，完成七家成员单位和兵器中心的数据传输工作，七家成员单位的源数据包含有网络采集的数据，兵器中心包含的源数据有网络采集的数据和自身的媒体库数据两种。 2源数据连接说明 网络采集数据格式说明 数据库是oracle10G， 具体数据格式参考下面数据库： IP:192.168.12.26 SID:testing USER:bqsj PAWD:bqsj 涉及到的表： Classly － 分类体系表 MutiFiles － 视频和音频库 WebInfo － 采集信息存储的主表 WebInfoContent － 采集信息主表的关联表【详细内容表】 WebSiteRule － 采集的站点信息表【采集站点说明】 兵器中心媒体库数据格式说明 详细数据格式请参考“附件目录”中媒体库资源。 兵器中心媒体库总共分为三个“三维模型库”、“国防科技图片库”，“视音频及二三维动画库”。 详细数据格式请参考：《资源库关系.doc》 3数据传输匹配说明 数据传输的源数据包含网络采集的“正文信息库”、“视频库”，和媒体资源库“三维模型库”、“国防科技图片库”、“视音频及二三维动画库”。下面将说明源数据与目标库的对应关系，及需要做的数据处理。 3.1网络采集的“正文信息库” 源数据库字段查询说明 select e.classlyname,b.classlyid,a.classname, b.title, b.collecttime, c.cj_abstract, c.cj_content, c.cj_words, d.webname from Classly a ,WebInfo b ,WebInfoContent c ,WebSiteRule d,webSiteRuleClassly e where a.id = b.classlyid and b.websiteruleid = d.id and b.id = c.webinfoid and d.websiteruleclasslyid = e.id 序号源数据字段目标库说明 DB_SEARCH_WEBINFO备注1ID自建字段（生成不重复的主键）2PAGES页数（自建字段）3COLLECT_UNIT所属馆藏单位，对应代码表 SM_COLLECT_UNIT （自建字段）4COLLECTTIMECOLLECTTIME采集日期5TITLETITLE标题6WEBNAMEWEBNAME来源7CJ_CONTENTCONTENT正文内容（含图片标签）8CJ_ABSTRACTABSTRACT摘要内容9CJ_WORDSWORDS关键字10CLASSLYIDTYPE_ID分类号11FIRST_TYPE_ID一级分类号12SECOND_TYPE_ID二级分类号13CLASSLYNAMEDEFINE_NAME采集自定义类型名称14PICTURE图片 （/usr/aaa.jpg,/usr/bbb.jpg）15SOURCEFILE_NAME文档附件名称 + 路径（/usr/aaa.pdf）16URLFROMURL来源网址 数据处理说明 源数据CJ_CONTENT字段，对应的是正文内容，内容中可能包括图片标签imglogo src=’’…./，需要将图片对应的src值，匹配成目标数据存储的实际路径。建议：可以通过配置文件，读取目标数据存储的实际路径。 源数据表“WEBINFO”中定义了一个字段“isFetch”抽取每一条数据后，将该字段赋值为“1”，表示该条数据已经被获取。 目标数据中其它字段值的获取方式： ID：自动生成，不重复主键； COLLECT_UNIT：对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE值； PAGES:默认值0； PICTURE：存储每篇文章的图片路径，可以存储多个，每个数据之间用半角逗号“,”隔开； 图片的路径从正文中解析imglogo src../标签获得，入库之前替换成目标数据的实际存储路径。 数据统计：要求没入库一条数据，更新当前数据库表中记录的数据总量。1） 表：DB_TYPE按国防分类体系记录数据总量。每插入一条数据对应分 类号的“COUNT”字段增加1，分类号为一级分类号、二级分类号、三级分类号。 表：SM_DOCTYPE，按资源类型分库统计数据总量，更新字段DOC_CODE＝“DB_SEARCH_WEBINFO” 的memo1字段，每新增一条数据对应MEMO1增加1； 表：DB_SEARCH_WEBI