传输与数据交换system功能说明.docx

数据传输与数据交换功能说明1需求说明兵器210应用系统中，完成七家成员单位和兵器中心的数据传输工作，七家成员单位的源数据包含有网络采集的数据，兵器中心包含的源数据有网络采集的数据和自身的媒体库数据两种。2源数据连接说明网络采集数据格式说明数据库是oracle10G，具体数据格式参考下面数据库：IP:192.168.12.26SID:testingUSER:bqsjPAWD:bqsj涉及到的表：Classly － 分类体系表MutiFiles － 视频和音频库WebInfo － 采集信息存储的主表WebInfoContent － 采集信息主表的关联表【详细内容表】WebSiteRule － 采集的站点信息表【采集站点说明】兵器中心媒体库数据格式说明详细数据格式请参考“附件目录”中媒体库资源。兵器中心媒体库总共分为三个“三维模型库”、“国防科技图片库”，“视音频及二三维动画库”。详细数据格式请参考：《资源库关系.doc》3数据传输匹配说明数据传输的源数据包含网络采集的“正文信息库”、“视频库”，和媒体资源库“三维模型库”、“国防科技图片库”、“视音频及二三维动画库”。下面将说明源数据与目标库的对应关系，及需要做的数据处理。3.1网络采集的“正文信息库”源数据库字段查询说明select e.classlyname,b.classlyid,a.classname, b.title, b.collecttime, c.cj_abstract, c.cj_content, c.cj_words, d.webname from Classly a ,WebInfo b ,WebInfoContent c ,WebSiteRule d,webSiteRuleClassly ewhere a.id = b.classlyid and b.websiteruleid = d.id and b.id = c.webinfoid and d.websiteruleclasslyid = e.id序号源数据字段目标库说明DB_SEARCH_WEBINFO备注1ID自建字段（生成不重复的主键）2PAGES页数（自建字段）3COLLECT_UNIT所属馆藏单位，对应代码表SM_COLLECT_UNIT（自建字段）4COLLECTTIMECOLLECTTIME采集日期5TITLETITLE标题6WEBNAMEWEBNAME来源7CJ_CONTENTCONTENT正文内容（含图片标签）8CJ_ABSTRACTABSTRACT摘要内容9CJ_WORDSWORDS关键字10CLASSLYIDTYPE_ID分类号11FIRST_TYPE_ID一级分类号12SECOND_TYPE_ID二级分类号13CLASSLYNAMEDEFINE_NAME采集自定义类型名称14PICTURE图片（/usr/aaa.jpg,/usr/bbb.jpg）15SOURCEFILE_NAME文档附件名称 + 路径（/usr/aaa.pdf）16URLFROMURL来源网址数据处理说明源数据CJ_CONTENT字段，对应的是正文内容，内容中可能包括图片标签imglogo src=’’…./，需要将图片对应的src值，匹配成目标数据存储的实际路径。建议：可以通过配置文件，读取目标数据存储的实际路径。源数据表“WEBINFO”中定义了一个字段“isFetch”抽取每一条数据后，将该字段赋值为“1”，表示该条数据已经被获取。目标数据中其它字段值的获取方式：ID：自动生成，不重复主键；COLLECT_UNIT：对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE值；PAGES:默认值0；PICTURE：存储每篇文章的图片路径，可以存储多个，每个数据之间用半角逗号“,”隔开；图片的路径从正文中解析imglogo src../标签获得，入库之前替换成目标数据的实际存储路径。数据统计：要求没入库一条数据，更新当前数据库表中记录的数据总量。1）表：DB_TYPE按国防分类体系记录数据总量。每插入一条数据对应分类号的“COUNT”字段增加1，分类号为一级分类号、二级分类号、三级分类号。表：SM_DOCTYPE，按资源类型分库统计数据总量，更新字段DOC_CODE＝“DB_SEARCH_WEBINFO”的memo1字段，每新增一条数据对应MEMO1增加1；表：DB_SEARCH_WEBINFO_DEFINETYPE更新采集自定义类型的数据量，插入的每条数据对应的DEFINE_NAME字段和表DB_SEARCH_WEBINFO_DEFINETYPE中“DEFINE_NAME”对应，如果存在相同类型名则直接将数据统计字段“COUNT”增加1，如果不存在则建立对应的类型字段“COUNT”默认为