电信运支撑系统之数据采集与整合.ppt

毕业设计论文答辩 课 题 名:电信运营支撑系统之数据采集与整合 项目（系统）来源与简介 采用由亚信公司提供的“电信用户管理和计费系统NetCT OSS”，(中国公用互联网ChinaNet、上海热线) 。 基于Unix平台、Oracle数据库、Web界面,融合Java和C++ 该项目是为电信运营的IP计费服务的。只针对openlab出租业务进行开发。 为什么需要该系统 网络几乎已经深入到家家户户 大众需要网络就必然需要服务器 要上网必然要产生付费，管理和查询等 方便用户查询，以及管理者管理方便，更增加电信公司费用的透明度，增强用户对自己公司的信任 有了这样的系统将极大的方便管理和使用 系统模块划分 管理员管理模块 用户管理模块 帐务管理模块 帐单管理模块 资费管理模块 用户自服务模块 数据采集模块 数据整合模块 业务模型 加工 处理 计费信息 统计信息 Web 查询 Web 查询 管理员 大客户 M I B Web 管理 Web 管理 IP网用户 因特网 AAA 配置信息 login name password Log File NAS接入服务器 系统架构图 Daily Monthly Year ORACLE 中央处理系统 采集 系统 Log Router Switch 工作站 帐务查 询系统 用户管 理系统 ADM管 理系统 DBS 用户自 理系统 数据 整合系统 BIDR 开发环境 采用UNIX平台 原因：1、unix本身可以做为3A服务器 2、unix系统提供很多有用的函数和命令 utmpxname(/var/adm/wtmpx);struct utmpx crontable命令 ORACLE数据库 开发工具 c\c++,unix c++ 1、利用unix系统中所提供的各种函数 2、效率问题，同等数据量情况下，c\c++比java的效率高出20倍 pro*c,pl/sql 1、在unix系统中，提供有作业操作，可以用它来操作定时采集与整合 2、pro*c动态拼接SQL语句，方便操作 3、pl/sql利用存储过程提高数据库效率，动态整合数据 模块功能 数据采集 1、定时从3A服务器上读取数据，封装成所需要的结构，通过socket传到中央处理系统，由中央处理系统插入到数据库中。 2、可分为客户端与服务器端。客户端采集并传送数据，服务器端接受并持久化数据。c\s模式 数据整合 1、将数据库中的用户原始消费数据进行整合，形成可供查询的清单和报表。 2、主要用于考察服务器的运行情况 数据流程图 T_detail_X 采集系统 bIDR /var/adm/wtmpx Unix Log Server 中心 处理系统 按小时合并 用户数据 按小时合并 Lab数据 T_Day_X T_Day 按天合并 用户数据 按天合并 Lab数据 T_Month_X T_Month 按月合并 用户数据 按月合并 Lab数据 T_Year_X T_Year 采集模块流程（客户端） 循环读取日志文件 #includeutmpx.h struct utmpx *p; utmpxname(/var/adm/wtmpx); setutxent(); while( (p = getutxent() ) != NULL ){ //操作日志文件数据 } endutxent(); 过滤数据 数据匹配，封装数据 socket发送数据 定时操作 采集模块流程（服务器端） 通过socket接收数据 将接收到的数据利用pro*c插入到数据库中 定时操作 采集过程中要解决的问题 解析文件中记录的数据，过滤无效的数据 1、过滤掉 ut_line以“ftp”开头的 2、过滤掉ut_user以“.”开头的 3、过滤掉ut_type不是7或8的 匹配数据时的跨时间段问题 1、原因：每小时采集一次。 2、匹配记录时的三种情况：有头有尾，有头无尾，无头有尾 数据传输 定时操作 整合模块流程 利用PL/SQL编写存储过程 将存储过程部署到数据库中 定制作业 整合模块要解决的问题 如何正确的编写存储过程进行整合 如何在数据库中让整合的程序定时执行 结束 谢谢老师们！ 请老师们点评！