WOSS采集系统.pptVIP

WOSS总体流程 OSS 采集系统 采集系统分析 系统文件 /var/AAA/radwtmp /etc/passwd /etc/shadow 数据库表 资料信息表：用户信息、管理员信息、资费信息、URL信息 数据存储表： 计费数据、故障数据、统计数据 明细表、日表、月表、年表 采集流程 采集/接收系统 数据文件：bIDR Login_name varchar (10) , Login_ip varchar(32), login_date date, logout_date date, AAA_ip varchar(32), Time_duration number(10) /* Minute */ 数据文件：/var/AAA/radwtmp #boss|006:wKgAOA|7|1203522609| #|006:wKgAOA|8|1203522824| #boss|060:wKgAOA|7|1204044555|1 #|060:wKgAOA|8|1204044644|1 #boss|043:wKgAOA|7|1204291607|4 #|043:wKgAOA|8|1204291612|4 #boss|002:wKgAOA|7|1204291618| #|002:wKgAOA|8|1204291624| 如何解析此日志格式呢？ 用java直接解析 性能的优劣 可移植性比较 可维护性比较 模块关联信息 功能 定期采集（次/小时）原始计费Log（radwtmp)文件，整理成bIDR数据清单，并上传给中心处理系统。 中心处理系统（接收系统）侦听并收集采集系统发送的数据信息bIDR，并将数据保存的数据库表detail 。 内部接口 采集系统通过TCP/IP协议和接收系统接口； 接收系统通过表detail和数据整合系统接口； 开发语言 java(IO,NET,THREAD,JDBC) 细节思考 讨论： 1： 如何采集radwtmp文件？ 方式一： 直接操作 方式二： 先拷贝再操作 方式三： 先MOVE再操作 2： 读取出来的记录解析过程中用什么来存取？ 方式一： 采用VECTOR/LIST来操作 方式二： 读一条记录就存到临时文件里。 比较性能差异； 定时调用程序的讨论 定时程序的讨论： 1 ： 采用sleep函数，定时调用； 2 ： 采用系统调用 crontab（）； Crontab unix系统命令 $crontab –l tmp $cat tmp 10 3 * * 0,4 /etc/cron.d/logchecker 1 2 * * * [ -x /usr/sbin/rtc ] /usr/sbin/rtc -c /dev/null 21 30 3 * * * [ -x /usr/lib/gss/gsscred_clean ] /usr/lib/gss/gsscred_clean 30 22 * * 4 /usr/lib/acct/dodisk 0 * * * * /netct_oss/netct_client /dev/null 采集系统所涉及数据文件 采集系统所涉及数据文件 采集系统所涉及数据库表 采集系统模块划分及模块位置分配 采集模块 功能 采集原始计费Log（radwtmp)文件，整理成BIDR类数据清单 讨论 存取方式的选择： 方式一： 采用Vector/ArrayList来操作 方式二： 读一条记录就存到临时文件里 对各种原始记录情况的处理 对跨时段原始记录情况的处理 入库模块 功能 将BIDR类数据清单插入数据表detail 讨论 日志模块 功能 将系统运行过程信息记入日志文件，以备查验 讨论 实现方式： 方式一：自行编码; 方式二：借助第三方工具包(例如：Log4J); 备份模块 功能 在网络或数据库发生异常的情况下将本次采集或接收到的BIDR数据清单持久存储； 取出上次持久存储的BIDR数据清单 讨论 考虑备份模块在客户端(Client)和服务器端(Server)的不同 网络模块 功能 将采集系统客户端采集形成的BIDR数据清单传输给位于中心处理系统的服务器端； 调用入库模块插入数据 讨论 传输数据的方式 方式一：作为字符串传输 方式二：作为对象传输 配置模块 功能 实例化其它模块，降低模块之间的耦合性 讨论 如何利用反射机制实例化对象; 配置模块如何实例化; /etc/passwd : 呵呵 , 这个档案可重要了 . 一个 system administrator 最初要学的常常就是这个档案的内容! 这个档案记录著系统可以认得的 user, 当然啦, 也包括一些非人的 login name, 但这是有特