海量非结构化数据技术在运营管理中的运用.pptVIP

运行状态综合展现：观测发现、聚焦定位、诊断分析 服务台视图 告警中心视图 告警大屏视图 交易视图 应用关联性视图 交易详情视图 交易路径视图 资源使用视图 告警热度图 会话性能视图 一线视图 二线视图 通过各种视图有效运用，能够把监控系统采集到的各类数据，展示给不同角色的用户，在日常运维、重保值守，故障影响分析、故障定向定位等方面发挥重要作用。 * 系统容量数据采集：系统数据、应用数据、交易数据 * 历史数据综合查询：海量归档、转结构化、多维查询 * 业务运行状态分析：业务类型分布、业务类型趋势 用户行为分析：操作行为、过程行为、结果选择 目录 * 银行数据全生命周期管理探讨 1 海量非结构化数据特点及使用 2 采集与传输、归档与处理、查询与统计、分析与展现、集成与运用 采集的复杂性、传输的可靠性、处理的高效性、结构化能力.......... 海量非结构化数据技术要点与实现 3 * 类型 采集方式 日志来源 管理目标 归档周期 过期处理 备注 syslog syslogTCP syslogUDP 网络 采集，查询，归档 6个月 销毁 记录采集时间，日志发生时间。 加工采集数据。 防火墙 webServer APP服务器 DBServer Oracle-trace tail DB 采集，查询，归档，实时监控 6个月 销毁 文本 tail webServer 采集，查询，归档，实时监控 12个月 留存 中间件 应用日志 性能 tail OVO 采集，查询，实时监控 1个月 销毁 ITM 事件 tail OMNIBUS 采集，查询，实时监控，归档 6个月 销毁 资产 tail 交易流水 采集，查询，实时监控，归档 12个月 留存 统一监控平台 网络报文 tail BPC 采集，查询，实时监控，归档 6个月 销毁 WRT 技术要点与实现架构：明确数据对象、设计技术手段 日志类采集技术要点 网络报文采集技术要点 数据整体管理与展现 采集与传输： 采集：根据业务、运维、监控、审计的需要，能够按照关联性、完整性、统计性等要求，采集各技术层面、各类生产环境、各中类型的生产日志； 传输：能够将采集到的各类日志，按照要求（是否可丢失），安全、稳定、可靠的进行传输，传送到日志采集服务器； 归档与查询： 归档：将采集到的各类日志，按照系统、模块、节点等架构规则，采集时间、保存周期等周期规则，业务、系统等属性规则，进行多维度归档与备份； 查询：按照归档的多维度属性，能够进行跨系统、跨节点、跨文件综合查询； 分析与使用： 分析：针对非结构化数据，能够完成各类逻辑分析（如：周期内同一事件的发生次数、比例等） 使用：根据分析规则，能够产生各类、各级报警信息，并集成到监控系统，提供业务运行状态实时数据及分析结果，提供业务运行特征分析结果； 日志类数据采集关键技术要点 虚拟设备VS 管道程序 开发和移植方面：管道兼容普通LINUX 及类UNIX 系统，而设备方式除了linux 通用外，每一个UNIX都是一套新的设备程序。 日志采集能力方面：设备方式可以采集任何写入文件的日志，而管道方式只能采集 ”a+”(无文件则创建，有文件则追加) 文件。 日志采集范围方面：设备方式是一个设备可以采集该操作系统上所有应用日志，而管道方式，每多一个日志文件，必须对应多增加一个进程或线程来采集。 在不修改应用系统的情况下，采集各类日志： 固定文件名、时间变量文件、名称变量、路径变化、目录下新增日志................ * 生产计划部 * 生产计划部 海量非结构化数据技术在运营管理中的运用 目录 * 银行数据全生命周期管理探讨 1 海量非结构化数据特点及使用 2 规划、设计、线上、近线、离线、下线、调阅、销毁？ 结构化数据是哪些，非结构化数据是哪些，如何获取？ 海量非结构化数据技术要点与实现 3 银行数据全生命周期管理-系统数据、业务数据 设计阶段落实数据管理： 投产前明确数据管控手段： 生产数据管理备份与归档： 历史数据调用分析使用： 提出应用系统数据管理规范 定义应用系统数据管理协议 明确不同类型数据的管控手段 定义 控制 维护 使用 明确各类数据的特性 确定各类数据的存在环境 系统及业务数据的采集方式 设计各类数据的备份与恢复 生产数据性能及容量管理 生产数据的备份与归档 数据在线、近线、下线管理 备份数据有效性验证与管理 系统数据监控与分析 业务数据的调用与登记 业务数据的翻新与备份 * 银行数据全生命周期管理目标 数据规划 数据生产 数据管理 数据使用 数据特性识别 使用规划设计 备份需求确认 使用周期确定 技术手段落实 生产状态监控 运行趋势分析 整体容量管理 历史数据调阅 运营情况分析 业务创新支持 数据管理 在线生产数据监控采集