海量非结构化数据技术在运营管理中的运用.pptx

海量非结构化数据处理技术 在运营管理中的运用;目录;银行数据全生命周期管理-系统数据、业务数据;银行数据全生命周期管理目标;;银行各类数据的产生、分布、状态、用途.......;应用系统数据管理协议、日志输出标准化........;业务标识设计：为业务全程分析埋下“线索”、染色;9;;A Composite Web Application, Involving J2EE, Integration Middleware and Legacy Systems ;;非结构化数据：运行产生的各类日志【静态】;XX系统应用协议分析： WTC+SOP是基本结构，SOP内还封装其他协议 封装XML、封装~|~分隔的key-value pair;生产环境中的各类数据的关联性、多样性、复杂性;目录;;根据不同类型数据的特点，采取不同的技术手段;网络交易报文采集;;日志类数据采集：生产日志分析与监控的需求;日志类数据采集：日志关键字分析使用样例;日志类数据采集：非结构数据结构化的使用;;25;通过网络报文分析、提前预警故障隐患;通过网络报文分析、观察关键业务会话状态;;运行状态综合展现：观测发现、聚焦定位、诊断分析;系统容量数据采集：系统数据、应用数据、交易数据;31;32;用户行为分析：操作行为、过程行为、结果选择;目录;35;;采集与传输： 采集：根据业务、运维、监控、审计的需要，能够按照关联性、完整性、统计性等要求，采集各技术层面、各类生产环境、各中类型的生产日志； 传输：能够将采集到的各类日志，按照要求（是否可丢失），安全、稳定、可靠的进行传输，传送到日志采集服务器； 归档与查询： 归档：将采集到的各类日志，按照系统、模块、节点等架构规则，采集时间、保存周期等周期规则，业务、系统等属性规则，进行多维度归档与备份； 查询：按照归档的多维度属性，能够进行跨系统、跨节点、跨文件综合查询； 分析与使用： 分析：针对非结构化数据，能够完成各类逻辑分析（如：周期内同一事件的发生次数、比例等） 使用：根据分析规则，能够产生各类、各级报警信息，并集成到监控系统，提供业务运行状态实时数据及分析结果，提供业务运行特征分析结果；;;虚拟设备日志采集方式;;;大数据平台-逻辑架构;大数据平台-逻辑架构;大数据平台-逻辑架构;大数据平台-逻辑架??;;;48;网络报文分析：应用协议及交易解码分析;;运维数据采集与运用整体技术架构;感谢交流;9、青少年是一个美好而又是一去不可再得的时期，是将来一切光明和幸福的开端。。5月-205月-20Thursday, May 28, 2020 10、人的志向通常和他们的能力成正比例。11:07:2211:07:2211:075/28/2020 11:07:22 AM 11、夫学须志也，才须学也，非学无以广才，非志无以成学。5月-2011:07:2211:07May-2028-May-20 12、越是无能的人，越喜欢挑剔别人的错儿。11:07:2211:07:2211:07Thursday, May 28, 2020 13、志不立，天下无可成之事。5月-205月-2011:07:2211:07:22May 28, 2020 14、古之立大事者，不惟有超世之才，亦必有坚忍不拔之志。28 五月 202011:07:22 上午11:07:225月-20 15、会当凌绝顶，一览众山小。五月 2011:07 上午5月-2011:07May 28, 2020 16、如果一个人不知道他要驶向哪头，那么任何风都不是顺风。2020/5/28 11:07:2211:07:2228 May 2020 17、一个人如果不到最高峰，他就没有片刻的安宁，他也就不会感到生命的恬静和光荣。11:07:22 上午11:07 上午11:07:225月-20