金融大数据风险控制项目详细设计说明书.docxVIP

金融大数据信用风险控制项目详细设计说明书

XX科技股份有限公司编制

目录

TOC\o1-3\h\z\u一、 金融大数据信用风险控制项目系统软件模块设计 4

二、 金融大数据信用风险项目系统接口及函数 6

1.1 数据生产 6

1.1.1 数据生产函数 6

1.2 数据采集 7

1.2.1 数据采集接口 7

1.2.2 数据存储函数 8

1.3 数据分析 8

1.3.1 数据分析函数 8

1.4 可视化展示 9

1.4.1 用户接口 9

1.4.2 菜单接口 10

1.4.3 角色接口 11

1.4.4 消费行为分析接口 11

1.4.5 业务分析接口 12

1.4.6 客户分析接口 13

1.4.7 用户品质分析接口 13

1.4.8 风险分析接口 14

三、 金融大数据风险控制项目系统数据格式 14

1. 数据格式设计说明 14

四、 金融大数据风险控制项目系统数据库表结构 16

1. 表结构设计图 16

金融大数据信用风险控制项目系统软件模块设计

数据采集模块：负责从各类数据源中提取、导入数据，主要产品包括：动态采集SDK、日志提取分析工具、外部数据导入工具、其它数据提取工具等。

数据存储模块：负责将预处理后的数据进行存储，主要由可进行横向扩展的Hadoop集群构成，另外辅之以关系数据库作数据中转、元数据存储、供某些软件使用等用途。

分析挖掘模块：负责金融数据经建模、挖掘、评估和发布，核心是实现两类数据挖掘的算法和模型：一类是抽象的数学算法及模型，另一类是在此基础上针对金融业务的专业算法和模型。

业务应用模模块：负责将分析挖掘结果的可视化展现形式，集成到相应的金融业务系统中。

金融大数据信用风险模块设计表

序号

一级模块

二级模块

三级模块

说明

1

数据生产

金融大数据信用风险数据生产

2

数据采集/存储

使用Flume、Kafka组件将数据存储到HBASE中

3

数据分析

使用MapReduce将HBASE中的数据经过分析处理之后导入到MySQL中

4

可视化展示

系统管理

系统状态监控、系统信息查看

5

权限管理

资源管理

系统菜单管理、路径管理

6

角色管理

系统使用角色管理、权限管理

7

用户管理

系统登录用户管理

8

信用风险数据分析

行为分析

使用图形展示用户消费行为占比情况

9

业务分析

使用图形展示不同类型信用业务占比和数量情况

10

客户分析

使用图形展示不同类型信用客户占比

11

用户品质分析

使用图形展示不同类型用户品质数量

12

风险分析

使用图形展示各种风险类型情况

13

交易趋势分析分析

使用图形展示各种交易趋势的占比情况

金融大数据信用风险项目系统接口及函数

数据生产

数据生产函数

函数类

com.product.test.MockRecords

生产类

TestMockRecords

需求优先级

高

系统输入或系统外激励

系统响应

系统调用生产函数,设定相应的输出文件及输出路径

根据设定路径，生产相应的数据文件

功能需求

数据生产

例外以及相应处理

调用的功能

数据生产

注释和说明

数据采集

数据采集接口

接口地址

/hhrzkg/system/dataCollection

用户类

系统

需求优先级

高

系统输入或系统外激励

系统响应

设定flume采集的源文件和数据下沉的位置，将数据采集到kafka集群中

Kafka集群出现相应的数据

功能需求

数据采集

例外以及相应处理

调用的功能

数据采集

注释和说明

数据存储函数

函数类

com.hbase.consumer

用户类

HbaseConsumer

需求优先级

高

系统输入或系统外激励

系统响应

设置kafka消费主题，使用HBASE消费数据

将kafka集群中的待数据存储到HBASE中

功能需求

数据存储

例外以及相应处理

调用的功能

数据存储

注释和说明

数据分析

数据分析函数

函数类

com.bigdata.analysis.runner

用户类

CountDurationRunner

需求优先级

高

系统输入或系统外激励

系统响应

配置源HBASE、目标MYSQL数据格式，配置清洗策略

将HBASE数据经过分析后存储MySQL

功能需求

数据分析

例外以及相应处理

调用的功能

数据分析

注释和说明

可视化展示

用户接口

接口地址

/hhrzkg/system/admin

用户类

系统管理员

需求优先级

高

用户输入或系统外激励

系统响应

1.用户输入用户名、密码

1.比对输入用户是否存在，并返回相应结果。

2.新增用户；

3.删除用户；

4.修改用户。

功能需求

用户登录系统、