软件平台关键技术及非功能性设计（含使用说明）.docxVIP

软件平台关键技术及非功能性设计方案

一、关键技术设计

1、多源异构数据融合技术

多源异构数据融合技术是一个集数据实时同步、数据内容校验、同步监控管理于一体的高性能应用，为企业重构数据库环境、整合信息资源、提升系统协同能力、实时商务智能奠定基础，在提供业务连续性保障的同时，满足业务系统持续高可用的要求。

多源异构数据融合技术实现异构支持、实时复制。实现数据复制管理功能，业务系统的底层数据库和系统平台可以是同构的或异构的，能够实现跨平台、跨数据库的实时数据复制，支持灵活的拓扑复制架构，适应企业IT部门的不同需求。

通过将读取到的关系型数据格式借助Schema模板进行特殊的转换处理，最后同步到大数据平台中，之后借助大数据平台的高可靠性、高扩展性、高容错性、高吞吐量等特点，从而为业务提供数据分析支撑，为用户轻松运行处理海量数据应用程序提供方便，从而适应数据整合、分析、处理的需求。

2、大数据平台存储技术

大数据时代的数据量远远超过单机所能容纳的数据量，因此，必须采用分布式存储的方式，包括基于分布式存储的文件系统和数据库系统：

海量数据及互联网应用为众多的机构及服务人群提供服务，需处理海量的机构和用户数据，这就要求数据库必须具备良好的拓展性，但这恰恰是传统数据库的弱势之一。因为传统的数据库产品对于性能的扩展更倾向于Scale-Up(纵向扩展)的方式。但这种方式对于性能的增加速度远低于需要处理数据的增长速度，且性能提升存在上限。适应大数据的数据库系统应当具有良好的Scale-Out(横向扩展)能力，而这种性能扩展方式恰恰是传统数据库所不具备的。

3、数据流式处理技术

流式数据处理是一种处理模型，用于大规模数据集实时处理，特点就是像流水一样，不是一次过来进行处理，而是一点一点流过来处理，当数据需要被分流时，只需要增加订阅，则数据就会主动通知订阅者。如果是全部收到数据后再进行处理，那么时效延迟会很大，而且会消耗大量内存，所以根据预警需求，需要使用流式数据处理技术。数据平台多源异构数据处理技术是一种大数据流式处理框架，用于大规模数据集（大于1TB）的并行运算，极大地方便了编程人员将自己的程序运行在分布式系统上。

4、数据建模技术

数学模型是对于现实世界的一个特定对象,一个特定目的,根据特有的内在规律,做出一些必要的假设,运用适当的数学工具,得到一个数学结构。用于大数据分析、挖掘等方面。专业人士利用业务知识从数据中发现和解释知识(或称为模式)的过程即建模过程，所建数据模型将直接影响最终结果的优劣。

通过对各方面的数据进行分析，采用数学统计、机器学习等方法对机构的运行、政策执行、社会情况等进行分析，精准识别受益人员。大数据环境下，数据分析主要借助云计算技术，采用时间序列、分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等方法挖掘数据中的信息，并实现数据可视化。

5、多源异构数据云检索技术

多源异构数据云检索技术利用高效、安全、稳定的快速索引建立机制，通过多策略、语义概念、关联规则等多种查询方式，实现海量多源异构数据分布式全文检索，用以支撑数十亿级别的信息快速获取，为大数据平台提供支持。在充分保障数据安全与个人隐私保护的前提下，大数据平台旨在最大限度的进行海量数据的汇总、存储和分析，以期快速发掘信息内在价值和信息共享，其中涉及了业务系统内部生产数据、其他数据、社会化第三方数据，多源异构数据检索将直接影响到大数据分析的效率和结果的准确性。

6、大数据隐私保护技术

个人隐私保护和信息安全是大数据及互联网应用安全的重点。现有的隐私保护和隐私执行的国际标准，都是基于传统的告知和许可的方式，即搜集信息时要告知个体要储存他的信息，但这种模式在大数据环境下是不成立的。原因在于，大数据强调的是二次应用，那么在二次应用的时候，使用者无法预测将来数据的用途和功能。此外，大数据环境下的网络数据具有累积性和关联性，单个地点的信息可能不会暴露用户的隐私，但如果将某个人的多种行为从不同的独立地点聚集在一起时，他的隐私就很可能会暴露。这种隐性的数据暴露往往是个人无法预知和控制的。同时，在现实中数据模式和数据内容时刻都在发生着变化，这种数据的快速变化也给传统的基于静态数据集的隐私保护技术带来了新的挑战。

因此数据及互联网应用隐私保护的主要目的是如何在复杂的大数据环境下实现对动态数据的利用和隐私保护。面对大数据时代带来的数据公开与隐私保护的矛盾，有哪些信誉好的足球投注网站挖掘性能与隐私保护的矛盾，以及数据的累积、关联、动态特征与传统静态隐私保护方法的矛盾等各种挑战，如何基于现有的原始数据处理、访问控制等隐私保护手段，探索补贴系统相关信息数据的隐私度量、数据分析过程中的隐私保护等，是本项目需要解决的一个关键问题。

7、单向网闸的内外网安全隔离技术

为保证高密级别网络中的数据不能流向