计算机行业研究报告-分布式-大数据时代的技术革命.docxVIP

??

?

??

计算机行业研究报告

分布式，大数据时代的技术革命

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

1.分布式系统，一场破坏性的技术革新

分布式系统的核心思想是分而治之，用一组计算机集群通过计算机网络协作，共同完成任务。根据传统思路，处理复杂问题的方式是不断提升计算机性能，研发一代更比一代强的“超级计算机”。而分布式系统则另辟蹊径，解决问题的方式从“一夫当关、万夫莫开”演变为“人海战术”，用一组计算机集群替换大型机，集群中的每台机器处理原问题的一个子集，通过成百上千普通计算机协作，实现与大型机相同甚至更佳的效果。

分布式系统是对传统单机思路的颠覆。过去十几年中，IT性能界的技术进步集中于延续性技术的发展，即遵照市场上主流消费者的诉求，不断提升单机的计算及存储性能。而分布式系统的出现则是反其道而行之，它抛却了传统采取冯·诺伊曼机进行串行顺序处理的工作机制，通过改变计算机设计概念结构，在整个计算机集群上组织计算。

分布式系统有望重塑行业格局。在历史经验看，破坏性技术往往会重新塑造产业价值链和行业竞争格局，孵化出新的独角兽企业。例如线上零售相对于线下零售是破坏性技术，淘宝、京东相继诞生；个人计算机相对于大型计算机是破坏性技术，苹果、IBM把握住了机会。分布式系统的作为一项类破坏性技术，也有望重塑当前IT市场的竞争格局，在多个细分领域孵化出新的行业龙头。

2.分布式改造已迫在眉睫

2.1.数据量爆炸增长，集中式系统矛盾凸显

数据量爆炸性变大，大量非结构化数据产生。移动互联网的普及带来了全球数据量爆炸性增长的时代。根据Statista的统计和预测，2020年全球数据产生量高达47ZB，预计而到2035年，年数据产生量将达到2142ZB。此外，采集到的数据中，图片、音频、视频等半结构化、非结构化的数据占比高达85%，传统关系型数据库无法胜任此类数据的处理，整个IT系统亟须革命性重构，以适应大数据时代的发展。

集中式系统的提升是非线性的，不可能无限优化。在传统冯·诺伊曼模型中，人们通过芯片制程工艺+处理器微架构设计+服务器平台技术提升CPU计算性能，但目前芯片集成度已进入极小尺度级别，各类复杂的微体系结构技术都已得到研究应用，未来集中式系统的升级将变得尤为艰难。

集中性系统技术瓶颈与大数据需求之间的矛盾不断凸显。随着5G、物联网时代的到来，数据量爆炸性增长，而传统集中式数据库容量有限，存储性能提升越来越昂贵；计算复杂度提升迅速，而集中式系统性能提升却逐步趋缓。集中式技术进步跟不上时代发展的矛盾不断凸显，人们转而突破冯·诺伊曼体系的束缚，设计能适应大规模数据、大批量计算场景的分布式系统。

2.2.分布式是突破瓶颈，解决问题的最佳手段

大数据使得高可拓展性成为信息系统最本质的需求。可拓展性是指，若集群中计算机数量增加一倍，则解决问题的速度加快一倍或可处理规模扩大一倍。在可拓展性极高的情况下，只要增加系统中的计算机数量，就能满足日益扩大的业务量需求，处理日益增长的数据规模。在移动互联走向万物互联的今天，可拓展性无疑会越来越重要。

分布式向“外”横向扩展，而非向“上”纵向扩展，可拓展性降维打击。分布式系统在可拓展这一性能上可以降维打击集中式系统，并行化框架允许方便的增加节点扩充系统，但系统节点的增加并不影响程序的编写，并且能够保证增加后系统性能有线性的提升，也就是说，无论用户访问数量增长到多大规模，都只需不断购置新的计算机，无需对系统和算法进行修改即可满足需求。

2.3.国产替代政策加速分布式技术推广

国产化政策使得各个企业已建成的IT系统面临从上到下的整体替换。随着国际形势日益紧张，为了避免“卡脖子”问题，各个企业将IT系统替换为国产化设备的需求越来越强烈。若要完全避免卡脖子问题，实现真正的IT自主，就意味着IT系统要进行从软件到硬件的整体替换。

分布式系统是国产替代环境下更新换代的最佳选择。一方面，既然要整体更新换代，就要换为符合未来需求的，最适应新时代的技术。而今集中式的大型机瓶颈已现，无法跟上未来数据量爆炸性增长的节奏，分布式拥有极强的拓展性，是解决未来几十年大数据时代需求的最佳方案。另一方面，分布式作为一个新兴的技术，刚刚发展起来，国内厂商在商业化发展程度上与国外厂商的解决方案无太大差距。

3.主流分布式系统是架构上的全面升级

3.1.开源Hadoop系统是大数据处理的工业标准

开源的ApacheHadoop是最主流的大数据处理平台，成为了事实上的大数据处理工业标准。在大数据处理的众多技术和系统中，起到开创性作用、最为主流的当数Go