基于Docker的Hadoop平台架构研究_赵乐乐.docx

基于 Ｄｏｃｋｅｒ的 Ｈａｄｏｏｐ平台架构研究赵乐乐，黄刚，马越（南京邮电大学 计算机学院，江苏 南京 ２１０００３）摘 要：Ｈａｄｏｏｐ作为云计算中重要的大数据处理平台，需要较高的读写速率。 传统的虚拟化技术对于物理主机的资源利用 率，无法达到真实物理主机的 水 平。 同 时，传统虚拟化技术难以灵活配置文件和自动化创建、部 署 机 制。 容器是基于共享 Ｌｉｎｕｘ内核的一种虚拟化技术，能够达到接近物理主机的资源利用率。Ｄｏｃｋｅｒ是一种轻量级新兴的虚拟化容器技术，在复杂 的集群系统的搭建方面，具有可移植、易使用、跨平台等优势。所以，在复杂的分布式应用集群的部署中，Ｄｏｃｋｅｒ能够快速、准 确、标准化封装应用程序并自动化部署整个运行环境。因此，Ｄｏｃｋｅｒ是容器虚拟化技术下一个相对成熟的实现方案。 通过实 验验证了 Ｄｏｃｋｅｒ相比传统虚拟化技术在读写性能上的优势，并构建了基于 Ｄｏｃｋｅｒ的 Ｈａｄｏｏｐ平台，讨论了在 Ｄｏｃｋｅｒ上构建 Ｈａｄｏｏｐ的优势。关键词：Ｈａｄｏｏｐ；虚拟化；容器；Ｄｏｃｋｅｒ中图分类号：ＴＰ３１ 文献标识码：Ａ 文章编号：１６７３－６２９Ｘ（２０１６）０９－００９９－０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３－６２９Ｘ．２０１６．０９．０２３ＲｅｓｅａｒｃｈｏｎＨａｄｏｏｐＰｌａｔｆｏｒｍＢａｓｅｄｏｎＤｏｃｋｅｒＺＨＡＯＬｅ－ｌｅ，ＨＵＡＮＧ Ｇａｎｇ，ＭＡ Ｙｕｅ（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ２１０００３，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｈａｄｏｏｐ，ａｓａｎｉｍｐｏｒｔａｎｔｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｐｌａｔｆｏｒｍ，ｎｅｅｄｓｈｉｇｈｅｒＩ／Ｏｒａｔｅ．Ｆｏｒｔｈｅｒｅｓｏｕｒｃｅｕｔｉｌｉｚａｔｉｏｎｏｆｐｈｙｓｉｃａｌｈｏｓｔ，ｔｈｅ ｔｒａｄｉｔｉｏｎａｌｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｃａｎｎｏｔｒｅａｃｈｔｈｅｌｅｖｅｌｏｆｒｅａｌｐｈｙｓｉｃａｌｈｏｓｔ．Ｍｅａｎｗｈｉｌｅ，ｉｔｉｓｄｉｆｆｉｃｕｌｔｔｏｃｏｎｆｉｇｕｒｅｔｈｅｆｉｌｅｓｆｌｅｘｉｂｌｙａｎｄ ｃｒｅａｔｅａｎｄｄｅｐｌｏｙｍｅｃｈａｎｉｓｍｓａｕｔｏｍａｔｉｃａｌｌｙ．ＴｈｅｃｏｎｔａｉｎｅｒｉｓａｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｓｈａｒｉｎｇＬｉｎｕｘｋｅｒｎｅｌ，ｗｈｉｃｈｃａｎｒｅａｃｈ ｔｈｅｒｅｓｏｕｒｃｅｕｔｉｌｉｚａｔｉｏｎｃｌｏｓｅｔｏｔｈｅｐｈｙｓｉｃａｌｈｏｓｔ．Ｄｏｃｋｅｒｅｍｅｒｇｉｎｇｉｓａｌｉｇｈｔｗｅｉｇｈｔｃｏｎｔａｉｎｅｒｏｆｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ａｎｄｉｎｔｈｅｃｏｍ－ ｐｌｅｘｃｌｕｓｔｅｒｓｙｓｔｅｍｃｏｎｓｔｒｕｃｔｉｏｎ，ｉｔｉｓｐｏｒｔａｂｌｅａｎｄｅａｓｙｔｏｕｓｅ，ｗｉｔｈｃｒｏｓｓ－ｐｌａｔｆｏｒｍ．Ｓｏ，ｉｎｔｈｅｃｏｍｐｌｉｃａｔｅｄｄｉｓｔｒｉｂｕｔｅｄｄｅｐｌｏｙｍｅｎｔｏｆａｐ－ ｐｌｉｃａｔｉｏｎｃｌｕｓｔｅｒｓ，Ｄｏｃｋｅｒｃａｎｂｅｒａｐｉｄ，ａｃｃｕｒａｔｅ，ａｎｄｓｔａｎｄａｒｄｉｚｅｄｐａｃｋａｇｅｄａｐｐｌｉｃａｔｉｏｎｓａｎｄｄｅｐｌｏｙａｕｔｏｍａｔｉｃａｌｌｙｗｈｏｌｅｒｕｎｔｉｍｅｅｎｖｉｒｏｎ－ ｍｅｎｔ．Ｔｈｅｒｅｆｏｒｅ，Ｄｏｃｋｅｒｉｓｏｎｅｏｆｔｈｅｍａｔｕｒｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｓｃｈｅｍｅｏｆｔｈｅｃｏｎｔａｉｎｅｒｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ．Ｉｔｉｓｖｅｒｉｆｉｅｄｂｙｔｈｅｅｘ－ ｐｅｒｉｍｅｎｔｔｈａｔｔｈｅＤｏｃｋｅｒｉｓｂｅｔｔｅｒｔｈａｎｔｒａｄｉｔｉｏｎａｌｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｉｎｒｅａｄｉｎｇ／ｗｒｉｔｉｎｇｐｅｒｆｏｒｍａｎｃｅ，ａｎｄｔｈｅＨａｄｏｏｐｐｌａｔｆｏｒｍ ｂａｓｅｄｏｎｔｈｅＤｏｃｋｅｒｉｓｅｓｔａｂｌｉｓｈｅｄａｎｄｔｈｅａｄｖａｎｔａｇｅｏｆＨａｄｏｏｐｏｎＤｏｃｋｅｒｉｓｄｉｓｃｕｓｓｅｄ． Ｋｅｙｗｏｒｄｓ：Ｈａｄｏｏｐ；ｖｉｒｔｕａｌｉｚａｔｉｏｎ；ｃｏｎｔａｉｎｅｒ；Ｄｏｃｋｅｒ０ 引 言Ｈａｄｏｏｐ作为一款优秀 的 ＰａａＳ软 件，能 够 让 开 发 者更有效率 的 开 发 与 部 署，而不需关注底层。 对 于 Ｈａｄｏｏｐ的部署，一般来说有两种选择：一 种 是 直 接 部 署在物理主 机 上，一种是部署在虚拟机上。 当 然，大 多数时是根据情况，混合使用物理主机和虚拟 机 来 部 署 Ｈａｄｏｏｐ。 对于商业公司 来 说，一 般 都 会 把 Ｈａｄｏｏｐ 部署在ＩａａＳ提 供 的 虚 拟 机 上，以提