VMware大数据入门 - 博客集锦.pdf

VMware 大数据入门 全文选录自 《大数据的虚拟化》主题技术博客：/ 目录 大数据虚拟化零起点- 1 开篇2 大数据虚拟化零起点-2 基础运维第一步-环境规划和准备4 大数据虚拟化零起点-3 基础运维第二步-安装 vSphere 5.1 5 大数据虚拟化零起点-4 基础运维第三步-部署 vCenter Server Virtual Appliance 5.1 18 大数据虚拟化零起点-5 基础运维第四步-部署 vSphere Big Data Extensions 1.0 22 大数据虚拟化零起点-6 基础运维第五步-使用 CLI 创建 Apache Hadoop 集群25 大数据虚拟化零起点-7 基础运维第六步-安装 Big Data Extensions Plugin 31 如何下载 vSphere Big Data Extensions 1.0 37 深入解析大数据虚拟化的架构（上）- 部署架构42 深入解析大数据虚拟化的架构（下）- 系统架构43 大数据虚拟化之常见问题汇总47 灵活管理 Hadoop 各发行版的运维利器 - vSphere Big Data Extensions 50 大数据虚拟化实例：Tarball 方式部署 Hadoop 发行版52 虚拟化 Hadoop 集群的部署和管理 - 基本操作56 Hadoop 虚拟化的性能对比和调优经验59 VMware ：Hadoop 虚拟化大有可为（转载）64 Hadoop 集群部署模型纵览66 Chef 在 Serengeti 中的应用74 Ironfan 在 Serengeti 中的应用79 深入 Hadoop 磁盘部署的算法83 深入 Hadoop 节点部署的策略86 Big Data Extensions 自定义Hadoop 模板90 Hadoop 虚拟化扩展（HVE）之虚拟化拓扑感知技术94 Hadoop 虚拟化扩展(HVE)之资源扩展技术 103 大数据虚拟化零起点-1 开篇 大数据的虚拟化：企业 IT 发展潮流 大数据的虚拟化是当前大数据以及 Hadoop 社区的一个发展趋势。Gartner 在 2013 年 6 月举行的 Hadoop Summit 大会上提到，为了让 Hadoop 等大数据技术真正落地企业，我们要从 具体业务需求出发，驱动大数据相关技术和产品的进一步发展，逐渐告别之前技术驱动的创新。 Gartner 同时指出，虚拟化是这个新阶段的重要趋势。随着全球企业 IT 虚拟化的比例突破三 分之二，以虚拟化为基础的软件定义的数据中心对企业来讲变得越来越普及和重要，大数据在 这样的浪潮下如何影响和融入现有企业数据中心的基础架构变成了现实的挑战。本博客将围绕 这个话题，从运维、技术、和解决方案的角度给出具体内容。 到底什么是大数据的虚拟化？ 解答这个问题首先要回顾企业 IT 为什么要做虚拟化？我认为原因有以下几点： 1. 虚拟化能够显著提升服务器的利用率，通过整合服务器资源达到更佳的利用率。 2. 以 x86 服务器为代表的虚拟化本身的拥有成本相对小型机和软硬件一体设备来讲，更经济； 而且性能表现一点也不逊色，横向扩展更是巨大优势。 3. 虚拟化在云计算（无论是公有云还是私有云）中承担着很重要的基础工作。没有虚拟化技 术，云计算的弹性和多租户往往难以得到真正落实。 4. 虚拟化已经可以支撑企业关键应用（如 ERP、邮件服务器、业务生产数据库等），这证明 在虚拟化和性能稳定性之间已经不再需要二选一。此外，众多成功案例和技术白皮书也可以帮 助更多客户加强信心。虚拟化迈向全面成熟的标志已经树立。 显然企业虚拟化的进程不会停止，目前包括 VMware 在内的领导厂商都在拓展虚拟化 2.0。 不仅是服务器（计算资源）虚拟化，包括存储和网络等过去相对难以直接被虚拟化所用的孤岛 都出现了最前沿的创新推动，例如“软件定义数据中心”、“存储虚拟化”、“网络虚拟化” 等热点，都已经出现了具体的产品和解决方案。 大数据的虚拟化，是将大数据的工作负载运行或迁移到虚拟化的基础环境中。除了自然 地继承以上所谈到的虚拟化的普遍优点，值得一提的还有几个特殊的好处： 1. 由于大数据基础架构在起步时往往难以确定需要多少计算和数据节点，这些节点用物理服 务器需要一一去堆。如果没有专家团队支持，将会非常耗时费力，而且将来扩展非常不方便， 利用率极低，管理效率问题相当突出。虚拟化不仅可以快速部署集群，更可以灵活管理它们，