HaDoop实验 - 中国云计算.PPT

云计算课程教学对象 本科生（面向全校学员开放的公共选修课，限定100人） 计算机科学技术专业 软件工程 信息与通信相关专业 研究生 前沿论文研读（不占用课内学时） 讨论交流（占用课内学时） 在职轮训 具备一定工作经验和专业知识背景的部队技术干部，通过短期培训，使其进行知识更新。 云计算课程教学内容 云计算基础概念与理论知识 什么是云计算、云计算的分类与特点、云计算的竞争优势以及云计算的发展现状和趋势等； 典型云计算解决方案 了解不同解决方案的特点、异同和应用场景，理解云计算架构中实现可靠性、可伸缩性的方法，掌握云计算的并行计算思维，了解云计算对于大数据处理的重要意义； 云计算技术应用实践 基于现实问题（如海量数据存储、大数据排序处理、计算π值等问题），通过开源云计算系统应用实践，进一步加深对云计算技术的理解。 云计算课程实验内容 贯彻“学以致用”的思想，以知识验证、知识综合、创新设计为原则，设计课程实践内容。 主要包括 Linux基本操作实践 基于虚拟机搭建Hadoop云计算运行环境 云存储系统搭建与应用实践 基于MapReduce的海量数据处理技术应用实践 云计算课程课时安排 面向本科生 强调云计算基础知识普及教育和云计算基础应用实践，对于专业性较强或前沿知识涉及较少。课程为20学时，其中实验课程占10学时。 面向研究生 注重系统架构、技术原理和实现细节分析，提高学员的动手实践能力，培养其并行思维。研究生云计算课程为40学时，其中理论课时28学时（含2学时前沿论文研读讨论），实验课时12学时。 面向轮训学员 在课程知识体系上，轮训学员掌握的知识比本科学员深入，同时移除了研究生学员的前沿论文研读部分，使其将重点聚焦到云计算的概念、体系架构、技术原理和应用场景中。在课时设置上，轮训学员云计算课程为30学时，其中理论课时12学时，实验课时18学时。 实验二：OpenStack镜像管理 创建Linux镜像 创建Windows镜像 （一）安装操作系统 （二）上传Windows镜像 实验 三：KVM迁移到OpenStack 原有KVM迁移到OpenStack中管理 可以在OpenStack管理平台中对KVM进行重启，删除，暂停/恢复，VNC操作 /lightcloud/kvm2openstack 1. 通过libvirt将KVM的数据采集后存储到nova的db中 2 修改KVM主机名 可以通过dashboard管理KVM 修改主机名的过程需要重启KVM 实验四：OpenStack动态迁移 OpenStack使用的是块迁移，因为没有共享存储只能做块迁移，同时OpenStack也支持共享迁移，共享迁移只能在有共享存储的情况下才被使用。 执行迁移动动作: 首先会去检查目标物理服务器是否有足够的内存，虚拟CPU，磁盘，磁盘大小必须大于当前所要迁移的虚拟机磁盘大小 同步文件到目标物理服务器 rsync -rS /var/.../vmdir nova9x:/var/.../vmdir 检查目标物理服务器是否已经存在backingfile，如果存在不同步，否则同步 执行迁移 xm migrate xmname destHost --live 删除源物理服务器虚拟机 xm delete vmname 实验五：OpenStack构建私有云 * 谢谢！ 云计算技术教学专题 “云计算”课程的教学设计与实验安排 解放军理工大学 胥光辉 (xu_guanghui@126.com) * 教学设计 教学对象 教学内容 实验内容 课时安排 * 教学设计 教学对象 教学内容 实验内容 课时安排 * 教学设计 教学对象 教学内容 实验内容 课时安排 * 教学设计 教学对象 教学内容 实验内容 课时安排 * 教学设计 教学对象 教学内容 实验内容 课时安排 ** * ○ * ** * ** ** * * ○ ○ 2.15 Amazon的弹性计算云EC2 2.16 VMWare的云战略架构 2.17 VMWare的云管理平台vCenter 2.18 VMWare的网络和存储虚拟化技术 虚拟化技术 * ** ○ * ○ * * ** ** ** ** * * * ○ * ○ ○ 2.9 数据管理技术基础 2.10 Google的分布式结构表BigTable 2.11 Google的结构化数据管理技术Megastore 2.12 Amazon的简单数据库服务SimpleDB 2.13 Amazon的关系数据库RDS 2.14 微软云关系数据库SQL Azure 海量数据管理技术 * ** * * * ** * * * * ○ ○ 2.5 海量数据处理技术需求分析 2.6 G