Hadoop大数据处理讲义C0.课程介绍.pdf

海量数据处理中的云计算 C0. 课程介绍 北京邮电大学信息与通信工程学院 刘军 liujun@bupt.edu.cn 2014年春季学期 自我介绍  刘军，男，属相：龙，星座：双子  经历 – 1994 －2003 北京邮电大学 本科、博士 – 2003 －2007 IBM中国研究院 高级研究员、部门经理 – 2007 －2010 欢城科技 创始人、总经理 – 2010 －2012 神雕网络 研发副总裁 – 2012至今 北京邮电大学 光荣的人民教师  特点 – 杂家：研究、开发、教学；项目管理、部门管理、公司管理……  兴趣爱好 – 篮球、滑雪、羽毛球、足球、排球、游戏、旅游、摄影…… 第2页 共31页 课程 目标－计算机集群解决大规模数据计算问题 木剑－四十岁后，不滞于物，草木竹石均可为剑。 思想 －理解实现海量数据计算的关键性问题及解决方法 玄铁重剑－重剑无锋，大巧不工。四十岁前恃之横行天下。 规律 －理解Hadoop体系中关键技术的原理、架构、实现 紫薇软剑－三十岁前所用，误伤义士不祥，悔恨无已，乃弃之深谷。 技巧 －掌握海量数据处理集群优化及高级技术 利剑－凌厉刚猛，无坚不摧，弱冠前以之与河朔群雄争锋。 技能 －掌握使用Hadoop技术解决大规模数据计算问题的方法 100小时 → 1小时 2TB数据 → 200TB数据 4G内存 → 400G内存 第3页 共31页 完成课程后的收获 面子 位子 票子 第4页 2013年美国科技业职业薪酬排名前十 1. R $115,531 2. NoSQL $114,796 3. MapReduce $114,396 4. PMBok $112,382 5. Cassandra $112,382 6. Omnigraffle $111,039 7. Pig $109,561 8. 面向服务的架构 $108,997 9. Hadoop $108,669 10.