大规模数据处理那些事儿.pptVIP

Enter Title of Presentation Here Google Confidential 大规模数据处理的那些事 梁斌 mgigabyte@ 内容概要 Mass Data Processing 什么是Mass Data Processing MDP的应用场合 为什么要学习MDP MDP在高校教学中的现状 设想中的一些工作 将目前的一些经验和理论进行整理 能够开展一些传播工作 建立私立实验室 Q A 什么是Mass Data Processing MDP的应用场合 为什么要学习MDP 能够将大学本科阶段各个科目，在这个实践背景下结合起来 深刻理解磁盘，内存层次，体系结构，操作系统 深刻理解分布式算法设计，数据结构 排序算法(Penny sort，图灵奖得主Jim Gray发起) 压缩算法 有哪些信誉好的足球投注网站算法 深刻理解分析业务，解决问题的思路和方法 查找100亿网页中，PV最高的前10个。 能够对工作中的问题给出解释，编写高效率代码 举个memset的例子 MDP在高校教学中的现状 国内的情况 北大，/~course/cs402/ 清华，/~course/cs402/resource/ mdp_tsinghua/index.htm 国外的情况 麻省理工不定期课程，关于Map reduce /home 斯坦福大学 /class/cs245/ 权威教材 Garcia-Molina, Ullman, Widom; DATABASE SYSTEMS, THE COMPLETE BOOK Tanenbaum, Maarten ven Steen, Distributed Systems: Principles and Paradigms, 2/e, by Andrew S. Prentice-Hall, 2006. 设想中的一些工作 将目前的一些经验和理论进行整理 个性化推荐工作，新闻有哪些信誉好的足球投注网站，商业日志挖掘 水木社区上写了一些连载 ?? /bbscon.php?bid=715id=14649 ?? /bbscon.php?bid=715id=14744 ?? /bbscon.php?bid=715id=14865 阅读一些感兴趣的论文，做一些感兴趣的实验 开展一些传播工作 推广有哪些信誉好的足球投注网站引擎相关技术 推广大规模数据处理技术，为大学阶段教学提供实践课程 为企业提供一些技术咨询工作 建立私立实验室 它是技术乐园，玩转技术 它是牛人牧场，畅谈技术 Google Confidential Google Confidential Google Confidential 在受限的机器,网络资源的情况下， 通过软件和硬件共同完成的G以上级别的 数据计算和存储。 --penny liang 索引的网页有数10亿条 中国的网民有1亿，平均每天访问10个网页。 电子商务、金融机构、通讯话单，这些数量更大。 Google Confidential 有哪些信誉好的足球投注网站引擎 索引数10亿网页，能够提供高效检索服务 google，baidu 数据挖掘 日志挖掘 商务智能(cognos(IBM),share point(MS)) 云计算，云存储，云安全 map reduce, hadoop …… Google Confidential Google Confidential Google Confidential 学习动物精神 11、机智应变的猴子：工作的流程有时往往是一成不变的，新人的优势在于不了解既有的做法，而能创造出新的创意与点子。一味 地接受工作的交付， 只能学到工作方法 的皮毛，能思考应 变的人，才会学到 方法的精髓。 学习动物精神 12、善解人意的海豚：常常问自己：我是主管该怎么办才能有助于更好的处理事情的方法。在工作上善解人意， 会减轻主管、共 事者的负担，也 让你更具人缘。 Enter Title of Presentation Here Google Confidential Enter Title of Presentation Here Google Confidential Enter Title of Presentation Here Google Confidential Enter Title of Presentation Here Google Confidential Enter Title of Presentation Here Google Confidential *