云数据管理技术与挑战.ppt

数据库服务 F数据库服务 数据模型 数据对象持久化 采用关系属性定义数据对象间的关系 数据操作 Web页面接口 编程接口 访问控制 管理安全 记录安全 Windows Azure .NET服务 SQL Azure Live服务 Microsoft Windows Azure Azure Fabric 控制器 存储服务 计算服务 开发环境 Windows Live Office Live Exchange Online SharePoint Online Dynamic CRM Online Live服务 .NET服务 SQL服务 SharePoint服务 Dynamic CRM 服务 应用 Azure服务平台 Windows Azure Microsoft SQL Azure 云环境的数据管理系统 不支持CLR、空间数据及一些系统管理功能（如启动、停止SQL Server） 优势 无需对数据库进行定期备份 提供统一数据访问接口 提供更健壮的服务 主要内容 * 云计算与云数据管理概述 各大公司的云数据管理技术 人民大学研究团队的部分工作 云数据管理的研究挑战 人大—阿里巴巴 云 项目简介： 由人大多个学院和教授共同合作 针对淘宝—阿里巴巴海量的交易数据进行分析和挖掘 研究任务 适合研究任务： 宏观经济指数分析-参照人大三大发布项目 开发指数平台，集成多种统计算法模型，提供横向对比分析 设计周期性自动指数计算系统，可以按月、周、天自动计算指数，发布类似K线图的动态指数 * 人大—阿里巴巴 云平台 * Data service layer Application layer ODBC push pull Data producing layer 虚拟CUBE，相当于CUBE元数据，定义类似于视图机制实现对Hadoop层上的访问 物化CUBE，提供某粒度上的数据二次处理，包括根据用户处理容量采样 虚拟技术分配处理资源与内存资源，内存配额管理 远程用户 SAS server，面向多核、共享内存的分析软件多用户使用模式 人民大学新开的《分布式系统与云计算》课程 （2010年教育部IBM精品课程） * 分布式系统概述 分布式云计算技术综述 分布式云计算平台 分布式云计算程序开发 已编写教材介绍 《分布式系统及云计算概论》 清华大学出版社 《Hadoop实战》 机械工业出版社 Coming soon 课程网站 网址：/xnh 下载教学课件 下载模拟试卷 观看课程视频 获取课程内容 主要内容 * 云计算与云数据管理概述 各大公司的云数据管理技术 人民大学研究团队的工作 云数据管理的研究挑战 基于云上的数据管理的特点 计算资源是可伸缩的 数据具有备份 数据存储在大量分布的结点之上 基于云上的数据管理的挑战（一） 数据的自我管理和自调优 基于云上的数据管理的挑战（二） 基于大量节点的查询优化算法 基于大量节点的索引结构 基于云上的数据管理的挑战（三） 资源调度和负载均衡 多租户情况中 总结 * 海量数据管理：新的挑战和机遇； 企业和学术界共同面对的课题 云数据管理技术方兴未艾 国产数据库企业发展的一个新的机遇和挑战 Further Reading F. Chang et al. Bigtable: A distributed storage system for structured data. In OSDI, 2006. J. Dean and S. Ghemawat. MapReduce: Simplified data processing on large clusters. In OSDI, 2004. G. DeCandia et al. Dynamo: Amazon’s highly available key-value store. In SOSP, 2007. S. Ghemawat, H. Gobioff, and S.-T. Leung. The Google File System. In Proc. SOSP, 2003. D. Kossmann. The state of the art in distributed query processing. ACM Computing Surveys, 32(4):422–469, 2000. Further Reading Efficient Bulk Insertion into a Distributed Ordered Table (SIGMOD 2008) Adam Silberstein, Brian Cooper, Utkar