第14讲 高级话题.pptx

第14讲高级话题莫同motong@ss.pku.edu.cn

上一讲回顾容错分布式文件系统内存数据库计算框架负载均衡Ring告示板zookeeper时间片释放和重连机制多租户租户控制策略与保障技术2容错负载均衡告示板时间片多租户

内容提要1广义虚拟化2NOSQL3云的扩展与衍生

内容提要1广义虚拟化2NOSQL3云的扩展与衍生

广义虚拟化高级话题被虚拟化的一定是IT资源吗？处理机时存储空间网络带宽…非计算资源的虚拟化产品服务…非IT资源如何虚拟化？

广义虚拟化虚拟化的目的对象脱离原有环境在计算机上被表示通过计算机进行按需获取查询计量获取案例：嘀嘀打车

广义虚拟化产品虚拟化如何将产品上网？案例——网上购物鼠标蛋糕鞋子服装

广义虚拟化产品虚拟化层次启发用户需求描述无有二义性增加图片、视频等通过文本描述可发现可理解可展示可有哪些信誉好的足球投注网站

广义虚拟化信息/知识的虚拟化信息/知识文档书籍影音图文件领域/专业知识来自信息来自人来自机器

广义虚拟化人的虚拟化如何将自己上网简历岗位与人才

广义虚拟化服务的虚拟化服务与产品的区别服务如何虚拟化？如何网上购买服务？标准化SLA、流程、实物等规范光有描述不足，还需要“体验”互联网的烧钱模式——为“体验”买单VR、MR等技术的发展给虚拟化带来的改变

广义虚拟化广义虚拟化IoTCPS

广义虚拟化虚拟化的本质抽象表示（通过数据对对象进行表示）虚拟世界与现实世界的映射虚拟与现实的转化

广义虚拟化虚拟化的本质数据是对客观事物的逻辑归纳及符号表示。通过何种逻辑进行归纳，描述事物的哪些方面，各方面有何关联关系？通过何种符号进行表示？例：描述个人信息有哪些字段，如姓名、性别、学历等。学历信息又关联哪些信息，比如学校、学校类别、绩点、综合排名等等。每个字段通过何种方式表示，比如民族，使用字符串表示，或者阿拉伯数字代码等。字段及取值描述按何种概念/知识/分类体系。如学历是本科/硕士/博士，还是本科/研究生。

广义虚拟化以商品物价数据为例：物价数据包含哪些字段？物价数据各个字段如何表示？数据的范围是什么？比如时间范围，哪年到哪年的；频率，一年一条还是一天一条；地区范围，北京市、全国等。数据的描述对象及概念体系是什么？比如猪肉价格，一级五花肉/二级五花肉，普通五花肉/精五花肉，精排/肋排/净排…数据获取/存储接口是什么？什么库、表等。

广义虚拟化客观事物逻辑归纳及表示技术：ER图、本体、知识图谱…客观事物的符号表示技术：数据标准、数据字典…客观事物的符号表示汇聚及映射技术：ETL、数据融合…

内容提要1广义虚拟化2NOSQL3云的扩展与衍生

NoSQL传统方式的瓶颈很多节点上的分布式存储并行在多个节点上的分析处理灵活的schema灵活的一致性成本

NoSQLRDBMS与NoSQLRDBMSNoSQLACID:Atomicity,Consistency,Isolation,DurabilityBASE:BasicallyAvailable,SoftState,Eventuallyconsistent强一致性(2PC,Paxos)最终一致性复杂的操作(joins,queries)简单的操作(CRUD)Availabilitythroughscale-upAvailabilitythroughscale-out可扩展性有限高可扩展性关键任务(e.g.,corebanking)Web2.0,Internetcompanies

NoSQLKey/ValuestoresTabularstoresDocumentstoresDynamoGraphstores

NoSQL列族数据库“表”是人们组织数据的基本形式之一数据库Excel各种报表…类似数据库的表传统数据库对表的约束过强各行拥有相同的列数据格式约束限制存储约束

NoSQLBigtable分布式多维映射表通过行关键字+列关键字+时间戳进行索引Bigtable对存储的数据不做解析，看做字符串具体数据结构实现需要用户自行处理存储逻辑(row:string,column:string,time:int64)?string

NoSQL键-值数据库“表”对数据的约束仍然过强通过“key”对数据进行管理类似建立一个“档案袋”

NoSQLDynamoAmazon的键值数据库AWS全面管理的NOSQL数据库服务理论上无存储空间上限-弹性可扩展稳定的低延迟性能，支撑任意数量的秒并发吞吐量支持key-value和document数据类型低成本

NoSQL文档数据库键值对方式虽然简单，但是对于“值”缺少必要的约束约束多，存储不灵活约束少，使用不方便折中方案：结构化文档

NoSQLMongoDB采用二进制JSON（BSO