储和管理NoSQL资料.pptVIP

第一V是Variety，海量数据有不同格式，第一种是结构化，我们常见的数据，还有半结据化网页数据，还有非结构化视频音频数据。而且这些数据化他们处理方式是比较大的。 很多不同形式（文本、图像、视频、机器数据），无模式或者模式不明显，不连贯的语法或句义 第二点就是Volume，量比较大，我们有一些用户化每秒就要进入很多数据，很多客户内部都有几批数据，还有下面淘宝都是几PB数据，所以PB化将是比较常态的情况。 非结构化数据的超大规模和增长，占总数据量的80~90%，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍 第三个是Velocity，因为数据化会存在时效性，需要快速处理，并得到结果出来。比如说，一些电商数据，今天的信息不处理没有结果化，将会影响到今天捕获很多商业决策。 立竿见影而非事后见效 第四个是Value：大量的不相关信息，不经过处理则价值较低，属于价值密度底的数据 海量数据分析非常复杂，使得过去靠单纯易于关于数据库BI已经不是太适合了。所以，可能需要新的创新。 * 云计算只是一个概念，很多人也都会，一说起云计算，就觉得会想吐的感觉，现在大家都在说云计算，各种各样的服务，各种各样的公司，各种云，总在说云计算是一个概念。百度，也是一个很典型的云计算平台，他有很多很多的数据会在上万台服务器上出运算，这个可能在传统的一些计算环境是无法满足的。 * * * 当然，牺牲一致性，只是不再要求关系型数据库中的强一致性，而是只要系统能达到最终一致性即可，考虑到客户体验，这个最终一致的时间窗口，要尽可能的对用户透明，也就是需要保障“用户感知到的一致性” * If you have several points, steps, or key ideas use multiple slides. Determine if your audience is to understand a new idea, learn a process, or receive greater depth to a familiar concept. Back up each point with adequate explanation. As appropriate, supplement your presentation with technical support data in hard copy or on disc, e-mail, or the Internet. Develop each point adequately to communicate with your audience. 对于分布式系统，为了保证高可用性，一般设置N=3。不同的N,W,R组合，是在可用性和一致性之间取一个平衡，以适应不同的应用场景。 如果N=W,R=1，任何一个写节点失效，都会导致写失败，因此可用性会降低，但是由于数据分布的N个节点是同步写入的，因此可以保证强一致性。 如果N=R,W=1，只需要一个节点写入成功即可，写性能和可用性都比较高。但是读取其他节点的进程可能不能获取更新后的数据，因此是弱一致性。这种情况下，如果W(N+1)/2，并且写入的节点不重叠的话，则会存在写冲突 。 * NoSQL运动两个核心理论基础： Google的BigTable BigTable提出了一种很有趣的数据模型，它将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。 Amazon的Dynamo Dynamo使用的是另外一种分布式模型。Dynamo的模型更简单，它将数据按key进行hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性：最终一致性。 5、NoSQL数据模型及分类 NoSQL运动两个核心理论基础： NoSQL数据模型及分类 NoSQL数据模型及分类 类型 部分代表 特点 列存储 Hbase Cassandra Hypertable 顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。 文档存储 MongoDB CouchDB 文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。 key-value存储 Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB Redis 可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能） 图存储