IPFS-可快速索引的版本化的点对点文件系统（草稿3）.PDF

IPFS(中文白皮书) 2017-05-28 IPFS - 可快速索引的版本化的点对点 文件系统 （草稿3） 作者：Juan Benet (j uan@benet.ai) 译者： 郭光华(gavin@8) 摘要 星际文件系统是一种点对点的分布式文件系统， 旨在连接所有有相同的文件系 统的计算机设备。在某些方面，IPFS 类似于web, 但web 是中心化的，而IPFS 是一个单一的Bittorrent 群集，用git 仓库分布式存储。换句话说，IPFS 提 供了高吞吐量的内容寻址块存储模型， 具有内容寻址的超链接。这形成了一个 广义的Merkle DAG 数据结构，可以用这个数据结构构建版本文件系统，区块 链，甚至是永久性网站。。IPFS 结合了分布式哈希表， 带有激励机制的块交 换和自我认证命名空间。IPFS 没有单故障点， 节点不需要相互信任。 1. 介绍 在全球分布式文件系统这领域， 已经有许多人的尝试。一些系统已经取得了重 大的成功，而很多却完全失败了。在学术尝试中，AFS 【6】就是成功的例子， 如今已经得到广泛的应用， 然而，其他的 【7， ？】却没有得到相同的结果。 在学术界之外，应用最广泛的是面向音视频媒体的点对点文件共享系统。 最值 得注意的是， Napster, KaZaA 和BitTorrent[2]部署的文件分发系统支持 1 亿用户的同时在线。即使在今天， BitTorrent 也维持着每天千万节点的活 跃数。 基于这些学术文件系统理论而实现的应用程序有很多的用户量， 然而， 这些系统理论是在应用层，而没有放在基础层。以致没有出现通用的文件系统基 础框架， 给全球提供低延迟的分发。 也许是因为HTTP 这样“足够好“的系统已经存在。到目前为止，HTTP 已经作 为“分布式文件系统“的协议，并且已经大量部署，再与浏览器相结合，具有巨 大的技术和社会影响力。在现在， 它已经成为互联网传输文件的事实标准。然 而，他没有采用最近15 年的发明的数十种先进的文件分发技术。从一方面讲， 由于向后兼容的限制 和 当前新模式的投入， 不断发展http web 的基础设施 几乎是不可能的。但从一个角度看，从http 出现以来， 已经有许多新协议出 现并被广泛使用。升级http 协议虽然能引入新功能和加强当前http 协议，但 会降低用户的体验。 有些行业已经摆脱使用HTTP 这么久，因为移动小文件相对便宜，即使对拥有 大流量的小组织也是如此。但是，随着新的挑战，我们正在进入数据分发的新纪 元。  （a）托管和分发PB 级数据集，  （b）跨组织的大数据计算，  （c）大批量的高清晰度按需或实时媒体流，  （d）大规模数据集的版本化和链接，  （e）防止意外丢失重要文件等。其中许多可以归结为“大量数据，无处不在”。由 于关键功能和带宽问题，我们已经为不同的数据放弃了HTTP 分销协议。下一步是使它们 成为web 自己的一部分。 正交于有效的数据分发，版本控制系统，已经设法开发重要的数据协作工作流程。Git 是分 布式源代码版本控制系统，开发了许多有用的方法来建模和实现分布式数据操作。Git 工具 链提供了灵活的版本控制功能，这正是大量的文件分发系统所严重缺乏的。由Git 启发的新 解决方案正在出现，如Camlistore [？]，个人文件存储系统，Dat [？]数据协作工具链和 数据集包管理器。 已经影响了分布式文件系统设计 ，因为其内容涉及到 Git [9] Merkle DAG 数据模型，能够实现强大的文件分发策略。还有待探讨的是，这种数据结构如何影响面向高 吞吐量的文件系统的设计，以及如何升级Web 本身。 本文介绍了IPFS，一种新颖的对等版本控制的文件系统，旨在调和这些问题。 IPFS 综合 了许多以前成功的系统的优点。 IPFS 产生了突出的效果， 甚至比参考的这些系统的总和 还要好。IPFS 的核心原则是将所有数据建模为同一Merkle DAG 的一部分。 2. 背景  本节回顾了IPFS 所采用成功的点对点系统技术的重要属性。 2.1 分布式哈希表(DHT)  分布式散列表 （DHT