Filecoin & Arweave：去中心化存储进化史

Swarm：以太坊的三位一体

时间调回 2014 年，在以太坊两位创始人 Vitalik Buterin 和 Gavin Wood 关于去中心化技术发展的探讨中，Gavin Wood 提出一开始将以太坊视为构建可编程加密货币的平台，然后发展到计算，存储和通信三位一体的一整套去中心化技术架构，以太坊（智能合约）负责去中心化计算的部分，Swarm 负责去中心化存储的部分，Whisper 负责去中心化通信的部分。

这里只聊 Swarm，Swarm 翻译过来是蜂群的意思，其命名来自于比特币创始人中本聪 2011 年在 bitcintalk 论坛的最后一篇回复“维基解密踢了马蜂窝，蜂群在向我们涌来。”

蜂群代表了分布式和协作的内核，寓意着 Swarm 是一个去中心化系统，通过机制设计引导生态内的参与者相互协作，共同维护生态稳定和发展。

以太坊上昂贵的计算资源注定它无法用来大规模存储数据，但存储又是去中心化应用走向大众的必不可缺的要素。作为以太坊的“亲弟弟”，Swarm 不仅获得了创世团队的支持，还具备与以太坊生态融合这样得天独厚的优势。依托以太坊强大的网络效应，Swarm 如果成功吸引以太坊生态内 DApp 使用它的去中心化存储服务，其发展前景本应该不可限量。

Swarm 在 2015 年推出，IPFS 彼时还没有问世，Bittorrent 是当时互联网上最流行的分布式文件存储协议，但是 Bittorrent 存在多个明显的问题，包括内容寻址，版本控制，经济激励等，并不适合直接作为去中心化存储。Swarm 在 2015 年至 2020 年，一直致力于改进 Bittorrent，走入了“死胡同”，工程推进上毫无进展，不仅让以太坊生态内 DApp 怀疑团队的技术实力，后面更是陷入了“IPFS/Filecoin 重复造轮子”的社区争议中。

Swarm 辗转寻找自己的叙事，尽管于 2021 年 6 月 成功上线，此时已经落后 Filecoin 两年，从机制上看，Swarm 还是走 Bittorrent 改进的路线，并且经济机制也不成熟，因此市场对 Swarm 用脚投票，其代币 Bzz 几乎归零，可以说是上线即维权的典型案例之一。

IPFS：星际崛起

IPFS 全称为 Inter Planetary File System，翻译过来的意思是“星际文件系统”，IPFS是用于存储和访问文件、网站、应用程序和数据的分布式文件系统。

IPFS 由 Protocol Labs 于2014年发起，并于 2015 年上线，是一个去中心化的网络底层协议，目标是成为去中心化时代的HTTP协议，让数据在去中心化网络中存储、分发，不可篡改、无法审查。

就像任何人可以使用 HTTP 协议搭建网站一样，人们也可以使用 IPFS 搭建网站。使用 IPFS 协议搭建网站，需要项目方自己运行若干种子存储节点。然而，如果数据量太大，而节点数不足、且访问量低的情况下，数据的存储冗余性会得不到保障，导致网站体验不佳。不过 IPFS 作为一种全新的数据存储和传输方式，可以让网页的速度更快、更安全、更健壮、更持久。也让人们在 HTTP 协议之外，多了一种选择。

IPFS 是一种网络传输协议，它既不是代币名称也不是项目名称，而且从某种意义上讲，IPFS 的出现是区块链非金融场景最成功的应用落地，很多传统的 Web2 巨头 ，例如 Firefox， Ghrome，Opera，Netflix 都已经支持了 IPFS，IPFS 也已经成为很多 Web3 平台的底层数据基础设施。

IPFS 协议包括七个子协议，分别是 身份，网络，路由，交换，对象，文件和命名，这里不详细解释协议内容，只提一下技术要点，有兴趣的同学可以自行查阅官网技术文档。

1. 通过内容寻址的唯一标识 CID；内容标识符 CID 是为 IPFS 开发的一种特殊形式的内容寻址。它是一个包含加密哈希值的单一标识符和一个编解码器，保存有关如何解释数据的信息。使用加密哈希值，任何对相同数据使用相同算法的人都将获得相同的哈希值。
2. 通过有向无环图 (DAG) 链接内容；IPFS 对象包含数据和指向其他对象的链接。由于数据被碎片化并分布到整个网络中的多个节点，因此 IPFS 使用 Merkle 有向无环图来获取数据碎片，以有效地编译整个文件。IPFS 可以基于 Merkle 有向无环图对控制文件系统分层架构进行建模。
3. 通过分布式哈希表 (DHT) 发现内容：Kad-DHT 是 IPFS 内容路由最主要的实现，节点间的距离是节点间地址（公钥哈希）的异或距离，是逻辑距离而不是物理距离，Kad 网络中的拓扑结构是一颗二叉树，层高是哈希的位数，节点每一层都会存储若干个其他节点。

IPFS 实现了基于内容的文件寻址，相同的文件都不会重复存储，大大节省了存储空间，并且基于 P2P 网络，可以并发从多个节点下载数据，从而大大降低了带宽成本，是对互联网底层协议的重大革新。

Filecoin：IPFS 激励层

2017年，开发了 IPFS 的 Protocol Labs 宣布成立 Filecion 项目，尽管基于 IPFS 的去中心化存储项目有很多，除了 Filecion 外还有 Crust，Pinata，NFTStorage，Ocean protocol，Lighthouse 等，但毕竟 Filecoin 根正苗红，所以从一开始就是市场的宠儿。

Filecoin 的 ICO 30 分钟内募资 2.57 亿美金，YC 孵化器、红杉资本等机构都参与了早期投资。2020 年 10 月，Filecoin 主网正式上线，市值最高涨至590多亿美元，不过如今也是回落的很惨，不及峰值的 8%，再次应证了币圈大热必死的规律。

Filecoin 是一个在 IPFS 网络之上的激励应用层及区块链公链系统，采用混合共识机制：以预期共识（Expected Consensus，EC）为主， 时空证明（Proof of Spacetime，PoSt） 及复制证明（Proof of Replication， PoRep）为辅。

EC 是 Filecoin 区块链的主要出块共识，是一种概率拜占庭容错共识机制。与一般的拜占庭容错容错共识不同的地方在于，每一轮领导人选举出来以后，平均来说有一名参与者可以提交一个区块。预期共识具备公平性、不可预知性及可验证性。Filecoin 对每个生成的区块赋予权重，权重最大的链成为主链。区块权重取决于两个因素：一是 Parents Block 的数量；二是链的存储能力。由于 Filecoin 有抵押机制，矿工会倾向挖 Parents Block 最多且存储能力最高的链，实现有效收敛。

在 EC 共识中矿工赢得选举的可能性跟矿工当前的存储能力成正比，而存储能力则由 PoSt 和 PoRep 来衡量。PoSt 可以利用证明链及时间戳证明矿工在一定时长内存储数据，即使验证者不在线，也能够在未来去验证矿工在该段时间内生成了证明链，有效防止临时生成数据攻击。

当一笔交易协议生成时，矿工会将客户提供的数据存放于网络中，这个区域称为扇区。而 PoRep 可以证明数据已经在一个特定的扇区创建成功。并且防范女巫攻击、外部数据源攻击以及生成攻击。PoRep 避免让矿工可以透过不同方法让自身存储数据小于承诺存储数据，以获得额外报酬。

Filecoin 的目的就是激励全球大量节点为用户提供存储和检索服务，推动 IPFS 文件存储传输协议的广泛使用。Filecoin 通过经济模型定义了一种针对存储服务的激励机制以及对应的支付行为，解决了怎么奖励存储行为或检索行为的问题，保证了数据可靠性。

Arweave：另辟蹊径

Arweave 不是基于 IPFS 的激励层，而是将数据存储与激励融合在一起，侧重于实现数据的永久存储和访问。Arweave 的加密经济模型旨在激励用户存储和传输数据，并确保网络的安全性和可靠性，这使得用户可以安全地存储重要数据，如文档、图片、视频等，并随时访问这些数据，而无需担心数据的丢失。

Arweave 主网于 2018 年 6 月上线，在 2021 年以前就获得了一些公链方的支持，用它作为主链数据存储的主要解决方案。Solana 在 2020 年就已经将 Arweave 作为其数据存储方案。随着 NFT 赛道在 2021 年爆发以及 Web3 创作者经济的繁荣，Arweave 的储存业务也得到了爆炸式增长。

Arweave 市值在去中心化存储项目中仅次于 Filecoin 位居第二，虽然市值也回落的很惨，不及峰值的 40%，但最近推出的 Arweave AO 还是大火了一把，对 Arweave AO 感兴趣的可以参考笔者给 ZAN 的投稿：《Arweave AO：AI 时代的头号玩家》。

Arweave 的区块结构称为 Blockweave， 不同于其他项目的单链式结构，Arweave 的每个区块要连接先前的区块和回忆块 （ Recall Block），Blockweave 具有可扩展性和分片性。Recall Block 指的是过去的历史区块，其决定了接下来生成的新区块。

Arweave 不要求矿工保存所有的区块记录，而是通过随机访问的简洁证明（SPoRA）鼓励矿工尽可能多地保存区块，尤其是保存数量较少的区块。网络会选择一个 Recall Block， 保存这个 Recall Block 区块的矿工通过 PoW 寻找随机数的方式争取记账权。由于 Recall Block 的选取是随机的，任何一个历史区块都可能成为目标，如果最后参与 PoW 竞争人数少的话， 用户有更大概率获得奖励。因此要提高出块概率，矿工需要尽可能多地保存区块，或者重点挑选保存少的区块存储。

这种证明的优势为一旦数据存入区块链，就会被永久存储且不会修改。同时，SPoRA机制降低了之前矿工出块概率中 PoW 的权重，加入了数据访问速度的维度。除此之外，SPoRA 让矿工更加专注于维护自己本地的硬件和节点, 避免矿工们都把数据存储在同一个费率低的数据中心, 便于节点地理位置的多样化，提高了整个网络去中心化的程度。可以说 Arweave 通过博弈的方式，保证数据数据的复制尽可能多，提升数据的可靠性。

Filecoin vs Arweave

Filecoin 和 Arweave 虽然是去中心化存储赛道的龙一龙二，但它们彼此之间实际是良性的竞争关系，这对于为用户提供有效、高效和创新的解决方案以及去中心化存储空间的成功至关重要。

从定位上看，Filecoin 要做的是 Web3 的 AWS，颠覆中心化云服务厂商对存储市场的垄断，提供更为开放的云储存供应市场；而 Arweave 想做的是 Web3 的“永恒的亚历山大图书馆”，致力于为人类知识和历史等有价值的信息提供永久的储存服务。

虽然在某些具体场景，比如 NFT 元数据的储存上，两者存在竞争，但长远来看，他们的愿景不同，一个提供即付即用的弹性云储存，一个提供数据的永久性存储，随着未来对去中心化存储的需求增长，Filecoin 和 Arweave 这两种互补的方案都将从中受益。

写在最后

笔者来自蚂蚁链，也是一名以太坊上的开发者（最近也在学习 Solana 开发），平时喜欢看书和写作，所以也运营了一个 Web3 的公众号（公众号名：小猪Web3），主要聚焦 Web3 前沿技术和发展历程，所以在这里还是小小打一个广告，希望能在登链认识更多志同道合的朋友交流学习。

公众号写了有十六七篇文章了，这一篇也是我最新的发表。我在去年年中开发p2p网络时研究了libp2p/ipfs，又于最近做arweave ao研报时研究了arweave，于是整合素材写了这一篇文章。虽然 fil 和 ar 的投资是我最大亏损的投资(说起来都是泪)，但是并不妨碍我看好他们，看好去中心化存储的未来。