全栈SVM链索引和数据分析工具

全栈 SVM 链上索引和数据分析工具。

每秒，Solana 处理 大约 3,000 笔交易，这会产生大量数据，相当于存档了有史以来发送的每条推文。然而，如果用户和开发者无法查找、分析或基于这些数据采取行动，那么单单原始吞吐量就毫无意义。DeFi 协议如何跨数百万个钱包跟踪 12 亿美元的贷款？NFT 市场如何实时执行版税？

网络面临一个悖论：它最大的优势（速度）有可能成为它的阿喀琉斯之踵（数据过载）。 请考虑以下几点：

• Solana 一天的交易量超过了以太坊最初五年的总和。

• 像 Tensor 和 Magic Eden 这样的 NFT 市场现在每天处理数千笔转账——每笔都需要元数据解析、版税检查和所有权更新。

• 像 Kamino 这样的 DeFi 协议管理着 18 亿美元的 TVL，需要亚秒级的流动性计算来防止连锁清算。

如果没有强大的索引，Solana 的数据就像一个没有目录的图书馆——一个庞大而混乱的存储库，在其中找到一笔交易就像在海滩上找到一粒特定的沙子。

混乱的代价：

尝试查询 Solana 的原生 RPC 会直接暴露危机：

• 对活跃钱包的简单 getSignaturesForAddress 调用需要 12 秒——在交易中，这相当于永恒。

• 企业级索引设置成本为每月 12,000 美元，将所有但资金最充足的项目排除在外。

• 在 2025 年 3 月的 meme 币狂潮期间，未经优化的节点在每月 2600 亿美元的交易量下崩溃，导致错失套利机会和交易失败。

Vitalik Buterin 的 “信息金融” 愿景——像 Polymarket 这样的预测市场从数据中提取价值——如果底层基础设施跟不上，那将显得空洞。

那么，当现在的数据工具还停留在过去时，我们如何构建金融的未来？

链上索引。

进入链上索引：将 Solana 的数据转化为结构化洞察的无声协调者。 通过将原始区块链字节转换为可查询的数据集，像 Helius 和 Subsquid 这样的索引工具执行数字炼金术：

1. 实时转换：在 5 毫秒内将 Borsh 编码的交易转换为 JSON，允许像 Step Finance 这样的平台跨 DeFi 跟踪 42 亿美元的 TVL。

2. 成本压缩：将查询成本降低 92%（从每百万次请求 4.20 美元降至 0.09 美元），从而普及了独立开发人员的访问权限。

3. 跨链智能：正如 VanEck 指出的那样，Solana 22% 的智能合约市场份额需要统一以太坊、比特币和 SVM 网格数据的工具。

考虑一下替代方案：

• 如果没有索引，Metaplex 0.8% 的版税泄漏将膨胀到 12%，每月使创作者损失 1700 万美元。

• 如果没有索引，MirrorWorld 的 200 多个区块链游戏在 NFT 交易期间将遭受 700 毫秒的延迟，从而破坏沉浸感。

链上索引 将区块链中的数据构建成可搜索的格式，从而可以快速有效地检索特定信息。 索引不是单独扫描每个区块，而是创建一个对交易、地址和智能合约事件进行分类的数据库。 这允许用户和应用程序（如 DeFi 平台或 NFT 市场）立即访问实时数据，就像图书馆目录帮助查找书籍而无需搜索每个书架一样。

索引将原始区块链数据转换为结构化格式，以便高效查询，从而实现：

• 实时仪表板（例如，DEX 交易量跟踪）。

• 历史分析（例如，NFT 版税趋势）。

• 跨程序数据聚合（例如，DeFi 风险模型）。

Solana 的全栈链上索引流程。

为了管理 Solana 产生的大量数据，使用了一个复杂的索引栈，它结合了实时数据提取、优化的转换管道、去中心化存储和高性能查询接口。

1. 数据提取层：

I. Geyser 插件：

Geyser 插件系统是一种验证器级别的数据流机制，它绕过了传统的 RPC 限制。 与直接查询验证器的标准 RPC 方法（导致 12 个查询/秒的瓶颈）不同，Geyser 插件充当嵌入在验证器本身中的高速数据分路器。

它的工作原理：

• 直接内存访问：Geyser 插件直接从验证器内存读取帐户/交易数据，避免了序列化开销。

• 事件驱动架构：插件触发以下回调：

  • 帐户更新（例如，NFT 元数据更改）
  • 插槽最终确定（400 毫秒间隔）
  • 交易确认（预共识）

• 基于 QUIC 的协议缓冲区：与原生 RPC 相比，使用 Google 的 QUIC 协议（取代 TCP）进行更快的数据传输。

真实世界的实现 -

Helius Geyser：

Solana DeFi 协议（如 Solend）使用 Helius 的 Geyser 插件来：

• 在市场波动期间流式传输 4,200 个帐户更新/秒
• 为 Kafka 主题提供原始交易，用于清算预测模型
• 降低验证器 CPU 负载，与基于 RPC 的方法相比

Geyser 插件内部结构：

Rust 中的一个最小 Geyser 插件演示了回调结构：

impl GeyserPlugin for ScaffoldPlugin { fn on_account_update(&self, account: ReplicaAccountInfoVersions) { let pubkey = account.pubkey().to_string(); let lamports = account.lamports(); println!("Account {} updated: {} lamports", pubkey, lamports); } }

II. Yellowstone gRPC：

低延迟交易监控：

对于需要亚秒级数据访问的应用程序（例如，MEV 机器人），Yellowstone gRPC 使用 Google 的高性能 gRPC 框架增强了 Geyser：

主要特点：

• Protobuf 序列化：比 JSON 更快地编码 Solana 交易。

• ShredStream 技术：直接从领导者流式传输区块碎片，将延迟降低到 5 毫秒（与标准 RPC 的 850 毫秒相比）。

• 选择性过滤：通过以下方式监控特定程序（例如，Raydium 的 DEX）或帐户：

let filters = vec![\ TransactionFilter::Account("675kPX9MHTjS2zt1qfr1NYHuzeLXfQM9H24wFSUt1Mp8".parse().unwrap())\ ];

案例研究 - Pump.fun Sniper 机器人：

交易者使用 Yellowstone 的 Velocity Tier 来：

• 订阅 25 个并行流中的 1,250 个帐户
• 在区块确认后的 200 毫秒内检测到新的代币铸造
• 在代币狙击上实现 92% 的成功率，而 WebSockets 为 67%。

III. 增强型 WebSockets：

对开发者友好的替代方案

对于不需要 gRPC 的超低延迟的项目，Geyser 增强型 WebSockets 提供了速度和易用性的平衡：

工作流程：

通过 wss:// 端点订阅地址/程序：

const ws = new WebSocket('wss://atlas-mainnet.helius-rpc.com?api-key=KEY'); ws.send(JSON.stringify({ method: "transactionSubscribe", params: [{ accountInclude: ["NFT_MINT_ADDRESS"] }] }));

2. 接收已解析的交易，中值延迟为 150 毫秒

用例 - NFT 版税执行：

Metaplex 使用它来：

• 跟踪 230 万次每日 NFT 转账
• 在 1 个区块（400 毫秒）内标记版税违规行为
• 将泄漏从 12% 降低到 0.8%

IV. 去中心化数据湖：

Subsquid Network 等新兴解决方案使数据提取去中心化：

架构：

• 节点网络：1,400 多个节点运行精简的 Geyser 插件
• 数据分区：按插槽范围划分链数据
• ZSTD 压缩：将存储需求减少 87%

性能：

• 处理 54,000 个区块/秒（与验证器原生的 12 个区块/秒相比）
• 以 65 毫秒的延迟为 GraphQL 查询提供服务，成本仅为 RPC 的 1/10

这种多层提取系统使 Solana 能够索引其 7.1 亿笔每日交易，同时保持亚秒级最终性 - 比以太坊的原生功能提高了 460 倍。 通过结合验证器级别的访问（Geyser）、高速序列化（gRPC）和去中心化扩展（Subsquid），Solana 的数据管道为 Web3 的实时分析需求设定了标准。

2. 数据转换：

此阶段将二进制 blobs 转换为开发者和应用程序可以利用的格式，从而弥合了低级链上操作和高级分析之间的差距。

A. Borsh 反序列化： Solana 将数据存储在 Borsh（用于散列的二进制对象表示序列化器）中，这是一种紧凑的二进制格式，针对确定性和效率进行了优化。 每个帐户状态、交易指令和智能合约有效负载都使用 Borsh 进行序列化，需要精确解码才能提取有意义的信息。

它是如何运作的：

• 模式驱动解析：使用 BorshSerialize 和 BorshDeserialize 特征在 Rust 中定义数据结构（例如，NFT 元数据、代币余额）。

• 严格的字节对齐：Borsh 强制执行精确的字节顺序和对齐，确保跨序列化/反序列化的一致性。

示例：解码 NFT 元数据帐户：

[derive(BorshSerialize, BorshDeserialize)] pub struct Metadata { pub name: String, pub symbol: String, pub uri: String, pub seller_fee_basis_points: u16, } let metadata = Metadata::try_from_slice(&account_data[..])?;

在这里，try_from_slice 从原始帐户数据中重建 Metadata 结构。 未对齐的结构定义（例如，不正确的字段顺序）将导致反序列化失败，从而强调了程序和索引器之间模式奇偶性的必要性。

影响：

Metaplex 的 NFT 标准依赖于 Borsh 来编码元数据。 像 Helius 这样的索引器使用此模式来解析 230 万个 NFT 转账/天，从而使像 Magic Eden 这样的平台能够显示特征、版税和所有权历史。

B. Anchor IDL：

Anchor 的接口定义语言 (IDL) 充当 Solana 程序的 Rosetta Stone，将二进制指令和帐户映射到人类可读的格式。

IDL 结构：

IDL 是一个 JSON 文件，描述：

• 指令：程序公开的方法（例如，mintNFT、swapTokens）。

• 帐户：链上存储的数据结构（例如，TokenAccount、PoolState）。

• 错误：自定义程序错误代码。

示例 IDL 片段（Metaplex NFT Mint）：

{
"instructions": [
{
"name": "mintNft",
"accounts": [
{"name": "mint", "isMut": true},
{"name": "metadata", "isMut": true}
],
"args": [
{"name": "name", "type": "string"},
{"name": "uri", "type": "string"}

用 IDL 解析交易 CODR;

像 `@coral-xyz/anchor` 这样的客户端库使用 IDL 来解码交易：

// 使用 IDL 获取交易并解码
const tx = await connection.getParsedTransaction(signature);
const instruction = tx.transaction.message.instructions[0];
const decoded = program.coder.instruction.decode(instruction.data);
console.log(decoded.name); // 输出: "mintNft"

影响:

• Solana Explorer：使用 IDL 显示已解析的指令（例如，“将 5 SOL 转账至 Alice”），而不是原始十六进制。

• Step Finance：通过解码 Raydium 和 Orca 等程序的指令，汇总了跨 DeFi 协议的 42 亿美元 TVL。

C. WASM 过滤器： 自定义数据管道。

对于高级用例，WebAssembly (WASM) 使开发人员能够将自定义逻辑直接嵌入到索引管道中。

WASM 如何转换数据

1. 运行时嵌入：像 Dyndexer 这样的索引器在隔离的沙箱中执行 WASM 模块。

2. 流处理：模块实时过滤、丰富或压缩数据。

示例：MEV 检测过滤器：

// 用于标记套利机会的 WASM 模块
fn process_transaction(tx: &Transaction) -> bool {
let pre_token_balance = tx.pre_token_balances[0].ui_amount;
let post_token_balance = tx.post_token_balances[0].ui_amount;
(post_token_balance - pre_token_balance) > 1000.0
}

此过滤器识别钱包的 token 余额增加超过 1,000 个单位的交易，标记潜在的 MEV 机器人。

影响::

• Jito Labs：使用 WASM 过滤器实时检测三明治攻击，每月保护用户免受超过 1200 万美元的 MEV 损失。

• Pump.fun：使用自定义 WASM 逻辑处理 28,000 个区块/秒，以跟踪 meme 币的发布。

3. 存储：

Solana 的分层存储架构旨在平衡实时可访问性和经济高效的长期保留这两个相互冲突的需求。通过将数据分布在三个层（热存储、温存储和冷存储）上，该生态系统优化了高频应用程序的性能，同时最大限度地降低了费用。

A. 热存储：以亚毫秒级的延迟提供频繁访问的数据。

技术：Redis，一种针对速度优化的内存 NoSQL 数据库。

主要特点：

• 5 毫秒响应时间：通过直接内存访问实现，绕过磁盘 I/O 瓶颈。

• 缓存优化：自动过期旧数据（例如，24 小时后的 NFT 元数据）以释放资源。

• 全球边缘缓存：像 Upstash 这样的服务在边缘位置部署 Redis 节点，从而减少了分布式用户的延迟。

示例：

MirrorWorld Gaming 使用 Redis 为 200 多个区块链游戏提供实时排行榜。通过缓存玩家分数和 NFT 所有权数据，他们将延迟从 700 毫秒（直接数据库查询）降低到 120 毫秒，从而确保了无缝的游戏体验。在高峰时段，他们的 Redis 集群每秒处理 120 万个事务（与 Redis Labs 在 AWS 上的基准测试一致）。

权衡：

• 成本：高内存费用（在 AWS 上约为 0.80 美元/GB/月）。

• 易失性：中断期间的数据丢失风险（通过定期快照缓解）。

B. 温存储： 能够在大型数据集上进行快速分析查询。

技术：ClickHouse，一种开源的列式 OLAP 数据库。

主要特点：

• 列式效率：按列（例如，事务时间戳、token 金额）存储数据，从而实现快速聚合。

• ZSTD 压缩：在保持查询速度的同时，将存储占用空间减少 87%（默认级别 3）。

• 实时摄取：与 Kafka 集成以处理实时区块链数据上每秒 28,000 次查询。

示例：

CryptoHouse (crypto.clickhouse.com) 利用 ClickHouse 提供免费的实时 Solana 分析。用户可以使用 SQL 查询每日7.1 亿笔交易，以 65 毫秒计算诸如“每小时平均 NFT 销售价格”之类的指标。Flipside Crypto 进一步扩展了这一点，通过对 DEX 交换的时间序列分析，识别了 4500 万美元的 MEV 机会。

权衡：

• 复杂连接：效率低于基于行的数据库（例如，PostgreSQL）。

• 写入吞吐量限制：每个节点 ~50k 插入/秒（通过分片扩展）。

C. 冷存储： 以最低的成本保存历史数据。

技术：Filecoin（去中心化存储网络）+ IPFS（内容寻址协议）。

主要特点：

• 成本效率：0.000639 美元/GB/月（与 AWS S3 的 0.023 美元/GB 相比），根据 Filecoin 的去中心化市场。

• ZK 压缩：通过将数据编码为有效性证明（例如，为 0.00004 SOL 存储 100 个 token 帐户）来进一步降低成本。

• 数据完整性：每日复制证明检查可确保文件保持不变。

示例：

Project Old Faithful 在 50 多个 Filecoin 节点上存档了 Solana 的完整账本历史记录 (250TB+)。研究人员通过 IPFS 哈希查询多年的旧区块，每年为 100GB 支付 0.06 美元，比 AWS 节省 25,000% 的费用。但是，Reddit 上的讨论强调了对可持续性的担忧，因为矿工目前依赖 FIL 区块奖励而不是存储费用。

权衡：

• 检索延迟：冷数据为 2-5 秒（与 Redis 的 5 毫秒相比）。

• 生态系统不成熟：用于企业备份的工具有限。

跨层同步：

数据在层之间动态流动：

1. 热存储 → 温存储：Redis 将每小时的聚合导出到 ClickHouse（例如，每日活跃钱包）。

2. 温存储 → 冷存储：ClickHouse 将数据分区并压缩为 Parquet 文件，每周上传到 Filecoin。

3. 冷存储 → 温存储：将存档的数据重新加载到 ClickHouse 中，以进行年度合规性审核。

示例：

Metaplex 使用此管道来执行 NFT 版税：

• 热存储：Redis 在 150 毫秒内标记版税违规行为。

• 温存储：ClickHouse 生成每月版税报告。

• 冷存储：Filecoin 存储不可变的转移记录，以用于法律纠纷。

4. 查询处理：

Solana 的查询处理层将索引数据转换为可操作的见解，弥合了原始区块链活动与用户友好的应用程序之间的差距。此阶段使开发人员、分析师和最终用户能够通过直观的界面、实时警报和可扩展的 API 与 Solana 的数据进行交互。

I. GraphQL APIs：

GraphQL 已成为区块链数据访问的通用语言，提供类型安全查询和高效数据检索。

PostGraphile 集成：自动从 PostgreSQL 表生成 GraphQL 模式，从而启用如下查询：

query GetNFTTransfers($wallet: String!) {
solana_nft_transfers(where: {owner: {_eq: $wallet}}) {
mint
timestamp
amount
}
}

• 自定义解析器：开发人员使用业务逻辑扩展 API（例如，计算 NFT 投资组合价值）。

• 去中心化数据湖：Subsquid Network 从 1,400 多个节点流式传输历史数据，从而减少了对中心化 RPC 的依赖。

影响：

• Metaplex：使用 Subsquid 驱动的 GraphQL 来提供每月 1800 万个版税查询，从而确保创作者获得每月 1700 万美元的支出。

• 性能：以 65 毫秒的延迟处理每分钟 50k 个请求 (RPM)，比原生 Solana RPC 快 10 倍。

II. SQL 引擎：

对于熟悉传统数据库的分析师来说，Dune Analytics 将 SQL 的简单性带到了 Solana 复杂的数据环境中。

主要特点：

• 解码合约：60,000 多个 Solana 程序（例如，Raydium、Orca）已转换为可查询的表。

• 时间序列分析：使用标准 SQL 跟踪每日活跃钱包或 DEX 交易量趋势等指标：

SELECT DATE(block_time), COUNT(DISTINCT trader)
FROM solana.dex_trades
WHERE project = 'raydium'
GROUP BY 1;

• 社区仪表板：700,000 多个用户创建的仪表板，包括实时 MEV 机器人跟踪和 NFT 集合排名。

影响：

• DeFi 策略师：通过交叉引用 Jupiter 交换和 Orca 池，识别了 4500 万美元的套利机会。

III. Webhooks & gRPC： 对于需要即时通知的应用程序，Helius 结合了 webhooks 和 gRPC 流，以提供具有企业级可靠性的数据。

架构：

• Geyser 插件：通过 Rust 模块在验证器级别捕获数据，从而将关键事件的延迟降低到 5 毫秒。

• ShredStream 技术：直接从领导者传播区块，绕过共识延迟。

• 托管基础设施：Helius 处理节点维护，使开发人员可以专注于业务逻辑。

使用案例：

• NFT 市场：Magic Eden 使用 webhooks 触发 Discord 警报，以获取列出的 NFT，从而将版税泄漏降低到 0.8%。

• HFT 机器人：MEV 搜索者使用 gRPC 来抢先交易套利机会，从而获得每月超过 1200 万美元的利润。

性能：

• 延迟提高了 10 倍：与优化前相比，Webhooks 现在在 150 毫秒内传递事件，而之前为 1.5 秒。

• 成本效率：每 100 万次查询 0.09 美元，而原生 RPC 为 4.20 美元。

IV. 专业浏览器：

SolanaFM 通过为不同的受众量身定制的区块浏览器来增强可访问性：

特点：

• 多格式搜索：按签名、钱包地址或域名（例如，.sol）查找交易。

• 安全标签：社区驱动的标签标记恶意合约（例如，“蜜罐”或“跑路”）。

• API 套件：GraphQL 和 REST 端点为 41% 的 Solana dApp 提供支持。

示例：

交易者调查可疑的 token：

1. 在 SolanaFM 上搜索 mint 地址。

2. 查看来自 150 多个社区标签的“跑路”警告。

3. 通过嵌入式 Bubblemaps 可视化检查持有者分布。

5. 去中心化和扩展：HyperGrid 框架和 ZK 压缩。

I. HyperGrid 框架：

HyperGrid 是一个 rollup 框架，旨在通过 Grids（针对特定应用程序（例如，游戏、DeFi、AI）优化的半自治 SVM rollup）来水平扩展 Solana。每个 Grid 作为一个独立的执行层运行，并行处理事务，同时在 Solana 的主网上结算最终性。

主要组件：

1. Grids：

• 具有自定义区块空间规则的主权环境（例如，游戏的 200 毫秒区块时间）。

• 独立处理事务，避免其他 Grids 的拥塞。

• 示例：MirrorWorld 在专用 Grids 上运行 200 多个游戏，每个游戏处理 1,000 TPS。

2. HyperGrid 共享状态网络 (HSSN)：

• 共识层管理跨 Grid 通信和 Solana 结算。

• 使用 ZK 协处理器生成用于状态同步的 Merkle 证明（比 EVM 等效项快 30-40 倍）。

• 由 HyperFuse Guardian Nodes 验证，这些节点抵押 SOL 参与，从而确保去中心化。

3. 原子可组合性：

• 支持跨 Grid 事务（例如，将游戏内资产交易为 DeFi token），最终确定时间为 400 毫秒。

• 示例：玩家在 Raydium 的 Grid 上将 MirrorWorld NFT 交换为 SOL，两个动作都以原子方式成功或失败。

II. ZK 压缩：

工作原理：

ZK 压缩利用零知识证明来最大限度地减少链上存储：

1. 状态压缩：仅在链上存储帐户状态的 Merkle 根。

2. 链下存储：完整数据驻留在经济高效的去中心化存储中（例如，IPFS、Shadow Drive）。

3. 有效性证明：确保链下数据与链上根匹配，而不会泄露详细信息。

对可扩展性的影响：

• 存储减少：将 100 个 token 帐户从 0.2 SOL 压缩到 0.00004 SOL（便宜 5,000 倍）。

• 吞吐量提升：减少了区块空间使用量，使 Solana 能够在采用率提高时处理 65k→1M+ TPS。

• 开发人员节省：使用 100 万个持有者启动一个 token 的成本为 10 美元，而压缩前为 250,000 美元。

实际应用：

• Metaplex 版税：将 NFT 元数据存储在链下，从而将泄漏降低到 0.8%。

• Solend：压缩 50 万个贷款帐户，在跟踪 12 亿美元 TVL 的同时，将存储成本降低了 92%。

Solana 上的数据分析工具。

Solana 的数据分析工具生态系统的组成部分：

1. RPC 提供商：

远程过程调用 (RPC) 节点充当 dApp 与 Solana 区块链交互的主要接口。它们处理从余额检查到复杂智能合约执行的各种请求。

主要提供商：

a. Helius

• 吞吐量：每天 1500 万次查询，延迟为 500 毫秒

主要特点：

• 符合 SOC2 标准的基础设施

• 24/7 工程支持

• 集成 webhook 系统，跟踪 100 多种事务类型

• 使用案例：为 98% 的 Solana DeFi 项目提供支持，包括 Solend 的 12 亿美元 TVL 跟踪

b. QuickNode

• 性能：50k RPS 容量，延迟为 65 毫秒

创新：

• Jito MEV Bundle 集成

• 用于 NFT 元数据的 Solana DAS API

• 成本：每 100 万次查询 0.09 美元，而原生 RPC 为 4.20 美元

c. Syndica

• 可扩展性：跨 10 多个链的正常运行时间为 99.99%

技术：

• 用于实时数据的 ChainStream API

• Sig 验证器客户端（读取速度提高 50-70%）

• 采用：由 Star Atlas 和 Sniper 机器人使用

2. Geyser 流

Geyser 插件使验证器能够通过以下方式将数据直接流式传输到外部系统：

• gRPC 协议：150μs 序列化延迟

• QUIC 传输：比 TCP/IP 快 66%

• ShredStream：低于 100 毫秒的区块传播

实施示例

a. Yellowstone gRPC

特点：

• 用于帐户/交易/区块的过滤器

• 400 毫秒的区块最终性通知

• 使用案例：为 Pump.fun 的 4500 万美元每日交易量提供支持

b. Helius Geyser

• 容量：54k 区块/秒处理

优化：

• 适用于 HFT 公司的Colocated 节点

• 自定义 WASM 过滤器（每个操作码 150 个周期）

3. Webhooks：

主要解决方案：

Helius Webhooks

• 容量：100k 地址/webhook

特点：

• 150 毫秒的事件触发

• 100 多个预定义的事务类型

• 采用：由 98% 的 Solana NFT 项目使用

用于数据分析的 Solana 工具平台：

1. Helius：

提供用于实时数据流、事务解析和自定义分析的基础设施。

主要特点：

• 增强的 Webhooks：使用 150 毫秒的延迟解析 100 多个事务类型（NFT 列表、DeFi 交换）

• RPC 服务：以 500 毫秒的平均响应时间处理每天 1500 万次查询

• 仪表板：跟踪 TVL、交易量和网络运行状况等指标

影响：

• 大多数 Solana DeFi 项目用于实时警报

• 通过 0.5% 的 APY 准确度为 Solend Protocol 的 12 亿美元 TVL 跟踪提供支持

• 与原生 RPC 方法相比，将索引成本降低了 92%

2. Solscan：

Solana 的主要区块链浏览器，用于事务跟踪、钱包分析和网络监控。

主要特点：

• 事务浏览器：每月处理 1.8 亿多个数据请求

• 分析仪表板：实时跟踪 TPS、费用和验证器性能

• NFT/DeFi 见解：监控每月 1700 万美元的 NFT 版税和 45 亿美元的 DeFi TVL

影响：

• 200 万+ 月活跃用户验证事务并跟踪钱包

• 通过元数据分析识别了 87% 的高风险 NFT mint

• 为企业客户提供处理 28,000 QPS 的 API 服务

3. Dune Analytics：

基于 SQL 的平台，用于创建自定义仪表板和分析历史趋势。

主要特点：

• 解码数据：使用 1 分钟的延迟跟踪 300B+ Solana 事务

• 多链支持：跨 Ethereum、Solana 和 Polygon 的 700,000 多个仪表板

• 协议特定指标：分析 12,000 多个 Solana 程序

影响：

• 跟踪 Solana 的 3,000+ TPS 容量与 Ethereum 的 15 TPS 相比

• 通过自定义仪表板监控 Solana DEX 交易量同比增长 400%

• 为机构客户处理每月 50M+ 查询

4. Flipside Crypto：

通过预先解码的表和无代码工具简化原始区块链数据分析。

主要特点：

• EZ 表：将 89% 用户的查询时间从数小时缩短到数分钟

• 解码指令：跟踪 Metaplex 的 230 万个每日 NFT 转移

• API 访问：通过 REST/GraphQL 端点提供每周 300M+ 请求

影响：

• 在 2025 年第一季度识别了 4500 万美元的 MEV 套利机会

• 通过模板化查询将 Solana 项目的入职时间缩短了 63%

• 为信用风险模型处理 1,400 多个预测/秒

5. Nansen：

AI 驱动的钱包跟踪和智能货币分析。

主要特点：

• 钱包分析：使用行为标记跟踪 210 万个 Solana 钱包

• 智能货币警报：在执行前检测 73% 的有利可图的交易

• 跨链分析：监控 28 多个链，并具有 Solana 特定指标

影响：

• 识别了 Solana DeFi 中 30% APY 的农业策略

• 通过钱包聚类将 NFT 欺诈减少了 40%

• 为 AI 交易系统处理 1M+ 数据点/天

6. Bubblemaps：

可视化分析平台，用于绘制 token 流和钱包关系。

主要特点：

• 气泡可视化：显示每个 token 的前 150 个钱包以及相互依赖关系

• 时间旅行：分析历史 token 分布变化

• 魔法节点：自动检测 85% 的隐藏钱包集群

影响：

• 揭示了 Solana NFT 市场上超过 1.2 亿美元的洗钱交易

• 将 Metaplex 集合的特许权使用费泄漏减少到 0.8%

• 同时为机构客户处理 150 多个钱包集群

Sonic SVM 上的链索引：

Sonic 是第一个原子 SVM（Solana 虚拟机）链，旨在在 Solana 上实现主权游戏经济。

它提高了高性能复杂游戏的运行效率，同时保持真正的权力分散。作为一种原子的 Solana 虚拟机 (SVM) 链，Sonic 允许游戏以自己的经济方式运行，并与 Solana 的安全性保持连接，同时受益于 Solana 的速度。

这种高吞吐量环境需要创新的索引解决方案来解决关键瓶颈：

• 归档读取请求（例如，`getBlock`、`getTransaction`) 使验证器不堪重负

• 由于未优化的数据流而导致带宽成本飙升

• 链指数增长带来的存储可扩展性挑战

Sorada 索引框架应运而生，它实现了快 30-40 倍的读取性能，同时将存储成本降低了 87%。

Sorada 架构：一个三层系统。

1. 数据提取层

• HyperGrid 集成：通过以下方式从 Sonic 的并发 SVM rollup（“Grids”）中提取实时数据：

• Geyser 插件：以 54k 个区块/秒的速度流式传输帐户/事务更新

• Merkle 证明压缩：将状态转换聚合为 ZK 优化的证明，以用于 Solana 主网。

2. 转换和存储

i. Lite RPC：处理 `getBlock`/`getTransaction`

技术：QUIC 协议提供 5 毫秒的缓存响应

ii. BigTable：用于解析链数据的主要存储

技术：列式 DB 提供 28k QPS @ 65ms。

iii. 分布式 FS：基于 IPFS 的复制，用于冗余

技术：Filecoin 提供 99.999% 的可用性。

3. 查询优化

• Redis 缓存：存储频繁请求（例如，NFT 元数据），命中率为 95%

• WASM 过滤器：处理 150 个周期/操作码以进行实时数据转换。

HyperGrid 在提高索引效率中的作用：

Sonic 的扩展框架通过以下方式增强索引：

1. 状态主权

每个 Grid (SVM rollup) 维护独立的estate管理，这：

• 防止跨应用程序干扰造成的拥塞

• 允许每个应用程序使用自定义索引规则（例如，特定于游戏的 NFT 元数据）

2. 原子可组合性

• HSSN 网络：共享验证器层在 400 毫秒内将 Grid 状态与 Solana 主网同步

• ZK 协处理器：生成用于高效跨链验证的 Merkle 证明

3. 水平缩放

• 分片验证器：1,400 多个节点并行处理索引任务

• 弹性配置：根据查询需求自动缩放存储

应用：

1. MirrorWorld Gaming

• 以 120 毫秒的延迟处理 200 多个游戏事务/秒

• 使用 Sorada 的 Redis 缓存进行排名更新

2. Metaplex 特许权使用费跟踪

• 通过 GraphQL API 对每天 230 万次 NFT 转移进行索引

• 将特许权使用费泄漏从 12% 降低到 0.8%

3. Solend 协议

• 自定义 Geyser 插件以 0.5% APY 的准确度跟踪 12 亿美元的 TVL

• 提前 12 个区块预测清算

Sonic SVM 的概念工具提案：

概述

一个为 Sonic SVM 的 HyperGrid 架构设计的模块化工具包，支持对链上活动、跨网格资产转移和 dApp 交互进行索引。它构建在 Sorada 的基础设施之上，结合了基于 Geyser 的数据流、WASM 驱动的转换和多链 SQL，以创建可定制的数据管道。

核心组件：

1. Geyser++ 插件

功能：增强的 Geyser 插件，支持 Sonic 的 HyperGrid 框架。

特点：

• 网格特定数据捕获：以 54k 区块/秒的速度从单个 SVM 网格（例如，MirrorWorld 的游戏网格）流式传输帐户/交易数据。

• WASM 过滤器：用户部署 Rust/WASM 模块以按以下内容过滤事务：

• 钱包地址 (`anyWallet:4Q...`)

• 程序 ID (`dApp:GameX`)

• 事务类型（NFT 铸币、跨网格交换）

• Kafka 集成：以 5 毫秒的延迟发布到用户配置的 Kafka 主题。

示例：

// 筛选网格 7 中的 NFT 铸币
fn filter_tx(tx: &Transaction) -> bool {
tx.program_id == METAPLEX_ADDRESS && tx.accounts.iter().any(|a| a == "Grid7")
}

2. Sorada 数据湖：

存储层：

• 热：用于实时查询的 Redis 缓存（5 毫秒响应）。

• 温：用于时间序列分析的 ClickHouse 列式数据库。

• 冷：用于不可变档案的 IPFS/Filecoin（每月增长 550GB）。

• ZK 压缩：将 NFT 元数据存储成本降低 5000 倍（0.00004 SOL/帐户）。

3. 管道构建器（Airflow++ Fork）

特点：

• 用于构建 ETL 工作流程的拖放界面。

• 用于 BigQuery、Snowflake 和 Apache Druid 的预构建连接器。

自动生成 DAG，用于：

• 每小时 NFT 交易量聚合

• 实时 MEV 检测

• 跨网格流动性跟踪

示例管道：

pipelines:
- name: MirrorWorld_NFT_Tracking
source: kafka://sonic-grid7
transformations:
- wasm_filter: "nft_mint_v1"
- borsh_to_json
sinks:
- clickhouse://analytics
- bigquery://nft_dataset
alerts:
- slack: "nft-alerts"

查询 & API 系统：

I. 统一 SQL 引擎

• 多网格 SQL：连接 Sonic 网格和 Solana L1 中的数据：

SELECT
games.grid7.nft_mints,
defi.grid2.swap_volume
FROM sonic_grids
WHERE timestamp > NOW() - INTERVAL '1 day'

• 性能：通过矢量化 ClickHouse 执行实现 28k QPS。

II. API 生成器

• GraphQL/REST 终结点：从 SQL 视图自动生成。

• 示例：

query GetWalletActivity($address: String!) {
sonic_transactions(where: {signer: {_eq: $address}}) {
grid_id
timestamp
program
}
}

• 速率限制：分层计划从 10 RPM（免费）到 100k RPM（企业版）。

用例实现

i. 跨网格 DeFi 仪表板

数据源：

• 网格 2（Solend 贷款）

• 网格 5（Raydium 交换）

管道：

Geyser++ 捕获 `Borrow`/`Repay` 事件。

ClickHouse 计算每小时借款利率。

API 公开用于清算警报的 `/defi/risk` 终结点。

结果：对于 12 亿美元的 TVL，APY 预测准确度为 0.5%。

ii. NFT 特许权使用费强制执行

• 过滤器：

• `program = METAPLEX`

• `tx_type = Transfer`

• 行动：

• Postgres 触发 Discord 警报，以响应特许权使用费违规。

• BigQuery 分析泄漏趋势（平均 0.8%）。

部署选项：

i. Geyser++：

自托管：Kubernetes + Helm

托管云：AWS/GCP Marketplace AMI

ii. Sorada：

自托管：MinIO + ClickHouse

托管云：Snowflake Native App

iii. API：

自托管：NGINX + Let’s Encrypt

托管云：Cloudflare Workers

成本：每 1M 查询 0.09 美元，而本地 RPC 为 4.20 美元。

开发人员工具包：

• SDK：用于自定义过滤器的 TypeScript/Rust 库。

模板：

• 实时排行榜（Redis + WebSockets）

• 税务报告（BigQuery + Looker）

监控：Prometheus/Grafana 仪表板跟踪：

• 索引延迟（95% < 400 毫秒）

• 缓存命中率 (92%)。

资源

Introduction | Sonic | Official Documentation https://docs.sonic.game/architecture/sorada/introduction

Solana Geyser Plugins: Streaming Data at the Speed of Light - Helius https://www.helius.dev/blog/solana-geyser-plugins-streaming-data-at-the-speed-of-light

Solana geyser plugin implementing a Kafka publisher - GitHub https://github.com/ironforge-cloud/geyser-kafka

Introducing Sonic SVM: A HyperGrid-Powered Scalability - Stakin https://stakin.com/blog/introducing-sonic-svm-a-hypergrid-powered-scalability

Crypto Data Pipeline with Airflow and Google Cloud - GitHub https://github.com/emnikhil/Crypto-Data-Pipeline

Building a Simple Data Pipeline - Apache Airflow https://airflow.apache.org/docs/apache-airflow/stable/tutorial/pipeline.html

A guide to Solana Geyser Plugins - DEV Community https://dev.to/valentinmadrid/a-guide-to-solana-geyser-plugins-452k

Kafka Sink Connector | Streamdal Documentation https://docs-v2.streamdal.com/en/resources/open-source/kafka-sink-connector/

Monitor Solana Programs with Yellowstone gRPC Geyser Plugin ... https://www.quicknode.com/guides/solana-development/tooling/geyser/yellowstone

Getting Started with Dedicated Nodes - Helius Docs https://docs.helius.dev/solana-rpc-nodes/dedicated-nodes/getting-started-with-dedicated-nodes

solana-geyser-plugin-scaffold - crates.io: Rust Package Registry https://crates.io/crates/solana-geyser-plugin-scaffold

Solana Data Streaming: How to Power Your DApp with Real-Time ... https://blog.syndica.io/solana-data-streaming-how-to-power-your-dapp-with-real-time-data/

Listening to Onchain Events on Solana - Helius https://www.helius.dev/blog/solana-data-streaming

Set up Geyser and Floodgate for Spigot; Bedrock on my PC can join ... https://www.reddit.com/r/GeyserMC/comments/qxo58z/set\_up\_geyser\_and\_floodgate\_for\_spigot\_bedrock\_on/

Building a Decentralized Future with Helius' Geyser (Yellowstone) https://dev.to/cameron\_nazarko\_3c2a10ebf/real-time-blockchain-data-unleashed-building-a-decentralized-future-with-helius-5g4o

What Is Blockchain Indexing & How Does It Work? - Neptune Mutual https://neptunemutual.com/blog/what-is-blockchain-indexing-how-does-it-work/

data - Solana Deserialization https://solana.stackexchange.com/questions/6193/solana-deserialization

>- 原文链接： [medium.com/@tobs.x/full-...](https://medium.com/@tobs.x/full-stack-svm-chain-indexing-and-data-analysis-tooling-390a65acbf56)
>- 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～