如何利用预测市场数据进行机构级交易

刚刚公开的数据集

@beckerrjon 发布了目前公开可获取的最大预测市场数据集：来自 Polymarket 和 Kalshi 的 4 亿+ 笔交易，时间可追溯到 2020 年。完整的市场元数据、细粒度交易数据和结算结果，均以 Parquet 文件形式存储。

这是 tick 级别的数据。每笔交易都有时间戳、价格、成交量和 taker 方向。其粒度与传统市场中机构数据供应商每年收费 $100K+ 的数据相同。现在它是开源的。这非常庞大。

在我拆解对冲基金如何使用这些数据之前，先告诉你如何真正把它配置起来。因为不同于大多数只谈理论的文章，我会给你访问机构级数据的具体步骤。

如何配置这个数据集

前置条件

• 已安装 Python 3.9 或更高版本
• 40GB 可用磁盘空间
• 命令行访问权限（Mac/Linux 上的 Terminal，Windows 上的 PowerShell）

第 1 步：安装 uv

## 在 Mac/Linux 上
curl -LsSf https://astral.sh/uv/install.sh | sh

## 在 Windows 上（PowerShell）
irm https://astral.sh/uv/install.ps1 | iex

第 2 步：克隆仓库

git clone https://github.com/Jon-Becker/prediction-market-analysis
cd prediction-market-analysis

第 3 步：安装依赖

uv sync

这会安装 DuckDB、Pandas、Matplotlib 以及其他分析工具。

第 4 步：下载数据集

make setup

这会从 Cloudflare R2 下载 data.tar.zst（压缩后 36GB），并将其解压到 data/ 目录。解压耗时 5 到 30 分钟，具体取决于你的系统。

第 5 步：验证数据

ls data/polymarket/trades/
ls data/kalshi/trades/

你应该会看到数百个包含交易数据的 Parquet 文件。恭喜，你现在拥有了对冲基金正在分析的同一份数据集。

数据组织如下：

data/
├── polymarket/
│   ├── markets/               # 市场元数据（标题、结果、状态）
│   └── trades/                # 每一笔交易（价格、成交量、时间戳）
└── kalshi/
    ├── markets/               # Kalshi 的相同结构
    └── trades/

每个交易文件都是一个 Parquet 文件。什么是 Parquet 文件？Parquet 是一种列式存储格式，允许你在不把全部内容加载到内存中的情况下查询数十亿行数据。

现在你已经配置好了，让我告诉你机构实际上是如何使用这些数据的。

对冲基金实际如何使用这些数据

你以为预测市场是用来押注结果的。

你错了。

对冲基金把预测市场数据当作三个方面的实验室：经验风险校准、系统性偏差检测和订单流分析。预测市场并不是他们部署资本的地方，而是他们提取模式、进而影响传统市场中数十亿美元头寸的地方。

下面就是他们如何利用这 4 亿笔交易。

方法 1：使用 Monte Carlo 不确定性量化的经验 Kelly Criterion

Kelly Criterion 是量化头寸规模管理的基础。每个机构交易员都知道这个公式：

f* = (p × b - q) / b

其中 f* 是投入资本的最优比例，p 是胜率，q 是亏损概率，b 表示赔率。

教科书版 Kelly 的问题在于：它假设你对自己的优势有确定性的认知。

现实会立刻打破这个假设。

当你的模型估计某笔交易有 6% 的优势时，这不是真实值，而只是一个带有不确定性的点估计。真实优势可能是 3%，也可能是 9%。你拿到的是一个分布，而不是一个数字。

标准 Kelly 把这 6% 当作事实。这在数学上是不正确的，并且会导致系统性的过度下注。

经验 Kelly 通过在仓位计算中直接纳入不确定性来解决这个问题。

他们使用 Becker 数据集的实现方式如下：

阶段 1：历史交易提取

基金会用精确条件定义自己的策略。例如：“当合约价格低于 $0.15，且我们的基本面模型估计真实概率高于 0.25 时，买入 Yes。”

他们会筛选 4 亿条历史交易，找出每一次出现完全相同模式的情况。不是相似，而是完全相同。

这会得到数千个历史类比。每一个都有已知结果，因为数据集中包含结算信息。

阶段 2：收益分布构建

对于每一个历史类比，他们会计算实际实现的收益：盈利还是亏损、幅度有多大、发生在什么时候。

这会构建出一个经验收益分布。不是理论上的正态分布，而是在真实市场中该模式出现时实际发生情况的分布。

关键洞见是：这个分布几乎从来都不是正态的。它有厚尾，有偏度，也有会让统计学教授皱眉的峰度。

传统模型会忽略这些特征，经验方法则直接测量它们。

阶段 3：Monte Carlo 重采样

接下来事情在数学上变得有趣了。

历史收益序列只是可能路径中的一种。如果同样的交易以不同顺序发生，权益曲线会完全不同。

[+8%, -4%, +6%, -3%, +7%] 的平均值与 [-4%, -3%, +6%, +7%, +8%] 相同，但回撤特征却截然不同。第一组序列从未跌到 0% 以下，第二组序列则会立刻出现 -7% 的回撤。

这就是路径依赖，而且它对风险管理至关重要。

Monte Carlo 重采样会通过随机重排相同的历史收益，生成 10,000 条替代路径。每条路径都具有相同的统计属性，但实现出来的风险特征不同。

阶段 4：回撤分布分析

对于 10,000 条模拟路径中的每一条，都计算最大回撤，也就是从峰值到谷底的最大跌幅。

现在你得到的是一个可能最大回撤的分布，而不是单一数值。你可以看到第 50 百分位数（中位情景）、第 95 百分位数（运气较差）和第 99 百分位数（灾难情景）。

这就是机构风险管理与散户的分歧所在。

你：“我的回测显示最大回撤是 12%，我能接受。”

机构：“中位路径显示 12% 回撤，但第 95 百分位数显示 31% 回撤。我们需要按第 95 百分位数来控制仓位，而不是中位数。”

阶段 5：不确定性调整后的头寸规模

最后一步，是计算能将第 95 百分位回撤控制在机构风险限制之内的头寸规模。

公式变成：

f_empirical = f_kelly × (1 - CV_edge)

其中 CV_edge 是在 Monte Carlo 模拟中优势估计的变异系数（标准差 / 均值）。

高不确定性 → 高 CV → 对头寸规模进行大幅折减。低不确定性 → 低 CV → 头寸规模更接近理论 Kelly。

来看这种方法的一个示例应用：

一个量化策略：当模型估计真实概率 > 0.30 时，做多价格低于 $0.20 的合约。

使用 Becker 数据集上的历史模式匹配和 Monte Carlo 重采样：

• 标准 Kelly 计算可能建议：20%+ 的头寸规模
• 经波动率调整后：约 15-20% 的头寸规模
• 经 Monte Carlo 不确定性调整后（典型 CV：0.3-0.5）：10-15% 的头寸规模
• 考虑模型风险后的保守部署：8-12%

忽略不确定性（20%+ 头寸规模）与纳入不确定性（10% 头寸规模）之间的差别，就是很可能破产与长期稳定复利之间的差别。

为什么这很重要

每一个使用 Kelly 的散户交易员，用的都是教科书版本。他们系统性地过度下注，因为没有把对自身优势估计中的不确定性考虑进去。

使用带有 Monte Carlo 的经验 Kelly 的机构，则是按可能结果的分布来控制仓位，而不是按点估计来控制。

随着时间推移，这会造成巨大的分化。散户交易员会经历 40% 的回撤，抹去多年收益；机构交易员则不会超过 20% 的回撤，并且能够平稳复利。

同样的策略。不同的仓位管理方法。完全不同的结果。

方法 2：跨价格与时间维度的校准曲面分析

标准的校准分析会绘制隐含概率与实际发生频率之间的关系。

在价格 $0.30（隐含概率 30%）时，该结果实际发生的频率是多少？如果它实际发生了 30% 的时间，市场就是校准的；如果是 25%，就是高估；如果是 35%，就是低估。

这是一维分析，只看价格。

机构会构建校准曲面，把时间维度也加进去：随着结算临近，校准如何变化？

框架

定义 C(p, t) 为校准函数，其中：

• p 表示合约价格（0 到 100）
• t 表示距离结算的剩余时间（以天计）
• C(p, t) 返回结果发生的经验概率

在完全校准的市场中，对所有 p 和 t，都有 C(p, t) = p。

现实中，C(p, t) 会随着价格和时间同时发生系统性变化。

Jon Becker 的研究实际上表明了什么

显示 longshot bias 的校准曲线：1 美分合约的胜率只有 0.43%，而隐含概率为 1%

对 7,210 万笔 Kalshi 交易的分析表明，longshot bias 确实存在且可测量。在极低概率区间（1 美分合约）：

• taker 仅有 0.43% 的胜率
• 隐含概率：1%
• 错定价：-57%（严重偏离）

在中等概率区间（50 美分合约）：

• taker 错定价：-2.65%
• maker 错定价：+2.66%
• 偏差依然存在，但有所收敛

研究证实，taker 在 99 个价格层级中的 80 个层级上都表现出负超额收益，证明在整个概率范围内都存在系统性错定价。

关于时间维度的机构假设

虽然 Becker 已发表的研究聚焦于基于价格的校准，但机构会基于行为金融理论，在时间维度上扩展这个框架。

假设是：longshot bias 会随着距离结算时间的变化而变化，因为其背后的心理驱动因素也在变化。

早期阶段（距离结算很远）：散户情绪占主导，可获得的信息有限。人们基于希望而不是概率去买“彩票”。这应当会使 longshot bias 最大化。

中期阶段：信息不断积累，更专业的参与者进入。随着信息环境改善，价格应当向基本面收敛。

晚期阶段（接近结算）：信息释放加速。那些原本就不太可能发生的结果，会变得明显不太可能。该假设认为，随着希望消退，偏差可能会反转，但这需要经验验证。

策略框架

基于既有行为模式的时间变化筛选规则：

• 距离结算较远：Becker 记录的 longshot bias 很可能在这里最强。策略：系统性做空由散户热情主导的低概率合约。
• 中间区间：随着信息和流动性改善，效率达到高点。策略：减少交易或寻找其他优势。
• 接近结算：信息不对称应当消失。策略：利用任何剩余错定价，但要意识到效率通常会提升。

数学形式化

错定价函数：

M(p, t) = C(p, t) - p/100

其中 M 表示以百分点计的系统性错定价。

机构的入场规则将是：

• 当 M(p, t) > threshold 时做空（高估）
• 当 M(p, t) < -threshold 时做多（低估）
• 当 |M(p, t)| < threshold 时保持空仓（公平）

阈值根据交易成本和所需的风险调整后收益进行校准。

为什么这很重要

Becker 的研究证明，longshot bias 在价格维度上确实存在。1 美分合约上记录到的 -57% 错定价，幅度巨大且具有系统性。

机构假设这种偏差会随时间变化，但经验验证需要对完整的时间序列数据集进行分析。

这个框架本身是合理的：由希望、恐惧和信息不对称驱动的行为偏差，在接近结算时，逻辑上应当发生变化。

无论具体模式是早期偏差 → 中期效率 → 晚期反转，还是其他某种时间结构，都需要在这 4 亿笔交易的数据集上运行分析。

从已验证的研究中，我们可以确定的是：

• longshot bias 确实存在且可测量（1 美分处为 -57%）
• 它会随着概率区间变化
• taker 在 99 个价格层级中的 80 个层级上系统性亏损
• 这种偏差创造了结构性机会

机构通过经验方法测试的是：

• 这种偏差如何随距离结算时间变化
• 不同市场类别中的模式是否稳定
• 最优的进出场阈值水平
• 考虑交易成本后的盈利能力

校准曲面方法提供了框架，Becker 数据集提供了实验室，经验分析则决定哪些具体模式存在且可以交易。

方法 3：订单流分解与 maker / taker 盈利能力

这是最微妙的优势，也是散户交易员几乎从未考虑过的。

每笔交易都有两个参与者：提供流动性的 maker 和消耗流动性的 taker。

maker 挂出限价单，然后等待。

taker 穿越价差，为即时成交支付成本。

Jon Becker 的数据集为每笔交易都标记了 taker 一侧。这意味着你可以把参与者分成 maker 和 taker，并分别分析他们的盈利能力。

Becker 的研究实际上揭示了什么

对 7,210 万笔带有结算结果的 Kalshi 交易的分析显示，存在鲜明的不对称性。

在 1 美分合约（极端 longshot）上：

• taker 仅有 0.43% 的胜率
• 隐含概率：1%
• taker 错定价：-57%
• maker 胜率：1.57%
• maker 错定价：+57%

在 50 美分合约上：

Maker-Taker 财富转移：在 99 个价格层级中的 80 个层级上存在系统性优势

• taker 错定价：-2.65%
• maker 错定价：+2.66%

汇总发现：

• taker 在 99 个价格层级中的 80 个层级上都表现出负超额收益
• makers 买入 YES：+0.77% 超额收益
• makers 买入 NO：+1.25% 超额收益
• 统计对称性（Cohen's d ≈ 0.02）表明，maker 并不是预测能力更强，而只是结构更优

这不是一个小差异。

taker 作为一个群体，系统性地出错。不是 50/50 抛Coin式的错，而是在 99 个价格层级中的 80 个层级上持续、可测量地出错。

为什么 taker 会亏

Becker 的研究指出了核心洞见：maker 的盈利来自结构性套利，而不是更强的预测能力。

makers 买入 YES 的超额收益（+0.77%）与买入 NO 的超额收益（+1.25%）几乎相同，这证明他们并不是在挑赢家，而是在利用 taker 群体中一种代价高昂的偏好。

taker 的行为暴露了紧迫性。你穿越价差，是因为你更看重成交确定性而不是价格。这种紧迫性与行为偏差相关。

首先是对信息不对称的误判。taker 以为自己是在根据信息优势采取行动，但大多数人并不是。他们是在对公开信息作出情绪化反应，而不是依据私有信息行动。

其次是肯定性偏差。Becker 的研究显示，taker 表现出“对肯定性、longshot 结果的昂贵偏好”。他们尤其倾向于在 longshot 上买入 YES，从而系统性地买贵。

相反，makers 表现出耐心。按定义，他们在等待。这种耐心过滤掉了情绪化的紧迫感。

此外，makers 优化的是价差捕获，而不是结果预测。随着时间推移，价差收入加上相对于偏差 taker 流的结构性优势，会产生稳定的正期望。

数学表达

maker 每次成交订单的期望利润：

E[Profit_maker] = spread_capture + edge_vs_takers

其中：

• spread_capture 表示买卖价差的收入
• edge_vs_takers 表示经验上获得的胜率优势

根据 Becker 已验证的数据：

• maker 相对于 taker 的优势：根据方向不同为 +0.77% 到 +1.25%
• 这种优势存在于 99 个价格层级中的 80 个层级
• 该优势是结构性的，而非信息性的（由 YES/NO 对称表现证明）

如果你持续在许多市场中提供流动性，就能反复获得这种优势，而不需要更强的预测能力。

但这也有风险。

库存风险： 作为 maker，你会积累头寸。你在某些市场是多头，在另一些市场是空头。如果相关性发生变化，或者市场走势对你不利，回撤就会在均值回归之前出现。

不利选择风险： 并非所有 taker 都缺乏信息。正如 Becker 所指出的，“成熟交易员会穿越价差，以便对时间敏感的信息采取行动。” 大额订单可能表明有信息流，你有被对手“挑中”的风险。

成交量演化： Becker 的研究表明，市场成熟度很重要。在早期低成交量阶段，即使是 maker 也会输给相对更有信息的 taker。成交量激增吸引了专业流动性提供者，他们随后可以在所有价格点提取价值。

机构做市框架

双边报价，确保价差捕获具有正期望。允许那些代表散户 taker 流的小额成交（这些成交具有已记录的偏差）。对大额成交进行复核（可能来自成熟参与者）。监控总库存敞口，并在超出阈值时进行对冲。目标是通过结构性优势获得稳定收益，而不是预测结果。

为什么这很重要

散户交易员几乎总是 taker。他们看到一个市场，点击买入，然后穿越价差。

这样做时，他们实际上是与一个被 Becker 研究证明在 99 个价格层级中的 80 个层级上都具有负超额收益的人群站在一起。

在极端 longshot（1 美分合约）上，taker 的表现差了 57%。即使在中等概率（50 美分）上，他们也差了 2.65%。

提供流动性的机构则拿走了这部分优势的另一侧。

同样的市场。不同的方法。由 7,210 万笔交易证明的结构性优势。

研究结论

Becker 的分析表明，财富会系统性地从流动性 taker 转移到流动性 maker，这种转移由行为偏差和市场微观结构驱动，而不是 maker 更强的预测能力。

已记录的 taker 对肯定性 longshot 结果的偏好创造了结构性机会，maker 的耐心与价差捕获方法则将其提取出来。

这不是理论，而是来自迄今分析过的最大预测市场数据集的可测量、可验证的现实。

机构优势不在于信息

关于对冲基金，散户最容易误解的一点是：

他们以为对冲基金之所以能赢，是因为他们有更好的信息、更好的研究、更好的模型和更好的预测。

优势并不在那里。

优势在于：

1. 风险管理：按结果分布而不是点估计来控制仓位。Monte Carlo 不确定性调整可以防止破产。
2. 时间变化策略：利用随着结算临近而变化的校准模式。卖出早期偏差，买入晚期反转。
3. 结构性定位：做 maker 而不是 taker。从急于成交的对手方那里收取价差和不利选择优势。

这些都不需要更好的预测，它们需要的是更好的流程。Becker 数据集为你提供了构建这个流程的实验室。

4 亿笔交易。每个结果都已知。每个模式都可测量。

散户会用这些数据来回测自己的预测。

机构会用这些数据来校准风险管理、识别时间变化的偏差，并衡量结构性优势。

我有一个基于这个数据集构建的、最疯狂的预测市场实验的想法——如果你想让我去做，回复 YES。已经有 7K 人关注这段旅程，加入他们，这样你就不会错过接下来会发生什么。

• 原文链接： x.com/rohonchain/status/...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～