我对社区笔记有什么看法？

我对社区笔记的看法？

我对社区笔记的看法？

特别感谢 Dennis Pourteaux 和 Jay Baxter 的反馈与审核。

过去两年，Twitter X 可以说是动荡不安。在去年，埃隆·马斯克以440亿美元完成对该平台的 收购 未收购 收购 后，他进行了大规模的人事变动、内容审核及商业模式调整，更不用说对该网站文化的改变，这可能更多是马斯克的软实力，而非具体的政策决策导致的。但在这些高度争议的行动中，Twitter上有一个新功能迅速变得重要，似乎受到不同政治光谱人们的喜爱：社区笔记。

社区笔记是一种事实核查工具，有时会针对推文附加上下文笔记，例如上面埃隆的推文，就是作为事实核查和反虚假信息工具使用。它最初被称为 Birdwatch，于2021年1月作为试点项目首次推出。从那时起，它经历了几个阶段的扩展，其扩展最快的阶段恰好与马斯克去年对 Twitter 的收购同时进行。如今，社区笔记经常出现在那些在 Twitter 上获得大量观众的推文上，包括有争议的政治话题。无论从我的观点，还是我与许多不同政治光谱的人交谈的结果看来，这些笔记在出现时既具信息性又有价值。

但我对社区笔记最感兴趣的是，尽管它不是一个“加密项目”，但它可能是我们在主流世界看到的与“加密价值”最接近的东西。社区笔记并不是由某个中心选定的专家撰写或策划，而是可以由任何人撰写并投票，哪些笔记被显示或不被显示完全由一个开源算法决定。Twitter 网站有一个详细且广泛的指南来描述这个算法是如何工作的，你可以下载数据，其中包含已发布的笔记和投票，甚至可以在本地运行算法，并验证输出是否与 Twitter 网站上可见的内容相符。虽然这并不完美，但在某种程度上它令人惊讶地接近于满足可信中立性的理想，同时即便在有争议的情况下仍能发挥显著的作用。

社区笔记算法是如何工作的？

任何符合某些标准的 Twitter 账户都可以注册参与社区笔记（基本要求：活跃超过 6 个月，近期没有规则违规，已经验证的电话号码）可以报名。目前，参与者正在缓慢且随机地被接受，但最终计划是让所有符合条件的人均可参与。一旦你被接受，你最初可以参与对现有笔记的评分，达到一定数量的良好评分（通过 观察哪一评分与最终结果匹配进行衡量）后，你还可以撰写自己的笔记。

当你写一条笔记时，该笔记会根据其他社区笔记成员的审查获得一个分数。这些审查可以视为在 HELPFUL、SOMEWHAT_HELPFUL 和 NOT_HELPFUL 三个等级上的投票，但审查也可以包含一些在算法中起作用的其他标签。根据这些审查，笔记会得到一个评分。如果笔记的评分高于0.40，则会显示该笔记；否则，不会显示。

评分计算的方式使算法独特。与简单的算法不同，简单算法旨在轻松地计算用户评分的某种总和或平均值，并用其作为最终结果，社区笔记评分算法明确试图优先考虑从不同角度获得积极评分的笔记。也就是说，如果通常在评分上存在分歧的人们最终对某个特定笔记达成一致，则该笔记的得分会特别高。

让我们深入探讨这是如何实现的。我们有一组用户和一组笔记；可以创建一个矩阵 M，其中单元格 Mi,j 表示第 i 个用户对第 j 个笔记的评分。

对于任何给定的笔记，大多数用户都没有对该笔记进行评分，因此矩阵中的大多数条目将为零，但这很好。算法的目标是创建一个包含四列的用户和笔记模型，为每个用户分配两个统计数据，我们称之为“友好度”和“极性”，并为每个笔记分配两个统计数据，我们称之为“帮助性”和“极性”。该模型试图将这个矩阵视为这些值的函数进行预测，使用以下公式：

注意，我在这里引入了Birdwatch 论文中的术语，以及我自己的术语，以便提供一个不那么数学化的直观：

• μ 是一个“公众情绪”参数，反映用户一般给出的高评分的高低
• iu 是用户的“友好度”：这个特定用户给高评分的可能性
• in 是笔记的“帮助性”：这个特定笔记获得高评分的可能性。归根结底，这是我们关心的变量。
• fu 或 fn 是用户或笔记的“极性”：其在主导政治极化轴上的位置。实践中，负极性大致意味着“左倾”，而正极性则意味着“右倾”，但请注意，极化轴是通过分析用户和笔记而逐步发现的；左派和右派的概念并不是编码在系统中的。

该算法使用相当基础的机器学习模型（标准的 梯度下降）来寻找这些变量的值，以便最佳地预测矩阵值。为特定笔记分配的帮助性即为该笔记的最终得分。如果笔记的帮助性至少为 +0.4，则该笔记会被展示。

这里核心的聪明之处在于“极性”术语吸收了导致某些用户喜欢某个笔记而其他用户不喜欢的属性，而“帮助性”术语仅衡量某个笔记可以被所有用户喜欢的属性。因此，选择那些有帮助的笔记可以识别出跨部落的认同，而反之则筛选出那些只得到了一个部落的欢呼，而牺牲另一个部落的厌恶的笔记。

我简化实现了基本算法；你可以在这里找到它，欢迎你进行试用。

现在，上面的内容只是算法核心的描述。实际上，有很多额外的机制被添加在其上方。幸运的是，它们在公开文档中有详细描述。 这些机制包括：

• 算法多次运行，每次向投票中添加一些随机生成的极端“伪投票”。这意味着算法对每个笔记的真实输出是一系列值，最终结果依赖于从这一范围中取出的“下限置信界”，并与0.32的阈值进行比较。
• 如果许多用户（尤其是与笔记具有相似极性的用户）将一条笔记评分为“不令人满意”，并且他们明确列出了相同的“标签”（例如“具有争议或偏见的语言”，“来源不支持备注”）作为评分理由，则该笔记被发布所需的帮助性阈值从0.4增加到0.5（这一变化虽然看起来很小，但在实践中非常重要）
• 如果一条笔记被接受，则要将其拒绝的帮助性阈值必须低于接受其所需的0.01点
• 算法将对多个模型运行更多次，这有时可以推进那些原始帮助性评分在0.3到0.4之间的笔记

总而言之，你拥有的一些相当复杂的 Python 代码，总计6682行跨越22个文件。但这一切都是开放的，你可以下载笔记和评分数据并自己运行，查看输出是否对应于Twitter在任何给定时刻的内容。

这在实践中看起来怎么样？

在这个算法中，区分其与简单取平均分算法的最重要理念就是我所称的“极性”值。算法文档称它们为 fu 和 fn，使用 f 代表因素，因为这些是彼此相乘的两项；更一般的语言部分是因为最终希望将 fu 和 fn 变为多维。

极性被分配给用户和笔记。用户 ID 与底层 Twitter 账户之间的链接故意保持隐藏，但笔记是公开的。实际上，算法生成的极性，至少对于英语语料库集，与左与右的政治光谱映射得非常接近。

以下是一些极性约为 -0.8 的笔记示例：

注意，我这里并不是选择性的引用；这些实际上是当我本地运行算法时生成的scored_notes.tsv电子表格中极性分数（在电子表格中称为 coreNoteFactor1）小于 -0.8 的前三行。

接下来是一些极性约为 +0.8 的笔记。结果表明，这些笔记有很多是人们谈论巴西政治的葡萄牙语，或者特斯拉的粉丝愤怒地反驳对特斯拉的批评，所以我稍作挑选找到一些不属于这类的：

再次提醒，这里的“左与右分界”并不是算法编码的；它是通过计算逐步发现的。这表明，如果你在其他文化背景中应用该算法，它可以自动检测出主要的政治分歧，并跨越那些分歧。

与此同时，获得最高“帮助性”的笔记看起来是这样的。这次，因为这些笔记实际上在 Twitter 上显示，我可以直接截图一个：

另一个：

第二个触及了更直接的高度派系政治主题，但这是一个清晰、高质量且信息丰富的笔记，因此它得到了高分。因此，整体看来，算法似乎运作良好，并且能够通过运行代码验证输出结果。

我对该算法的看法？

在分析算法时让我印象深刻的主要是它的复杂性。首先存在“学术论文版本”，一个能够找到最合适五项向量和矩阵方程的梯度下降，然后是实际版本，复杂的一系列算法执行，以及其中许多任意系数的变动。

即使是学术论文版本也在“引擎盖”下隐藏着复杂性。它所优化的方程是一个四次方程（因为在预测公式中含有一个二次的 fu∗fn 项，并将成本函数测量j平方的误差）。在任一数量的变量膨胀上，优化一个二次方程几乎总是有一个唯一的解决方案，可以通过相当基本的线性代数进行计算，但许多变量下的四次方程往往有多个解，因此多轮梯度下降算法可能会得出不同答案。对输入的小变动可能会导致算法从一个局部最小值跳至另一个，从而显著改变输出结果。

这一点的区别与像二次资金等我曾参与工作的算法之间的区别，感觉就像是经济学家的算法与工程师的算法之间的区别。经济学家的算法，在最佳情况下，注重简单、合理的易分析性，以及清晰的数学性质，展示其为满足所解决任务的最优（或最不糟）的特性，并理想地证明某人通过尝试利用它能够造成多大的伤害。而工程师的算法，则是迭代试错的结果，在工程师的运行环境中查看哪个可行，哪个不可行。工程师的算法是务实的并可完成工作；经济学家的算法在遇到意外情况时不至于完全失控。

或者，正如在相关话题上由尊敬的网络哲学家 roon（又名 tszzl）所说的那样：

当然，我会说，加密的“理论美学”正是为了区分那些真正无信任的协议与看似完好且运作良好的但在底层要求信任一些中心化参与者的拙劣构造 - 或者更糟，最终被彻底诈骗。

深度学习在其可行时有效，但它不可避免地对各种对抗性机器学习攻击存在脆弱性。如果做得好的话，极客陷阱和高抽象阶梯可以对它们极为有效。而我所想知道的一个问题是：我们能否将社区笔记本身转变为一种更像经济学家算法的东西？

为了更好地理解这在实践中意味着什么，让我们探讨一个我几年前提出的类似目的的算法：成对限制的 二次资金。

成对限制的二次资金的目标是弥补“常规”二次资金中的一个漏洞，即如果即使是两个参与者相互勾结，他们也可以为一个虚假项目贡献高额资金并把钱返还给自己，从而获得大量补贴，吞噬整个资金池。在成对二次资金中，我们为参与者每对分配一个有限的预算 M。该算法遍历所有参与者可能的配对，如果算法决定因为参与者 A 和参与者 B 都支持某个项目 P 而向其添加补贴，那么该补贴就来自于分配给配对 (A,B) 的预算。因而，即便有 k 个参与者卷入勾结，他们从机制中能窃取的金额最多为 k∗(k−1)∗M。

完全这样的算法形式不太适用于社区笔记的环境，因为每个用户的投票非常少：平均而言，任何两个用户之间的共同投票数量恰好为零，因此仅依靠服务配对参与者彼此不会对用户的极性了解任何信息。机器学习模型正是为了尝试从无法以这种方式直接分析的稀疏来源数据中“填补”矩阵的，但是这种方法的挑战在于以不使结果在少量错误投票面前高度波动的方式来执行。

社区笔记是否真的对抗极化？

我们可以通过分析社区笔记算法是否确实能够对抗极化来看看，如果有的话 - 即它是否真正比幼稚的投票算法更好。幼稚的投票算法在某种程度上已经能对抗极化：一道拥有200个点赞和100个点踩的推文表现不如简单获得200个点赞的推文。那么社区笔记的表现如何呢？

从算法的抽象角度看，很难看出。为什么不会一条高平均评分但引起极化的帖子获得强烈极性_和_高帮助性？理论上，极性较高的帖子意味着吸收导致其获得多票的属性，但是它确实做到了这一点吗？

为此，我运行了我简化的实现进行了100轮测试。平均结果是：

质量平均值：
第 1 组（优质）：0.30032841807271166
第 2 组（优质但极化）：0.21698871680927437
第 3 组（中性）：0.09443120045416832
第 4 组（差）：-0.1521160965793673

在这个测试中，“好的”笔记在同一政治部落的用户中获得 +2 的评分，而在另一政治部落的用户中则获得 +0 的评分，而“优质但额外极化”笔记同样在同部落用户中获得 +4 的评分，在对立部落的用户中获得 -2 的评分。相同的平均值但不同的极性。结果似乎确实表明，“好的”笔记的平均帮助性要高于“优质但额外极化”的笔记。

有一个更接近“经济学家算法”的东西的另一个好处是能更清晰地表述该算法是如何惩罚极化的。

这些在高风险场景中多有用？

我们可以通过观察一个具体情况来部分理解它如何运作。大约一个月前，伊恩·布雷默抱怨说，一条对某段中国政府官员推文高度批评的社区笔记已经被删除。

该引用，现已不再可见。由Ian Bremmer截屏。

这很严重。在一个美好的以太坊社区环境中进行机制设计，最大的抱怨可能是 $20,000 给了一位两极化的 Twitter 影响者，而在涉及影响千万人政治和地缘政治问题且每个人往往出于很大的原因假设是极坏状态的时候，这则显得有些不一样。 但如果机制设计者希望在现实世界产生重要影响，涉及这些高风险环境最终是必要的。

在 Twitter 的案例中，有明确的理由怀疑中心化操控是在笔记删除背后：马斯克在中国有很多商业利益，所以有可能马斯克施压社区笔记团队干预算法输出，删除这条特定笔记。

幸运的是，该算法是开源且可验证的，我们可以真正进行深入调查！让我们这样做。原始推文的 URL 是 https://twitter.com/MFA_China/status/1676157337109946369。最后的数字 1676157337109946369 是推文 ID。我们可以在 可下载数据 中搜索该内容，并识别出电子表格中特定行，包含上述笔记：

在这里我们得到了该笔记的 ID，也就是 1676391378815709184。随后我们在生成的 scored_notes.tsv 和 note_status_history.tsv 文件中搜寻 它 。得到如下结果：

第一张输出第二列是当前评分，第二张输出显示笔记的历史：其当前状态位于第七列（NEEDS_MORE_RATINGS），而其早些时候收到的第一个非 NEEDS_MORE_RATINGS 状态在第五列（CURRENTLY_RATED_HELPFUL）中。因此，我们看到算法自身首次显示了该笔记，随后在其评分略有下降后将其删除 - 显然没有涉及中心化干预。

我们可通过汇总投票以另一种方式查看。我们可以扫描 ratings-00000.tsv 文件，隔离出所有对该笔记的评分，了解是多少人评分为 HELPFUL 以及多少人评分为 NOT_HELPFUL：

但如果你根据时间戳对其进行排序，并查看前50个投票，你会看到40个 HELPFUL 投票和9个 NOT_HELPFUL 投票。因此我们得到了同样的结论：笔记的初始观众对该笔记的看法比后来的观众更肯定，因此其评分随着时间的推移开始较高，随后则逐渐降低。

不幸的是，精确解释笔记状态变更的过程复杂。这不是个简单的事实：“在此评分高于0.40，现在其低于0.40，所以它被删除”。相反，NOT_HELPFUL 的高投票量触发了一个异常值条件，提升了笔记需维持在阈值之上的帮助性评分。

对于另一个教训来说，在营造可信中立算法时，真的要保持其 可信 则需要保持简单。如果一种笔记的接受地位转变为不接受，则应存在于其背后的简单且明确的故事。

当然，这种投票可以被操作的平台有一个完全不同的方式：涌入。某人看到自己反对的笔记，可能会召集一个高度参与的社区（或者更糟，海量虚假账户）进行评分为NOT_HELPFUL，而不需要太多投票就可能将该笔记的地位从“有帮助”变为“极化”。有效防止该算法受此类协调攻击的脆弱性将需要更多的分析和工作。一种可能的改进是，不允许任何用户为任何笔记投票，而是利用“为你”算法推荐的推送内容，随机分配笔记给投票者，并仅允许投票者评价他们被分配到的那些笔记。

社区笔记是否不够“勇敢”？

关于社区笔记我见到的主要批评基本上是它没有做到足够的事情。两篇我见到的最近文章 （链接）都在强调这一点。引用其中一篇：

该项目面临的严重障碍是，为了透出一条社区笔记，它必须被来自各个政治光谱的人们的一致接受。

“它必须具有意识形态共识，”他说。“这意味着左派和右派的人民必须同意，将该笔记附加到该推特上。”

本质上，它需要对于真相“跨意识形态的共识，而在日益偏执的环境中，达到这种共识几乎是不可能的。”

这是一个棘手的问题，但归根结底，我认为放任十条误导性推文比用笔记评判一条推文不公更好。我们已经看到至少勇敢的一些事实核查，且确实来自于“好吧，实际上我们知道真相，并且我们知道有一方撒谎的次数比另一方要多得多”这一观点。而结果则导致了什么？

老实说，对事实核查这一概念有了相当广泛的不信任。这里的一个策略是说：忽略那些仇恨者，牢记事实核查专家确实比任何投票系统更了解事实，并坚守方向。但完全贯彻这一方法似乎是冒险的恶法。建立一种至少有一些得到大家尊重的跨部落机构是有价值的。正如威廉·布莱克斯汤的法则所言，保持这种尊重似乎需要一个犯下更多遗漏而非行为罪的体系。因此在我看来，至少存在一个主要组织走这条替代道路非常有价值，并把其稀有的跨部落尊重当做一种需要珍惜和构建的资源。

我认为社区笔记端正的另一个原因是，我不认为每个误导性推文，甚至大部分误导性推文都应当接收到补救笔记。即便少于百分之一的误导性推文获得提供上下文或更正的笔记，社区笔记依然为教育工具提供了极其有价值的服务。 目标并不是纠正一切；而是提醒人们存在多个视角，某些在孤立状态下看似令人信服且引人入胜的贴文实际上是相当错误的，而且你，没错，你，通常可以通过进行基本的网络搜索来验证其错误性。

社区笔记不能，也不是设计用于成为解决公共认知上所有问题的奇迹药方。不管它未能解决哪些问题，都还有很多安排可供使用，无论是促进如预测 市场的新玩意，还是聘请全职领域专家组织、弥补缺口。

结论

社区笔记除了成为一个令人着迷的社交媒体实验外，还呈现出机制设计这一新兴的迷人类别的实例：这些机制故意尝试识别极化，并偏向有助于跨越分歧而非继续延续这些分歧的东西。

我所知道的分类中的另外两个是 (i) 成对二次资助，该机制正在被Gitcoin Grants使用；以及 (ii) Polis，这是一个利用聚类算法帮助社区识别在不同观点的人们中得到普遍好评的陈述的讨论工具。这个机制设计领域是有价值的，我希望我们能够在这一领域看到更多的学术工作。

社区笔记所提供的算法透明度并不完全属于去中心化社交媒体类型 - 如果你对社区笔记的工作有不同看法，没有方法可以让你用不同的算法查看相同的内容。但这是在接下来的几年内一般大规模应用能达到的最接近状态，我们可以看到它已经提供了很多有价值之处，不仅通过防止中心化操控而确保避免并以确保不涉及这种操控的个平台获得足够的口碑。

我期待着看到社区笔记的未来，也希望在未来十年看到更多体现同样精神的算法的发展和成长。

• 原文链接： vitalik.eth.limo/general...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～