Concrete ML v1.9：TFHE-rs 兼容性和更快的 LLM 微调

博客

/

公告

Concrete ML

Concrete ML v1.9：TFHE-rs 兼容性和更快的 LLM 微调

2025 年 4 月 10 日

  -

Andrei Stoian

Concrete ML v1.9 引入了对 TFHE-rs 密文格式 的支持，从而可以使用 TFHE-rs 将 Concrete ML 模型无缝集成到基于 Rust 的 FHE 管道中。此版本还为 LoRA LLM 微调协议带来了 性能改进，以及展示其使用的新 example notebooks。

与此同时，Zama 还在推出 Concrete ML Extensions，这是一个新的客户端 SDK，专为构建支持 FHE 的浏览器和移动应用程序而设计。该 SDK 突出了全同态加密的潜力，它可以使移动用户安全地处理其敏感数据，而无需以明文形式公开。

在这篇博文中，我们将深入探讨此版本的主要功能，并探索 Concrete ML 的最新进展带来的可能性。

TFHE-rs 密文格式支持

Concrete ML 现在支持 TFHE-rs radix 密文格式，使加密的 ML 工作流程与 Rust 生态系统兼容。TFHE-rs 使用具有向后兼容性的通用参数集，这意味着今天使用这些参数加密的密文在未来仍然兼容。

通过 Concrete ML v1.9 中的这种新兼容性，你现在可以将这些密文用作 ML 模型的输入和输出。以下代码段展示了如何编译模型以使用 TFHE-rs 密文。

model.compile(x, ciphertext_format=CiphertextFormat.TFHE_RS)
y_pred_tfhers = model.predict(fhe_test_data, fhe="execute")

你还可以将 TFHE-rs 密文与客户端/服务器 API 一起使用。一个新的 use-case 演示了如何在决策树分类器输出的 logits 上使用 TFHE-rs 后处理。请注意，使用 TFHE-rs 密文格式需要在 ML 模型中使用转换层，这可能会引入 4-5 倍的延迟开销。

新的 use-case：用于解决数学问题的微调 LLAMA

Concrete v1.9 带来了一个新的 完全功能的加密微调管道 示例，该管道在 GPU 上运行。example notebook 中，LLAMA 1B 模型使用 LoRA 在数学问题数据集上进行了微调——完全在 FHE 下进行，并在 GPU 上加速。

我们比较了加密训练运行与明文训练运行的模型质量，使用了困惑度评分。通过性能优化，FHE 微调管道现在在桌面 GPU 上实现了高达 64 tokens/秒。

以下是微调如何提高模型的推理能力。

在微调之前，原始 LLAMA 模型为简单的数学问题生成以下输出：

Prompt: When you multiply a number by 7, it becomes 98. What is that number?  # 提示：当你将一个数字乘以 7 时，它变为 98。那个数字是多少？
Response: If you multiply a number by 7, it becomes 98. So, the number you're asking about is 98. # 响应：如果将一个数字乘以 7，它变为 98。所以，你要求的数字是 98。

微调后，模型正确地解决了问题：

Prompt: When you multiply a number by 7, it becomes 98. What is that number? # 提示：当你将一个数字乘以 7 时，它变为 98。那个数字是多少？
Response: To find the number, you need to divide 98 by 7. 98 ÷ 7 = 14 # 响应：要找到这个数字，你需要将 98 除以 7。98 ÷ 7 = 14

在 50 个桌面 GPU 上对完整数据集进行训练需要 28 小时。

移动客户端 SDK：Concrete ML Extensions

如今，手机存储着数十亿人的敏感信息，这使得隐私和安全比以往任何时候都更加重要。与此同时，人工智能的兴起表明，个人数据如何解锁强大的服务——从医疗保健见解和基因分析，到个性化推荐和定向广告。这是一把双刃剑：可以使我们受益的相同数据也会使我们的隐私面临风险。通过将 FHE 集成到移动应用中，我们可以在确保用户数据完全私密和安全的同时，启用个性化功能。

Concrete ML v1.9 引入了 Concrete ML Extensions，这是一个新的 SDK，专为构建支持 FHE 的客户端应用而设计。开发人员可以将此 SDK 编译为 Swift，使 iOS 应用程序能够在本地执行加密、解密和密钥生成。

step-by-step tutorial 可指导你完成编译 Swift 库并将其集成到 iOS 应用中的过程。在接下来的几周内，我们还将发布一系列演示 iOS 应用程序——敬请关注！

附加链接

• Star Zama's Concrete ML GitHub repository 以支持我们的工作。
• 查看 Concrete ML documentation。
• 在我们的 community channels 上获得支持。
• 参与 Zama Bounty Program 以获得现金奖励！

阅读更多相关帖子

未找到任何项目。

库

Concrete ↗ Concrete ML ↗ FHEVM ↗ TFHE-rs ↗

产品与服务

Privacy-preserving Machine learning Confidential blockchain Threshold key management SYSTEM

开发者

博客 文档 ↗ ‍ GITHUB ↗ FHE resources ↗ Research papers ↗ Bounty Program ↗ FHE STATE OS

公司

关于 introduction to fhe 活动 媒体 Careers ↗ 法律

联系方式

Talk to an expert 联系我们 X Discord Telegram 所有社区频道

在电子时代，隐私对于一个开放的社会是必要的。隐私不是秘密。隐私是指一个人不希望全世界都知道的事情，而秘密是指一个人不希望任何人知道的事情。隐私是有选择地向世界展示自己的力量。如果双方有某种交易，那么每一方都有他们互动的记忆。每一方都可以谈论他们自己对这件事的记忆；谁能阻止它呢？可以立法禁止它，但言论自由甚至比隐私更是一个开放社会的基础；我们不寻求限制任何言论。如果许多各方在同一个论坛中一起发言，每个人都可以向所有其他人发言，并将关于个人和其他各方的知识汇总在一起。电子通信的力量使这种群体言论成为可能，它不会仅仅因为我们可能希望它消失而消失。既然我们渴望隐私，我们必须确保交易的每一方只知道该交易直接需要的知识。由于任何信息都可以被谈论，我们必须确保我们尽可能少地透露信息。在大多数情况下，个人身份并不重要。当我在商店购买杂志并把现金交给店员时，没有必要知道我是谁。当我要求我的电子邮件提供商发送和接收消息时，我的提供商不需要知道我在和谁说话，我在说什么，或者别人在对我说什么；我的提供商只需要知道如何把消息送到那里，以及我欠他们多少费用。当我的身份被交易的底层机制泄露时，我就没有隐私了。我不能在这里有选择地展示自己；我必须总是展示自己。因此，一个开放的社会中的隐私需要匿名交易系统。到目前为止，现金一直是主要的这种系统。匿名交易系统不是秘密交易系统。匿名系统使个人能够在需要时以及仅在需要时展示他们的身份；这是隐私的本质。一个开放的社会中的隐私也需要密码学。如果我说一件事，我希望只有我打算让它听到的人才能听到。如果我的言论内容对全世界开放，我就没有隐私。加密是为了表明对隐私的渴望，而用弱密码学加密是为了表明不太渴望隐私。此外，在默认是匿名的情况下，有保证地展示自己的身份需要密码签名。我们不能期望政府、公司或其他大型的、没有面孔的组织出于它们的恩惠而给予我们隐私。谈论我们对它们有利，我们应该期望它们会谈论。试图阻止它们的言论是与信息现实作斗争。信息不仅仅是想自由，它渴望自由。信息扩展到填满可用的存储空间。信息是谣言的年轻而强大的表亲；信息比谣言的脚步更快，眼睛更多，知道的更多，但理解得更少。如果我们希望拥有任何隐私，我们必须捍卫我们自己的隐私。我们必须走到一起，创建允许进行匿名交易的系统。几个世纪以来，人们一直用低语、黑暗、信封、关着的门、秘密握手和信使来捍卫自己的隐私。过去的技术不允许强大的隐私，但电子技术可以。我们，密码朋克，致力于构建匿名系统。我们正在用密码学、匿名邮件转发系统、数字签名和电子货币来捍卫我们的隐私。密码朋克编写代码。我们知道必须有人编写软件来捍卫隐私，而且由于除非我们都这样做，否则我们无法获得隐私，所以我们将编写它。我们发布我们的代码，以便我们的密码朋克同伴可以练习和使用它。我们的代码供全世界所有人免费使用。我们不太关心你是否不同意我们编写的软件。我们知道软件无法被销毁，并且一个广泛分散的系统无法被关闭。密码朋克谴责对密码学的监管，因为加密本质上是一种私人行为。事实上，加密行为将信息从公共领域移除。即使是反对密码学的法律，其触角也只能到达一个国家的边界和它的暴力范围。密码学将不可避免地传播到整个地球，以及它所实现的匿名交易系统。为了使隐私得到广泛传播，它必须成为社会契约的一部分。人们必须走到一起，为了共同利益而部署这些系统。隐私的范围只延伸到社会中同伴的合作。我们，密码朋克，征求你的问题和你的担忧，并希望我们可以与你沟通，以便我们不会欺骗自己。但是，我们不会因为某些人可能不同意我们的目标而改变我们的方针。密码朋克正在积极参与使网络更安全，以保护隐私。让我们一起快速前进。前进。埃里克·休斯著。1993年3月9日。

• 原文链接： zama.ai/post/concrete-ml...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～