Concrete ML v1.9：TFHE-rs 兼容性与更快的 LLM 微调

ZamaFHE
发布于 2025-04-11 11:22
阅读 18

Zama发布 Concrete ML v1.9 版本，该版本支持 TFHE-rs 密文格式，支持开发者使用 Rust 生态系统进行加密机器学习工作流程，能够将 Concrete ML 模型无缝集成到基于 Rust 的 FHE 管道中。同时，LoRA LLM 微调协议也得到了性能上的改进，并推出了新的 SDK，旨在构建支持 FHE 的浏览器和移动应用程序，使移动用户能够安全地处理敏感数据。

[![](https://img.learnblockchain.cn/2025/04/23/646eaa9b9a4784ac233a2025_zama20logo20black.png)](https://www.zama.ai/)

[博客](https://www.zama.ai/blog)

[公告](https://www.zama.ai/category/announcements)

[Concrete ML](https://www.zama.ai/category/concrete-ml)

## Concrete ML v1.9：TFHE-rs 兼容性和更快的 LLM 微调

2025年4月10日

Andrei Stoian

* * *

Concrete ML v1.9 引入了对 **TFHE-rs 密文格式**的支持，使得 Concrete ML 模型能够使用 [TFHE-rs](https://github.com/zama-ai/tfhe-rs) 无缝集成到基于 Rust 的 FHE 管道中。此版本还为 LoRA LLM 微调协议带来了**性能改进**，以及新的[示例笔记本](https://github.com/zama-ai/concrete-ml/blob/main/use_case_examples/lora_finetuning/MathEvalLoraLLama.ipynb)，演示了其用法。

与此同时，Zama 还推出了 [Concrete ML Extensions](https://github.com/zama-ai/concrete-ml-extensions)，这是一个新的客户端 SDK，专为构建支持 FHE 的浏览器和移动应用程序而设计。该 SDK 突出了全同态加密的潜力，使移动用户能够安全地处理他们的敏感数据——而无需以明文形式暴露它。

在这篇博文中，我们将深入探讨此版本的主要功能，并探索 Concrete ML 最新进展带来的可能性。

#### TFHE-rs 密文格式支持

Concrete ML 现在支持 **TFHE-rs 基数密文格式**，使加密的 ML 工作流程与 Rust 生态系统兼容。TFHE-rs 使用具有向后兼容性的通用参数集，这意味着今天使用这些参数加密的密文在未来仍然兼容。

通过 Concrete ML v1.9 中的这种新兼容性，你现在可以使用这些密文作为 ML 模型的输入和输出。以下代码段显示了如何编译模型以使用 TFHE-rs 密文。

``` python
model.compile(x, ciphertext_format=CiphertextFormat.TFHE_RS)
y_pred_tfhers = model.predict(fhe_test_data, fhe="execute")
```

你还可以将 TFHE-rs 密文与客户端/服务器 API 一起使用。一个新的[用例](https://github.com/zama-ai/concrete-ml/blob/main/use_case_examples/tfhers_interoperability/AuthenticationWithDecisionTree.ipynb)演示了如何在决策树分类器输出的 logits 上使用 TFHE-rs 后处理。请注意，使用 TFHE-rs 密文格式需要在 ML 模型中添加一个转换层，这可能会引入 4-5 倍的延迟开销。

#### 新用例：用于数学问题求解的微调 LLAMA

Concrete v1.9 带来了一个新的示例，即在 GPU 上**完全功能化的加密微调管道**。在[示例笔记本](https://github.com/zama-ai/concrete-ml/blob/main/use_case_examples/lora_finetuning/MathEvalLoraLLama.ipynb)中，LLAMA 1B 模型使用 LoRA 在数学问题数据集上进行了微调——完全在 FHE 下进行，并在 GPU 上加速。

我们比较了加密与明文训练运行中的困惑度分数来评估模型质量。通过性能优化，FHE 微调管道现在在桌面 GPU 上实现了高达 **64 个 tokens/秒** 的速度。

以下是微调如何提高模型的推理能力。

在微调之前，原始 LLAMA 模型为简单的数学问题产生以下输出：

``` python
Prompt: When you multiply a number by 7, it becomes 98. What is that number?
// 提示：当你把一个数乘以 7，它变成 98。那个数字是多少？
Response: If you multiply a number by 7, it becomes 98. So, the number you're asking about is 98.
// 响应：如果你把一个数乘以 7，它变成 98。所以，你问的那个数字是 98。
```

微调后，模型正确地解决了问题：

``` python
Prompt: When you multiply a number by 7, it becomes 98. What is that number?
// 提示：当你把一个数乘以 7，它变成 98。那个数字是多少？
Response: To find the number, you need to divide 98 by 7. 98 ÷ 7 = 14
// 响应：要找到这个数字，你需要用 98 除以 7。98 ÷ 7 = 14
```

在 50 个桌面 GPU 上训练完整数据集需要 28 小时。

#### 移动客户端 SDK：Concrete ML Extensions

如今，手机存储着数十亿人的敏感信息，这使得隐私和安全比以往任何时候都更加重要。与此同时，人工智能的兴起表明了个人数据如何解锁强大的服务——从医疗保健见解和基因分析到个性化推荐和定向广告。这是一把双刃剑：可以使我们受益的相同数据也使我们的隐私面临风险。通过将 FHE 集成到移动应用程序中，我们可以在保证用户数据完全私密和安全的同时，启用个性化功能。

Concrete ML v1.9 推出了 [Concrete ML Extensions](https://github.com/zama-ai/concrete-ml-extensions)，这是一个新的 SDK，专为构建支持 FHE 的客户端应用程序而设计。开发人员可以将此 SDK 编译为 Swift，从而使 iOS 应用程序能够以原生方式执行加密、解密和密钥生成。

[分步教程](https://github.com/zama-ai/concrete-ml-extensions#from-source-for-ios)可指导你完成编译 Swift 库并将其集成到 iOS 应用程序中的过程。在接下来的几周内，我们还将发布一系列演示 iOS 应用程序——敬请关注！

#### 更多链接

- 为 [Zama 的 Concrete ML GitHub 存储库](http://github.com/zama-ai/concrete-ml) 加星标，以支持我们的工作。
- 查看 [Concrete ML 文档](https://docs.zama.ai/concrete-ml)。
- 在我们的[社区频道](https://zama.ai/community)上获得支持。
- 参与 [Zama Bounty Program](https://github.com/zama-ai/bounty-program) 以获得现金奖励！

### 阅读更多相关帖子

未找到项目。

###### 库

[Concrete **↗**](https://github.com/zama-ai/concrete) [Concrete ML **↗**](https://github.com/zama-ai/concrete-ml) [FHEVM **↗**](https://github.com/zama-ai/fhevm) [TFHE-rs **↗**](https://github.com/zama-ai/tfhe-rs)

###### 产品与服务

[隐私保护机器学习](https://www.zama.ai/products-and-services/privacy-preserving-machine-learning-using-fully-homomorphic-encryption) [保密区块链](https://www.zama.ai/products-and-services/fhevm) [阈值密钥管理系统](https://www.zama.ai/products-and-services/fhe-threshold-key-management-system)

###### 开发者

[博客](https://www.zama.ai/blog) [文档 **↗** ‍](https://docs.zama.ai/) [GITHUB **↗**](https://github.com/zama-ai) [FHE 资源 **↗**](http://github.com/zama-ai/awesome-zama) [研究论文 **↗**](https://github.com/zama-ai/awesome-zama?tab=readme-ov-file#research-papers-and-publications) [赏金计划 **↗**](https://github.com/zama-ai/bounty-program) [FHE 状态操作系统](https://www.zama.ai/fhe-state-operating-system)

###### 公司

[关于](https://www.zama.ai/about) [全同态加密介绍](https://www.zama.ai/introduction-to-homomorphic-encryption) [活动](https://www.zama.ai/events) [媒体](https://www.zama.ai/press-and-media) [职业 **↗**](https://jobs.zama.ai/) [法律](https://www.zama.ai/legal)

###### 联系方式

[与专家交谈](https://www.zama.ai/contact) [联系我们](https://www.zama.ai/contact) [X](https://x.com/zama_fhe) [Discord](https://discord.gg/zama) [Telegram](http://t.me/zama_on_telegram) [所有社区渠道](https://www.zama.ai/community-channels)

在电子时代，隐私是开放社会所必需的。隐私不是秘密。私事是不想让全世界知道的事情，而秘密是不想让任何人知道的事情。隐私是有选择地向世界展示自己的能力。如果双方有某种交易，那么每一方都有他们互动的记忆。每一方都可以谈论他们自己对这件事的记忆； 谁能阻止它呢？ 可以通过法律来禁止它，但是言论自由，甚至比隐私更重要，是开放社会的基础。我们不寻求限制任何言论。如果许多人在同一个论坛上一起发言，每个人都可以向所有其他人发言，并将关于个人和其他各方的知识汇总在一起。电子通信的力量使这种群体言论成为可能，它不会仅仅因为我们可能想要它而消失。既然我们渴望隐私，我们必须确保交易的每一方只知道该交易直接需要的知识。由于任何信息都可以被谈论，我们必须确保我们尽可能少地透露信息。在大多数情况下，个人身份并不重要。当我在商店购买杂志并向店员支付现金时，没有必要知道我是谁。当我要求我的电子邮件提供商发送和接收消息时，我的提供商不需要知道我在与谁交谈或我说什么，或其他人对我说什么。我的提供商只需要知道如何将消息发送到那里以及我欠他们多少费用。当我的身份通过交易的底层机制揭示时，我就没有隐私。我不能在这里有选择地展示自己； 我必须始终展示自己。因此，开放社会中的隐私需要匿名交易系统。到目前为止，现金一直是主要的此类系统。匿名交易系统不是秘密交易系统。匿名系统使个人能够在需要时以及仅在需要时透露自己的身份。这是隐私的本质。开放社会中的隐私还需要密码学。如果我说些什么，我希望只有我打算让其听到的人才能听到。如果我的演讲内容可以被全世界听到，我就没有隐私。加密就是表明对隐私的渴望，而用弱密码学加密就是表明对隐私的渴望程度不高。 此外，当默认设置为匿名时，若要放心地披露自己的身份，则需要密码签名。我们不能期望政府、公司或其他大型的、没有面孔的组织出于它们的恩惠而给予我们隐私。谈论我们对它们有利，我们应该期望它们会谈论。试图阻止它们的言论是与信息的现实作斗争。信息不仅仅是想要自由，它渴望自由。信息会扩展以填满可用的存储空间。信息是谣言的弟弟，它更强大； 信息的脚步更快，眼睛更多，知道的更多，但理解的却比谣言少。如果我们希望拥有任何隐私，我们必须捍卫我们自己的隐私。我们必须团结起来并创建允许进行匿名交易的系统。几个世纪以来，人们一直通过耳语、黑暗、信封、紧闭的门、秘密握手和信使来捍卫自己的隐私。 过去的技术不允许强大的隐私，但是电子技术可以。我们密码朋克致力于构建匿名系统。我们正在使用密码学、匿名邮件转发系统、数字签名和电子货币来捍卫我们的隐私。密码朋克编写代码。 我们知道必须有人编写软件来捍卫隐私，并且由于除非我们所有人都这样做，否则我们无法获得隐私，因此我们将编写它。我们发布我们的代码，以便我们的密码朋克同伴可以练习和玩它。我们的代码可供全世界所有人免费使用。如果你不赞成我们编写的软件，我们并不太在意。 我们知道软件无法被销毁，并且无法关闭广泛分布的系统。密码朋克谴责对密码学的法规，因为加密从根本上说是一种私人行为。 事实上，加密行为将信息从公共领域中移除。 甚至反对密码学的法律也只能达到一个国家的边界及其暴力的手臂。 密码学将不可避免地蔓延到全球，以及它使之成为可能的匿名交易系统。为了使隐私得到广泛传播，它必须成为社会契约的一部分。人们必须走到一起并部署这些系统以造福大众。隐私的延伸范围仅限于社会中同伴的合作。我们密码朋克寻求你的问题和疑虑，并希望我们可以吸引你，以免我们欺骗自己。 但是，我们不会因为有人不同意我们的目标而改变我们的路线。密码朋克正在积极致力于使网络对隐私更加安全。 让我们齐头并进。前进。 埃里克·休斯。 1993 年 3 月 9 日。

>- 原文链接： [zama.ai/post/concrete-ml...](https://www.zama.ai/post/concrete-ml-v1-9)
>- 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～

博客

公告

Concrete ML

Concrete ML v1.9：TFHE-rs 兼容性和更快的 LLM 微调

2025年4月10日

Andrei Stoian

Concrete ML v1.9 引入了对 TFHE-rs 密文格式的支持，使得 Concrete ML 模型能够使用 TFHE-rs 无缝集成到基于 Rust 的 FHE 管道中。此版本还为 LoRA LLM 微调协议带来了性能改进，以及新的示例笔记本，演示了其用法。

与此同时，Zama 还推出了 Concrete ML Extensions，这是一个新的客户端 SDK，专为构建支持 FHE 的浏览器和移动应用程序而设计。该 SDK 突出了全同态加密的潜力，使移动用户能够安全地处理他们的敏感数据——而无需以明文形式暴露它。

在这篇博文中，我们将深入探讨此版本的主要功能，并探索 Concrete ML 最新进展带来的可能性。

TFHE-rs 密文格式支持

Concrete ML 现在支持 TFHE-rs 基数密文格式，使加密的 ML 工作流程与 Rust 生态系统兼容。TFHE-rs 使用具有向后兼容性的通用参数集，这意味着今天使用这些参数加密的密文在未来仍然兼容。

通过 Concrete ML v1.9 中的这种新兼容性，你现在可以使用这些密文作为 ML 模型的输入和输出。以下代码段显示了如何编译模型以使用 TFHE-rs 密文。

model.compile(x, ciphertext_format=CiphertextFormat.TFHE_RS)
y_pred_tfhers = model.predict(fhe_test_data, fhe="execute")

你还可以将 TFHE-rs 密文与客户端/服务器 API 一起使用。一个新的用例演示了如何在决策树分类器输出的 logits 上使用 TFHE-rs 后处理。请注意，使用 TFHE-rs 密文格式需要在 ML 模型中添加一个转换层，这可能会引入 4-5 倍的延迟开销。

新用例：用于数学问题求解的微调 LLAMA

Concrete v1.9 带来了一个新的示例，即在 GPU 上完全功能化的加密微调管道。在示例笔记本中，LLAMA 1B 模型使用 LoRA 在数学问题数据集上进行了微调——完全在 FHE 下进行，并在 GPU 上加速。

我们比较了加密与明文训练运行中的困惑度分数来评估模型质量。通过性能优化，FHE 微调管道现在在桌面 GPU 上实现了高达 64 个 tokens/秒 的速度。

以下是微调如何提高模型的推理能力。

在微调之前，原始 LLAMA 模型为简单的数学问题产生以下输出：

Prompt: When you multiply a number by 7, it becomes 98. What is that number?
// 提示：当你把一个数乘以 7，它变成 98。那个数字是多少？
Response: If you multiply a number by 7, it becomes 98. So, the number you're asking about is 98.
// 响应：如果你把一个数乘以 7，它变成 98。所以，你问的那个数字是 98。

微调后，模型正确地解决了问题：

Prompt: When you multiply a number by 7, it becomes 98. What is that number?
// 提示：当你把一个数乘以 7，它变成 98。那个数字是多少？
Response: To find the number, you need to divide 98 by 7. 98 ÷ 7 = 14
// 响应：要找到这个数字，你需要用 98 除以 7。98 ÷ 7 = 14

在 50 个桌面 GPU 上训练完整数据集需要 28 小时。

移动客户端 SDK：Concrete ML Extensions

Concrete ML v1.9 推出了 Concrete ML Extensions，这是一个新的 SDK，专为构建支持 FHE 的客户端应用程序而设计。开发人员可以将此 SDK 编译为 Swift，从而使 iOS 应用程序能够以原生方式执行加密、解密和密钥生成。

分步教程可指导你完成编译 Swift 库并将其集成到 iOS 应用程序中的过程。在接下来的几周内，我们还将发布一系列演示 iOS 应用程序——敬请关注！

阅读更多相关帖子

未找到项目。

在电子时代，隐私是开放社会所必需的。隐私不是秘密。私事是不想让全世界知道的事情，而秘密是不想让任何人知道的事情。隐私是有选择地向世界展示自己的能力。如果双方有某种交易，那么每一方都有他们互动的记忆。每一方都可以谈论他们自己对这件事的记忆；谁能阻止它呢？可以通过法律来禁止它，但是言论自由，甚至比隐私更重要，是开放社会的基础。我们不寻求限制任何言论。如果许多人在同一个论坛上一起发言，每个人都可以向所有其他人发言，并将关于个人和其他各方的知识汇总在一起。电子通信的力量使这种群体言论成为可能，它不会仅仅因为我们可能想要它而消失。既然我们渴望隐私，我们必须确保交易的每一方只知道该交易直接需要的知识。由于任何信息都可以被谈论，我们必须确保我们尽可能少地透露信息。在大多数情况下，个人身份并不重要。当我在商店购买杂志并向店员支付现金时，没有必要知道我是谁。当我要求我的电子邮件提供商发送和接收消息时，我的提供商不需要知道我在与谁交谈或我说什么，或其他人对我说什么。我的提供商只需要知道如何将消息发送到那里以及我欠他们多少费用。当我的身份通过交易的底层机制揭示时，我就没有隐私。我不能在这里有选择地展示自己；我必须始终展示自己。因此，开放社会中的隐私需要匿名交易系统。到目前为止，现金一直是主要的此类系统。匿名交易系统不是秘密交易系统。匿名系统使个人能够在需要时以及仅在需要时透露自己的身份。这是隐私的本质。开放社会中的隐私还需要密码学。如果我说些什么，我希望只有我打算让其听到的人才能听到。如果我的演讲内容可以被全世界听到，我就没有隐私。加密就是表明对隐私的渴望，而用弱密码学加密就是表明对隐私的渴望程度不高。此外，当默认设置为匿名时，若要放心地披露自己的身份，则需要密码签名。我们不能期望政府、公司或其他大型的、没有面孔的组织出于它们的恩惠而给予我们隐私。谈论我们对它们有利，我们应该期望它们会谈论。试图阻止它们的言论是与信息的现实作斗争。信息不仅仅是想要自由，它渴望自由。信息会扩展以填满可用的存储空间。信息是谣言的弟弟，它更强大；信息的脚步更快，眼睛更多，知道的更多，但理解的却比谣言少。如果我们希望拥有任何隐私，我们必须捍卫我们自己的隐私。我们必须团结起来并创建允许进行匿名交易的系统。几个世纪以来，人们一直通过耳语、黑暗、信封、紧闭的门、秘密握手和信使来捍卫自己的隐私。过去的技术不允许强大的隐私，但是电子技术可以。我们密码朋克致力于构建匿名系统。我们正在使用密码学、匿名邮件转发系统、数字签名和电子货币来捍卫我们的隐私。密码朋克编写代码。我们知道必须有人编写软件来捍卫隐私，并且由于除非我们所有人都这样做，否则我们无法获得隐私，因此我们将编写它。我们发布我们的代码，以便我们的密码朋克同伴可以练习和玩它。我们的代码可供全世界所有人免费使用。如果你不赞成我们编写的软件，我们并不太在意。我们知道软件无法被销毁，并且无法关闭广泛分布的系统。密码朋克谴责对密码学的法规，因为加密从根本上说是一种私人行为。事实上，加密行为将信息从公共领域中移除。甚至反对密码学的法律也只能达到一个国家的边界及其暴力的手臂。密码学将不可避免地蔓延到全球，以及它使之成为可能的匿名交易系统。为了使隐私得到广泛传播，它必须成为社会契约的一部分。人们必须走到一起并部署这些系统以造福大众。隐私的延伸范围仅限于社会中同伴的合作。我们密码朋克寻求你的问题和疑虑，并希望我们可以吸引你，以免我们欺骗自己。但是，我们不会因为有人不同意我们的目标而改变我们的路线。密码朋克正在积极致力于使网络对隐私更加安全。让我们齐头并进。前进。埃里克·休斯。 1993 年 3 月 9 日。