Concrete ML v1.7 版本发布，引入了多项新功能，包括在加密数据上微调 LLM 模型和神经网络，利用 GPU 加速提升加密推理的性能（最高可达 1-2 倍），以及展示了一个通过加密 DNA 预测祖源的 Hugging Face space 示例。此外，该版本还支持 Python 3.11 和 PyTorch 2。
Concrete ML v1.7 引入了几个有趣的新功能。用户现在可以在加密数据上微调 大语言模型和神经网络，从而解锁更多潜在的保护隐私的机器学习用例。Concrete v1.7 还增加了 GPU加速，从而实现更快的性能——对于服务器级 GPU（如 NVIDIA H100）上的大型神经网络，速度提高了 1-2 倍。一个新的 Hugging Face 空间 展示了一个复杂的用例：从加密的 DNA 预测祖源。最后，Concrete ML 现在支持 Python 3.11 和 PyTorch 2。
在加密数据上微调大语言模型
微调大型语言模型是一种强大的技术，可以将模型定制到特定领域和任务。Concrete ML v1.7 使在加密数据上微调 大语言模型和神经网络成为可能。通过使用低秩近似参数高效微调，此功能允许模型在保持数据隐私的同时进行调整。虽然一小组私有微调参数保留在用户端，但涉及大型权重矩阵的计算可以安全地外包给远程服务器。此功能在 微调 GPT2 演示中得到了展示，其中模型了解了全同态加密 (FHE)——一个不在其原始知识库中的主题。
用于加密推理的 GPU 加速
Concrete ML v1.7 通过 GPU 加速 提高了加密推理的性能，尤其是在使用 GPT、ResNet 或 VGG 等大型模型时。通过利用 NVIDIA H100 或 A100 等大型 GPU，用户可以获得显着的加速。例如，在 H100 GPU 上使用 ResNet18 模型进行加密推理比在 192 核 CPU 上快 1.2 倍。对于 CIFAR 上的 VGG 模型，它带来了高达 2 倍的性能提升。与桌面 CPU 相比，H100 GPU 在这两个模型上均实现了 5-10 倍的加速。
要安装启用 GPU 的 Concrete ML 后端，只需运行以下命令：
pip uninstall concrete-python
pip install --extra-index-url https://pypi.zama.ai/gpu concrete-python
加密 DNA 祖源演示
DNA测试平台通常以明文形式分析用户的基因数据，使敏感数据面临暴露的风险。借助 Concrete v1.7，一个新的 Hugging Face 空间 展示了如何在加密数据上执行此分析。该演示侧重于第 22 号染色体，该染色体与追踪人类进化历史和世界各地的迁徙模式特别相关。通过分析该染色体关键位置上称为单核苷酸多态性 (SNP) 的特定标记，该演示使用加密的 DNA 推断祖源，同时确保所有基因数据保持安全和私密。
更多链接
