大型语言模型

这篇文章详细介绍了成为高效AI工程师所需的15个核心概念和实践技巧，涵盖了从提示词工程（如提示链、上下文窗口、系统提示词）到模型输出管理（如RAG、温度、幻觉、Token限制），再到高级应用（如智能体循环、嵌入、函数调用、评估和防护）等关键领域，旨在帮助开发者摆脱“凭感觉”编程，系统性地构建和调试AI产品。

文章深入探讨了AI代理面临的“致命三联征”风险，即私有数据、不可信内容和外部通信结合导致的提示注入攻击。它详细分析了两篇关于LLM安全设计模式和谷歌AI代理安全框架的最新研究论文，并强调了完全防止此类攻击的挑战以及可观察行动和策略实施的重要性。

本文提出一种AI智能合约安全审计新方法：将Solidity语义转化为结构化自然语言，而非直接分析代码。作者认为LLMs擅长处理语言，这种“语义同构”方法能更有效地识别漏洞，早期实验结果也支持了这一观点。

这篇文章介绍了Google Research开发的TurboQuant、QJL和PolarQuant等先进量化算法，旨在通过对大型语言模型和向量搜索引擎进行极端压缩来提高AI效率。这些算法能够显著减少内存占用和加速运行，同时保持模型性能，解决了关键值缓存瓶颈和向量搜索的效率问题。

本文深入浅出地解释了大型语言模型（LLM）的本质：它并非有意识的智能体，而是一个基于海量文本训练的超大号自动补全工具。LLM通过将文本切分为token，利用预测下一个词的核心机制生成内容。训练分三个阶段：预训练从互联网吸收知识，监督微调学习对话格式，RLHF用人类偏好优化输出。其知识存储在数千亿参数中，无法精确追溯。幻觉是模型追求语言流畅性的自然结果，并非故意撒谎。文章还提供了实用使用技巧，如提供丰富上下文、明确输出要求、迭代优化和事实核查。

文章探讨了不受限制的大型语言模型(LLMs)的兴起及其在加密货币领域的滥用。攻击者利用这些模型进行网络钓鱼、恶意代码生成和社会工程攻击。WormGPT、DarkBERT、FraudGPT、GhostGPT和Venice.ai等工具被用于各种恶意活动，包括创建虚假项目、生成钓鱼页面和自动化诈骗活动。文章最后强调了加强检测能力、提高防越狱能力以及建立道德和监管保障措施的重要性。

本文深入探讨了大型语言模型（LLM）在区块链安全领域的应用，提出了一个基于信息确定性和搜索空间性质的四种安全工具分类框架。文章分析了智能合约漏洞挖掘、安全事件根源分析、安全代码清单生成和安全规范代码自动生成等典型案例，强调了不同类型安全产品在结合LLM技术时面临的挑战和机遇。

本文介绍了使用大量参数训练大型语言模型（LLM）时面临的计算密集和通信量大的问题，并重点介绍了Nous Research提出的DeMo方法，该方法通过减少通信成本，降低训练成本，并允许使用较差的连接和较低成本的硬件进行训练。DeMo 算法基于梯度的高度可压缩性，通过离散余弦变换(DCT)提取动量中的快速分量，从而显著降低了数据传输量，同时保持了模型的收敛性。

文章探讨了AI应用中小型语言模型（SLM）相比大型语言模型（LLM）的优势和权衡，并提出了一种分层AI架构，即用SLM处理日常任务，LLM处理复杂推理。文章还介绍了大型模型生态系统中的一些开源项目。

文章探讨了AI模型思维从“推理式思考”（侧重内部推理解答问题）到“智能体式思考”（强调与环境交互、行动并根据反馈持续更新计划）的演变。它分析了整合推理与指令模式的挑战，并指出智能体式思考是未来的发展方向，这需要更强的基础设施和环境设计。

Zellic获得了DARPA颁发的100万美元，用于开发一种自动化漏洞研究系统（AVRS），该系统利用大型语言模型（LLM）创建能够自主发现和修复安全漏洞的AI系统。文章概述了AVRS的设计原则，包括自主性、准确性、可扩展性和可扩展性，并探讨了如何通过合理的任务优先级策略和LMM的结合来模拟人类研究者的工作过程。

本文介绍了Meta的Llama 3大型语言模型，强调了其开放性和广泛应用潜力，并讨论了其在网络安全领域的影响。文章还提供了在本地运行Llama 3以及与Python和OpenAI集成的示例。