amitiitbhu 的文章 - 登链社区

TA的文章 TA购买的 TA喜欢的 TA收藏的

深度解析 DeepSeek-V4：百万级长文本的低成本突破

DeepSeek-V4 是新一代开源混合专家（MoE）模型，核心突破在于实现了极低成本的百万级长文本处理。

混合专家模型混合压缩注意力流形约束超连接 Muon 优化器策略内蒸馏量化感知训练

发布于 2026-04-24 21:47 阅读(250) 点赞(0) ( 2 )

Transformer架构深度解析

本文详细解析了 Transformer 架构的核心组件及其工作原理，涵盖了从分词嵌入、位置编码到多头注意力机制、前馈网络及残差连接的完整流程。文章还对比了编码器与解码器的功能差异，并探讨了该架构为何能成为现代大语言模型基石的原因。

Transformer 注意力机制编码器解码器位置编码多头注意力

发布于 2026-04-08 08:19 阅读(319) 点赞(0) ( 32 )

AI Harness Engineering 控制工程

文章详细介绍了 AI 中的 Harness Engineering（控制层工程），解释了它是如何通过封装模型、管理输入输出及工具调用，使大语言模型（LLM）具备实际生产力的。内容涵盖了其核心组件、在 AI 智能体与评估系统中的应用，以及构建稳健 AI 系统所需的最佳实践。

Harness Engineering AI 智能体大语言模型提示词管理工具编排模型评估

发布于 2026-04-03 06:32 阅读(422) 点赞(0) ( 24 )

Paged Attention：大模型推理显存优化的核心方案

本文介绍了 Paged Attention 技术，它通过借鉴操作系统中的分页机制，解决了大语言模型推理过程中 KV Cache 导致的内存浪费问题。文章详细阐述了传统连续内存分配的缺陷，并解析了 Paged Attention 如何通过固定大小的内存块和块表实现动态、非连续的内存管理，从而提升系统并发处理能力。

Paged Attention KV Cache 内存管理大语言模型推理优化块表

发布于 2026-03-28 10:14 阅读(170) 点赞(0) ( 7 )