#推理系统

2026

1. 10月23日专栏 · LLM 底层机制与 Agent 工程

   LLM Function Calling 底层机制：从对话模板、有限状态机约束解码到工具循环

   拆解 Function Calling 在词表与 Logits 层的真实执行过程：特殊 Token 协议、JSON Schema 到正则表达式与确定性有限自动机（DFA）的编译、预计算 Token 掩码以及并行工具调用的异常恢复。

   #Agent#大模型#推理系统2,076 字
2. 10月23日专栏 · LLM 底层机制与 Agent 工程

   LLM 推理底层：KV Cache 显存几何、GQA/MLA 压缩与 PagedAttention 调度

   从自回归解码的算术强度瓶颈出发，推导 MHA、GQA 与 DeepSeek MLA 的 KV Cache 显存占用与 Roofline 带宽界，解析 PagedAttention 块表寻址、Prefix Caching 与抢占调度机制。

   #大模型#推理系统2,229 字