Cohere 发布长文介绍 North Mini Code 背后的 megakernel serving 方案：把整个推理步骤融合进常驻 GPU kernel，减少 launch 开销与显存搬运，报告在 H100 上实现 1.58 倍的 LLM serving 提速（厂商自测）。文章覆盖 kernel 设计的取舍以及它与 serving 栈的组合方式。
Cohere 公开 North Mini Code 的 megakernel serving 引擎细节
2026-09-08已核实动态WATCH
Cohere 发布长文介绍 North Mini Code 背后的 megakernel serving 方案：把整个推理步骤融合进常驻 GPU kernel，减少 launch 开销与显存搬运，报告在 H100 上实现 1.58 倍的 LLM serving 提速（厂商自测）。文章覆盖 kernel 设计的取舍以及它与 serving 栈的组合方式。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
常驻 kernel / megakernel serving 已不再是单一团队的专利——DeepSeek 的 FlashMLA 谱系、学术界的 megakernel 工作，加上 Cohere 的生产部署，说明这是多厂商共同推进的工程方向。对 serving 团队，这篇文章是「步骤级融合到底能换来什么」的具体参考。
证据与关联材料
技术细节与六维评分
| 方案 | North Mini Code 的 megakernel / 常驻 kernel serving 引擎 |
|---|---|
| 声明 | H100 上 LLM serving 提速 1.58 倍（厂商自测） |
| 背景 | 与 DeepSeek FlashMLA 谱系及学术界 megakernel 工作同向 |
技术影响 3
工程价值 3
采用信号 2
成熟度 3
验证成本 3
风险 2