Cohere 公开 North Mini Code 的 megakernel serving 引擎细节

Cohere 发布长文介绍 North Mini Code 背后的 megakernel serving 方案：把整个推理步骤融合进常驻 GPU kernel，减少 launch 开销与显存搬运，报告在 H100 上实现 1.58 倍的 LLM serving 提速（厂商自测）。文章覆盖 kernel 设计的取舍以及它与 serving 栈的组合方式。

常驻 kernel / megakernel serving 已不再是单一团队的专利——DeepSeek 的 FlashMLA 谱系、学术界的 megakernel 工作，加上 Cohere 的生产部署，说明这是多厂商共同推进的工程方向。对 serving 团队，这篇文章是「步骤级融合到底能换来什么」的具体参考。

方案	North Mini Code 的 megakernel / 常驻 kernel serving 引擎
声明	H100 上 LLM serving 提速 1.58 倍（厂商自测）
背景	与 DeepSeek FlashMLA 谱系及学术界 megakernel 工作同向