新 闻 → 科教                                             

谷歌TPU跑Kimi:比英伟达GPU快57%
量子位 | 2026-09-26  

声明: 本消息或因风格和篇幅原因进行过编辑,但未经核实,也不代表我们的立场、观点或建议。如有侵权,联系秒删。[ 使用条款 ]
赞助信息

16块谷歌TPU v7跑Kimi K3,每秒跑出了709个Token,比老黄的GB200快了57%。

做出这个成绩的,既不是造Kimi的月之暗面,也不是造TPU的谷歌,是一家叫Inferact的推理创业公司。

点击图片看原样大小图片点
击
图
片
看
原
图

Inferact创始团队就是vLLM的原班人马,今年拿了a16z领投的1.5亿美元种子轮,估值8亿美元。

他们给TPU写了一种叫megakernel的推理内核,把模型推理时原本要调度的几百个小程序焊成一个大程序。

点击图片看原样大小图片点
击
图
片
看
原
图

配合TPU独特的片上内存架构,megakernel把内存带宽利用率逼到了硬件理论峰值附近。

您的观点至关重要

点击朱笔,直抒胸臆

By Google

    © 2026    八阕之地™ by Towards Digital Group关于我们 | 反馈意见 | 业务合作 | 八阕书局 | 隐私政策 | 使用条款  
谷歌TPU跑Kimi:比英伟达GPU快57%