第三方测试称谷歌TPUv7推理性价比超英伟达Blackwell

第三方测试核心结论

半导体研究机构SemiAnalysis主导的第三方测试显示，在同口径对比下谷歌TPUv7 Ironwood的单位美元性能最高领先英伟达Blackwell 50%[S1][S3]。在聚合服务FP8单token预测条件下，TPUv7 Ironwood每美元性能比英伟达B200和B300高出50%[S2]。

低并发高交互场景下，TPUv7 Ironwood每美元产出token数量比B200高50.4%，比B300高96%[S3]。每用户每秒100token交互速度下，TPUv7 Ironwood每百万token推理成本为0.181美元，较B200便宜19%，较B300便宜34%[S3]。高并发场景下按总拥有成本计算，TPUv7 Ironwood相对B200的每美元性能优势达76.7%，相对B300达130.2%[S3]。

不过测试也显示出TPUv7的局限性。在中端延迟场景下，GB300 NVL72解耦服务比TPUv7聚合服务性价比高约30%[S2]。一旦TPUv7分离式服务优化完成，预计在所有性能指标上与GB300 NVL72相媲美[S2]。TPUv7 Ironwood不支持原生FP4计算，谷歌后续将推出面向推理场景专属设计的TPUv8i补上该短板[S3]。

目前第三方测试的具体执行机构、测试模型规格、批量大小、延迟约束等完整方法论未公开，结果可复现性待验证[S1]。

性能优势的技术来源

TPUv7 Ironwood在FP8精度下峰值算力约4.6 PFLOPS，配备192GB HBM3e内存，与英伟达B200参数基本持平[S4]。谷歌凭借ICI互联、光路交换等系统级工程，使大规模TPU集群总拥有成本比英伟达GB200系统低30%-40%[S4]。

TPUv7 pod可通过低延迟ICI架构扩展到1000多个芯片，实现NVIDIA NVL72无法实现的大型模型优化[S2]。谷歌采用3D环面拓扑结构，每个芯片以三维网格形式与其他芯片连接，无需使用价格昂贵且耗电量大的高性能数据包交换机，高负载下延迟表现更优[S8]。

光路交换技术使谷歌能够将TPU模块切割成各种形状和尺寸，更好地适应内部和客户的工作负载[S8]。谷歌内部使用TPUv7的总拥有成本比GB200低44%，外部客户通过谷歌云租赁仍比GB200低30%；9216颗TPU的扩展网络成本仅1709万美元，而同等规模GB300需4230万美元[S10]。

软件生态关键突破

谷歌正推进TPU外部化，其原生PyTorch后端TorchTPU预计2026年10月开源[S1]。TorchTPU允许开发者将TPU用作原生PyTorch设备，由StableHLO、XLA和Pallas内核在后台处理执行[S2]。

TorchTPU使用PyTorch PrivateUse1后端扩展点，在device="tpu"上暴露普通torch.Tensor[S2]。它支持DDP、FSDP2、DTensor、每个设备一个进程以及MPMD和SPMD执行，还可调用Pallas和基于JAX的自定义内核[S2]。多家行业厂商正在合作推动TorchTPU成为vLLM和SGLang的一级支持后端[S3]。

此前制约TPU普及的最大短板是软件栈，开发者需将PyTorch代码迁移到JAX框架，重写成本高昂。TorchTPU开源后，开发者无需跨框架边界重构代码，就能直接用熟悉的分布式接口调用TPU，后续TPU甚至有望进入两大主流推理框架的Day 0支持名单[S3]。TorchTPU开源后的功能完整性、性能损耗率、对主流大模型架构的覆盖范围尚未明确[S1]。

谷歌还推出了vLLM的TPU后端支持，由tpu-inference硬件插件驱动，统一了JAX和PyTorch运行时[S6]。该后端允许开发者将在PyTorch中定义的现有模型无需任何代码修改，就能直接在TPU上进行高性能推理，覆盖Llama、Gemma、Qwen等主流模型[S6]。

TPU外部化进展

谷歌推出TPU@Premises计划，允许客户将TPU部署在自有数据中心，不再强制仅在谷歌云使用[S8]。这标志着谷歌从“云房东”正式转型为“AI芯片军火商”，打破了仅通过云平台提供TPU算力的传统边界[S12]。TPU外部化的具体商务模式、定价体系、交付周期与售后支持体系未披露[S1]。

Anthropic已承诺采购超百万颗TPU，预计到2029年其TPU使用量将超过DeepMind自身[S3]。Anthropic已签署百亿美元订单，计划部署超1GW的TPU集群[S4]。Anthropic百万颗TPU采购的交付时间表、实际部署进度与应用场景细节未公开[S1]。Meta、xAI已启动TPU测试，OpenAI借TPU威胁获得英伟达30%折扣[S10]。

美银预计到2030年AI数据中心TAM达1.2万亿美元，英伟达份额可能从85%降至75%，但绝对收入仍增长[S10]。谷歌2025年TPU出货量预计250万片，2026年或超英伟达GPU出货量[S10]。谷歌TPU供应链产能能否支撑外部化后的大规模客户需求尚未可知[S1]。

谷歌Gemini 3完全在TPU集群上完成训练，在性能上抹平了与OpenAI的差距，证明TPU具备承载前沿大模型的能力[S4]。随着TPU外部化加速，英伟达在AI推理市场的垄断地位正面临实质性挑战[S3]。

行业影响与待验证边界

TPUv7 Ironwood的性价比优势若被更多第三方测试验证，将对英伟达Blackwell系列在AI推理市场的定价权和市场份额构成压力。谷歌全栈协同设计的模式，即芯片、互联网络与编译器深度整合，正在打破单纯堆叠单芯片算力的竞争逻辑[S3]。

TPUv7在训练场景下的性价比表现、与英伟达Blackwell训练版本的对比数据缺失[S1]。中端延迟场景下TPUv7分离式服务优化的完成时间与最终性能提升幅度未明确[S1]。这些因素都将影响TPU外部化的实际推进速度和市场渗透效果。

总体来看，谷歌TPUv7 Ironwood在推理性价比上的突破，叠加软件生态的快速完善和外部化战略的推进，正在重塑AI加速器市场的竞争格局。英伟达凭借CUDA生态和广泛的硬件适配仍占据主导地位，但来自谷歌全栈解决方案的竞争压力正在持续上升。