OpenAI寻觅英伟达推理芯片替代方案，担忧响应速度

八位消息人士称，自2025年起，OpenAI因对英伟达AI芯片在推理任务中的延迟表现不满，已开始寻求替代方案，此举或动摇英伟达在AI硬件市场的主导地位。问题集中在代码辅助等特定工作负载上，此类场景对响应速度要求极高。

OpenAI正评估采用片上集成高密度SRAM内存的芯片（如Cerebras和Groq产品）以加速推理——该环节对内存带宽的需求高于模型训练。尽管英伟达仍是其主要推理芯片供应商，OpenAI计划将未来约10%的推理算力转向替代方案。此前与Groq的谈判因英伟达签署200亿美元非独家授权协议并挖走其核心工程师而搁浅；与此同时，OpenAI已与Cerebras达成商业合作。英伟达则强调其芯片在大规模部署中仍具性能与成本优势。