輝達推論新晶片傳3月GTC 亮相、還拉Gr...

輝達傳出將推出鎖定AI「推論」需求的新晶片與運算平台，目標是讓OpenAI等大客戶在模型上線後的回應速度更快、耗能更低、成本更好控。市場認為，這代表輝達正把重心從訓練延伸到推論端，準備搶下下一波算力需求。

我是廣告請繼續往下閱讀根據華爾街日報，消息人士指出，輝達新的推論運算系統把新創Groq的晶片納入平台架構，預計在3月的GTC開發者大會秀出。

同時傳出OpenAI將成為這款新晶片的重要客戶，外界解讀，這對輝達是關鍵進展，因為OpenAI近期在找更有效率的替代方案，1月也才與推論晶片見長的Cerebras簽下算力合作案。

近一年企業加速導入AI代理等工具，推論需求快速升溫，也讓競爭更激烈；Google、亞馬遜等業者都已投入自研推論晶片，試圖在效能與成本上與輝達系統抗衡。

OpenAI 27日宣布獲得輝達300億美元投資，並將向輝達大規模採購「推論專用算力」，市場因此推測輝達推論處理器已進入更明確的商業化階段。

雖然輝達執行長黃仁勳多次強調GPU同時兼顧訓練與推論，但不少AI應用端公司認為GPU在部分推論場景成本偏高、耗能偏大，甚至不一定最適合。部分大型客戶也發現，某些AI代理工作改用CPU反而更有效率，讓輝達面臨推出更省成本推論方案的壓力。

據了解，輝達與Groq的合作，建立在去年底一項交易安排：輝達同意以200億美元取得Groq關鍵技術授權，並延攬Groq高層團隊。Groq以「語言處理單元」架構設計晶片，主打推論效率，若與輝達平台整合，推論市場的競爭格局可能出現變化。