近日，硅谷初創(chuàng)企業(yè)Groq推出一款全新的AI芯片，聲稱實現(xiàn)了“地表最強(qiáng)推理”——在Groq上運(yùn)行大模型的推理速度較英偉達(dá)GPU提高10倍甚至更高。該消息一出，迅速攻占了各大科技媒體板塊頭條。這樣的推理速度無疑是AI芯片領(lǐng)域的一次技術(shù)飛躍，也為國產(chǎn)AI芯片企業(yè)如何突圍發(fā)展帶來一些新啟示。

啟示一：可專注特定場景建立“比較優(yōu)勢”

Groq芯片是一種LPU（語言處理單元），其優(yōu)越的推理性能，再一次展示了專用AI芯片在特定場景中的應(yīng)用價值。因此，參考Groq芯片在某個應(yīng)用場景做到替代或者超過英偉達(dá)，將有可能是國產(chǎn)AI芯片現(xiàn)階段一條行之有效的發(fā)展路徑。

比如這款推理芯片主打一個“快”。常規(guī)生成式AI主要使用英偉達(dá)A100、H100芯片來進(jìn)行訓(xùn)練與推理工作，大模型推理過程中等待是相對比較正常的事情，字符一個個蹦出，半天才能回答完畢。但在Groq的演示平臺上，模型收到提示詞后，幾乎能夠立即生成答案。這些答案不僅相對質(zhì)量較高，還附有引用，長度更是達(dá)到數(shù)百個單詞。更令人驚訝的是，它超過3/4的時間是用于搜索信息，而生成答案的時間卻短到只有幾分之一秒。

雖然暫時有著種種缺點，但是Groq芯片的優(yōu)勢點太為突出，足以在某些場景下完全替代英偉達(dá)，甚至能做得更為優(yōu)秀，自然而然吸引了大量關(guān)注及認(rèn)可�？梢韵胂�，在Groq芯片的成本控制優(yōu)化至合適區(qū)間后，將會有大量實際應(yīng)用場景前來適配和使用。

啟示二：需重視應(yīng)用場景中的“性能匹配”

Groq芯片憑借推理速度脫穎而出，充分說明了其性能與應(yīng)用場景之間的強(qiáng)相關(guān)性，這也再次提醒我們應(yīng)用場景的重要性。國產(chǎn)AI芯片產(chǎn)業(yè)應(yīng)當(dāng)重視在實際應(yīng)用場景中的性能匹配度，并在這一基礎(chǔ)上開展芯片的優(yōu)化和創(chuàng)新。

語言推理賽道上，誰是冠軍也尚未一錘定音。目前來看，Groq芯片綜合素質(zhì)仍有相當(dāng)?shù)牟蛔恪１热鏕roq芯片每張卡的內(nèi)存是230MB，在運(yùn)行Llama-2 70B模型時，需要305張Groq卡才足夠，而用H100則只需要8張卡。從目前的價格來看，這意味著在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。另外，Groq芯片目前只能適配少數(shù)幾個大模型的推理工作，并且需要大量調(diào)試，廣泛應(yīng)用性還相對較差。其中的差距，也是中國企業(yè)的創(chuàng)新機(jī)會。

最終，一種AI芯片產(chǎn)品能否勝出，和多種因素密切相關(guān)，包括芯片本身的技術(shù)路線、產(chǎn)品推出的時間點，以及大模型的成熟度，等等。對于大模型來說，目前有觀點認(rèn)為大模型已經(jīng)開始趨向穩(wěn)定了，在這個基礎(chǔ)上開發(fā)芯片是有機(jī)會的；也有觀點認(rèn)為大模型變化還很快，過兩年大模型一改，所有的投入又得重新開始。這些爭論還有待時間檢驗。

啟示三：借助第三方評測體系“精準(zhǔn)定位”

當(dāng)前，美國政府對我國芯片出口管制的層層加碼對國產(chǎn)AI芯片行業(yè)既是挑戰(zhàn)又是機(jī)遇。從產(chǎn)業(yè)發(fā)展的整體視角來看，亟需構(gòu)建一個中立、客觀并具有權(quán)威性的評測體系，為各種芯片提供一個公平競技的舞臺和場景匹配的渠道。

在2023年世界人工智能大會上，人民日報社傳播內(nèi)容認(rèn)知全國重點實驗室（人民網(wǎng)）與中國電子技術(shù)標(biāo)準(zhǔn)化研究院共同發(fā)起的“智越計劃”提出，要共同推動建立包含人工智能芯片性能評測、場景評測與綜合評測的整體評估評測標(biāo)準(zhǔn)體系。其中的場景評測就是測試不同人工智能應(yīng)用場景中各款芯片的實際使用效果。

“智越計劃”將最終形成針對特定應(yīng)用場景的綜合報告和產(chǎn)品推薦目錄，從而助力優(yōu)化市場供需匹配，為政府、企業(yè)和研究機(jī)構(gòu)建設(shè)智算中心提供芯片選型的重要參考和決策依據(jù)。

隨著AI技術(shù)的飛速進(jìn)步，市場對芯片產(chǎn)品的性能、穩(wěn)定性和適用性有了更高要求。一個科學(xué)完善的評測體系將有效地指引企業(yè)研發(fā)方向，推動生態(tài)的繁榮發(fā)展和行業(yè)的整體進(jìn)步。

分享讓更多人看到