生成式 AI 開發競爭固然激烈,但企業著重的除了效能外,處理速度和成本也是相當重要的部分,因此同一模型如何能夠以更快速度處理就成為另一個競爭目標。有新創最近創下每秒處理 Llama 3 8B 的 1,000 個 Token 的新紀錄,引來目光注目。
生成式 AI 運算速度競賽漸趨激烈,SambaNova 達成 Llama 3 8B 每秒處理 1,000 Token 新紀錄 |
|
作者
Unwire Pro |
發布日期
2024 年 05 月 31 日 10:59 |
分類
AI 人工智慧
, 新創
, 會員專區
| edit
Loading...
Now Translating...
|
生成式 AI 開發競爭固然激烈,但企業著重的除了效能外,處理速度和成本也是相當重要的部分,因此同一模型如何能夠以更快速度處理就成為另一個競爭目標。有新創最近創下每秒處理 Llama 3 8B 的 1,000 個 Token 的新紀錄,引來目光注目。
文章看完覺得有幫助,何不給我們一個鼓勵
