高效訓練 LLM，GaLore 登上 Hugging Face 整合 Transformers 程式庫
作者 | 發布日期 2024 年 03 月 22 日 12:31 | 分類 AI 人工智慧 , 會員專區 line share Linkedin share follow us in feedly line share
Loading...
高效訓練 LLM，GaLore 登上 Hugging Face 整合 Transformers 程式庫

研究人員日前提出一種新的模型訓練策略 GaLore（Gradient Low-Rank Projection），在大型語言模型高效訓練方面向前邁出重要的一步，尤其可用消費級硬體，例如家用電腦的高階顯卡訓練數十億參數的模型，減少優化器狀態下的記憶體占用，為無法取得高階運算資源的研究人員開拓新視野。

想請我們喝幾杯咖啡？

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0 元
《關於請喝咖啡的 Q & A》
取消 確認

從這裡可透過《Google 新聞》追蹤 TechNews

Google News
關鍵字: , , ,