到這個階段,AI 讓我想起小時候電玩店賣的大補帖。遊戲開發商弄個半死花一堆錢做遊戲,轉角店家買台燒錄機,轉頭收爆純利
巨頭現在應充分了解當時那些出來抗議的漫畫家、藝術家、創作者、媒體,聲稱 AI 偷走他們的心血,拿他們資料去做訓練。現在各方降成本癡漢直接從砸重金開發的巨頭身上各種撈,好像就是這種味道
---
華裔美籍科學家李飛飛團隊最近發布一篇新論文,成功降低了復刻 DeepSeek R1 推理模型的成本。根據論文內容,利用阿里系開源的 Qwen2.5-32B-Instruct 模型進行監督微調(SFT),僅需在 16 個輝達 H100 GPU 上訓練 26 分鐘,而所需的算力租賃成本約為 20 美元
李飛飛團隊的 s1 模型可視為 Qwen2.5 和 Gemini 2.0 Flash Thinking Experimental 的結合體。透過精心篩選的 1000 個問題及其答案,研究人員記錄了 Gemini 2.0 Flash 的 “思考過程”,並利用這些資料建立訓練集,對 Qwen2.5-32B-Instruct 進行微調
這種做法可能違反了 Google 的使用條款,Google 禁止使用者對其模型進行逆向工程以開發競爭產品。對此,谷歌尚未回應。
在論文中,研究人員強調,s1 模型希望找到實現強推理能力和「測試時擴展」的最簡單方法。與 DeepSeek 的「大規模強化學習」方法相比,SFT 的成本顯著降低,因為它使用的是高品質的標註數據,且只需少量樣本即可獲得良好性能
https://news.cnyes.com/news/id/5853583