【3月8日大模型日報合輯】清華姚班本科生連發兩作，十年來最大改進：矩陣乘法接近理論最優；田淵棟等人新作：突破內存瓶頸，讓一塊4090預訓練7B大模型； Hugging Face 啟動開源機器人項目，由前特斯拉科學家領導

清華姚班本科生連發兩作，十年來最大改進：矩陣乘法接近理論最優

連結：https://news.miracleplus.com/share_link/20583

矩陣乘法作為眾多 GPU 算符的基礎操作，是高效能運算的重要問題之一，也是 AI 等應用的基石。 它的演算法機製本身相當簡單，但為了達到更快的速度，人們多年來不懈努力，優化程度卻一直有限。 今日，在《量子雜誌》的一篇報導中，我們看到了推動矩陣乘法速度進一步提升的兩篇論文，其中清華姚班一位大四本科生全程參與了兩篇論文的撰寫，為該領域的 演算法改進帶來了全新的希望。

田徑棟等人新作：突破記憶體瓶頸，讓一塊4090預訓練7B大模型

連結：https://news.miracleplus.com/share_link/20584

上個月，Meta FAIR 田淵棟參與的一項研究廣受好評，他們在論文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases中開始卷10 億以下參數小模型，主打在行動裝置上 運行LLM。 3 月 6 日，田淵棟又一項研究出爐，這次，他們主攻 LLM 記憶體效率。 除了田徑棟本人，還有來自加州理工學院、德州大學奧斯汀分校以及 CMU 的研究者。 他們合作提出了 GaLore（Gradient Low-Rank Projection），這是一種允許全參數學習的訓練策略，但比 LoRA等常見的低秩自適應方法具有更高的記憶體效率。 該研究首次證明了在具有 24GB 記憶體的消費級 GPU（例如 NVIDIA RTX 4090）上預訓練 7B 模型的可行性，無需模型並行、檢查點或卸載策略。

「AI透視眼」，三次馬爾獎得主Andrew帶隊解決任意物體遮擋補全難題

連結：https://news.miracleplus.com/share_link/20585

遮蔽是電腦視覺很基礎但依舊未解決的問題之一，因為遮蔽意味著視覺訊息的缺失，而機器視覺系統卻依靠視覺訊息進行感知和理解，並且在現實世界中，物體之間的相互遮蔽 無處不在。 牛津大學 VGG 實驗室 Andrew Zisserman 團隊最新工作系統性地解決了任意物體的遮蔽補全問題，並且為此問題提出了一個新的更精確的評估資料集。 該工作受到了 MPI大佬 Michael Black、CVPR 官方帳號、南加州大學計算機系官方帳號等在 X 平台的讚。 以下為論文「Amodal Ground Truth and Completion in the Wild」的主要內容。

預測所有生物分子，David Baker 團隊蛋白質設計新工具 RoseTTAFold All-Atom 登 Science

連結：https://news.miracleplus.com/share_link/20586

在蛋白領域，華盛頓大學 David Baker團隊又帶來了新進展。 蛋白質是生命存在不可或缺的分子，但它們不是細胞中唯一的分子，參與生命過程它們必須與其他分子相互合作。 近年來，AlphaFold和 RoseTTAFold 等蛋白質結構預測演算法，席捲了結構生物學領域。 深度學習方法徹底改變了蛋白質結構預測和設計方式，但目前僅限於純蛋白質系統。 問題是，這些模型忽略了許多影響蛋白質結構的化學類型。 「例如，許多生物學涉及蛋白質與小分子相互作用。」華盛頓大學教授 David Baker 說。 「這是我們想要測試的假設：是否有可能訓練一個可以代表所有這些不同類型分子的模型？」論文一作 Rohith Krishna 說。 基於此，Baker 團隊開發了RoseTTAFold All-Atom（RFAA），它可以將氨基酸和DNA 鹼基的基於殘基的表示與所有其他基團的原子表示相結合，從而對包含蛋白質、核酸、小分子、 金屬和給定序列和化學結構的共價修飾的組件進行建模。

Hugging Face 啟動開源機器人項目，由前特斯拉科學家領導

連結：https://news.miracleplus.com/share_link/20587

機器學習和AI 模型社區Hugging Face 在特斯拉前任科學家Remi Cadene 的領導下啟動一個新的機器人項目Cadene 在X上發布了該消息並表示，Hugging Face 機器人項目將是”開源的，而不是像OpenAl 那樣”

消息指出三星挖台積電客戶，可望拿下 Meta Al 晶片代工訂單

連結：https://news.miracleplus.com/share_link/20588

三星晶圓代工事業緊追台積電之際，有消息指出三星挖台積電客戶，可望拿到Meta下世代自研AI晶片代工訂單，將採2奈米製程生產，成為三星第一個2nm客戶。 目前Meta有兩款AI晶片委由台積電生產，業界人士分析，三星晶圓代工事業最大的問題是良率，先前因良率不佳，已讓蘋果、高通及谷歌轉至台積電下單，若 三星代工Meta下世代AI晶片，雙方合作是否順利，關鍵仍在於良率。