2月27日大模型日報

121 0 0

【2月27日大模型日報】端側最強，Meta田淵棟等人卷10億以下參數小模型，LeCun：小技巧啟動；大模型Scaling Law同樣適用於下游任務表現？史丹佛、Google最新研究揭秘；Mistral AI新模型對標GPT-4，不開源且與微軟合作，網友：忘了初心；Google10M上下文視窗正在殺死RAG？被Sora奪走風頭的Gemini被低估了？

端側最強，Meta田淵棟等人卷10億以下參數小模型，LeCun：小技巧啟動

連結：https://news.miracleplus.com/share_link/19630

「在行動裝置上運行 LLM？可能需要 Meta 的一些技巧。」剛剛，圖靈獎得主 Yann LeCun 在個人社交平台表示。他所宣傳的研究來自 Meta 最新論文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases 》，在眾多作者中也有我們熟悉的來自 Meta FAIR 田淵棟。田淵棟表示：「我們的MobileLLM 預訓練模型（125M/350M），效能達到SoTA，特別是在聊天/ API 呼叫方面表現出色。此外，本工作中的一個有趣研究是跨Transformer 層的權重共享，這樣不僅節省了參數，也減少了推理過程中的延遲。」

MATRIX：社會模擬推動大模型價值自對齊，比GPT4更「體貼」

連結：https://news.miracleplus.com/share_link/19631

模型如 ChatGPT 依賴於基於人類回饋的強化學習（RLHF），此方法透過鼓勵標註者偏好的回答並懲罰不受歡迎的回饋，提出了一種解決方案。然而，RLHF 面臨成本高昂、難以優化等問題，以及在超人類層級模型面前顯得力不從心。為了減少甚至消除對人類監督的依賴，Anthropic 推出了 Constitutional AI，旨在要求語言模型在回答時遵循一系列人類規則。同時，OpenAI 的研究透過採用弱模型監督強模型的方法，為超人類層級模型的對齊提供了新的視角。儘管如此，由於使用者給予的指令千變萬化，將一套固定的社會規則應用於 LLMs 顯得不夠靈活；而且，弱模型對強模型的監督提升效果尚不明顯。為了解決這些大語言模式價值對齊的挑戰，上海交通大學、上海人工智慧實驗室()的科研團隊發表了新工作《Self-Alignment of Large Language Models via Monopolylogue-based Social Scene Simulation》，提出了一種原創的自我對齊策略—— 社會場景模擬。這種方法的核心思想是，人類社會價值的形成和發展源於社會各方參與者之間的互動和社會影響。類比應用於 LLMs，透過模擬使用者指令和 LLMs 回答所涉及的社會場景，模型能夠觀察到其回答可能造成的社會影響，從而更好地理解回答可能帶來的社會危害。

大模型Scaling Law同樣適用於下游任務表現？史丹佛、Google最新研究揭秘

連結：https://news.miracleplus.com/share_link/19632

大模型的成功很大程度上要歸因於Scaling Law 的存在，這定律量化了模型效能與訓練資料規模、模型架構等設計要素之間的關係，為模型開發、資源分配和選擇合適的訓練數據提供了寶貴的指導。過去大量的研究集中在上游複雜度或交叉熵損失的Scaling law（即在預訓練資料上進行評估），但在實際應用中，模型通常要經歷一個遷移學習的過程：首先在無監督資料上進行預訓練，然後針對特定的下游任務（如編碼或翻譯）進行微調。那麼，Scaling Law 能不能用於預測下游任務表現？這個關鍵問題很大程度上仍未得到解答。在最近的一項工作中，史丹佛大學和谷歌的研究者探索了遷移學習的 Scaling Law。

劍橋大學團隊以深度學習工具評估奈米抗體的天然性，助力抗體藥物開發

連結：https://news.miracleplus.com/share_link/19633

單株抗體已成為關鍵的治療方法。特別是，奈米抗體（一種在駱駝科動物中自然表達的小型單域抗體）在 2019 年第一個奈米抗體藥物獲得批准後迅速獲得發展勢頭。雖然如此，這些生物製劑作為治療劑的開發仍然是一項挑戰。儘管已有成熟的體外定向進化技術，部署起來相對較快且成本低廉，但產生治療性抗體的黃金標準仍是來自動物免疫或患者的發現。免疫系統衍生的抗體往往在體內具有良好的特性，包括半衰期長、與自體抗原的反應性低、毒性低。在最新的研究中，劍橋大學的研究人員推出了 AbNatiV，這是一種深度學習工具，用於評估抗體和奈米抗體的天然性，即它們屬於免疫系統衍生的人類抗體或駱駝奈米抗體分佈的可能性。 AbNatiV 是一種多用途工具，可準確預測任何來源（包括合成文庫和計算設計）的 Fv 序列的天然性。它提供了一個可解釋的分數，可以預測免疫原性的可能性，以及一個殘基水平的概況，可以指導抗體和奈米抗體的工程設計，與免疫系統衍生的抗體和奈米抗體無法區分。該團隊進一步引入了自動化人源化流程，並將其應用於兩種奈米抗體。實驗室實驗表明，與使用傳統結構和殘基頻率分析進行人源化的奈米抗體不同，AbNatiV 人源化奈米抗體保留了與野生型相當甚至更好的結合和穩定性。

Mistral AI新模型對標GPT-4，不開源且與微軟合作，網友：忘了初心

連結：https://news.miracleplus.com/share_link/19634

生成式 AI 領域，又有重量級產品出現。週一晚間，Mistral AI正式發布了“旗艦級”大模型 Mistral Large。與先前的一系列模型不同，這次 Mistral AI 發布的版本表現更強，體積更大，直接對標 OpenAI 的 GPT-4。而新模型的出現，也伴隨著公司大方向的轉型。隨著 Mistral Large 上線，Mistral AI 推出了名為 Le Chat的聊天助理（對標 ChatGPT），任何人都可以試試看效果。

英偉達新顯示卡發布！筆記本AI畫圖提速14倍，輕薄本也能當AI工作站

連結：https://news.miracleplus.com/share_link/19635

黃院士的新核彈，來了！全新消費級顯示卡，專為提速筆電大模型應用而生。就在這兩天的MWC上，英偉達重磅推出了全新GPU－RTX 500和RTX 1000。比起只使用CPU，全新RTX 500可以為Stable Diffusion等模型提供高達14倍的生成式AI效能！不僅如此，搭載RTX 500後，用AI進行照片編輯的速度也將提升3倍，3D渲染圖形的效能更是提升了10倍。更重要的是，RTX 500和RTX 1000是用於輕薄筆記型電腦，屬於英偉達Ada Generation系列的工作站顯示卡。即便在性能上有瞭如此提升，英偉達還是將二者定位在了“入門級”，主打的就是讓普通筆記本也有彪悍的AI能力。

DeepMind CEO 最新《紐約時報》專訪：AGI 將使能源變得廉價甚至免費，貨幣性質也將轉變

連結：https://news.miracleplus.com/share_link/19636

Google DeepMind CEO Demis Hassabis 最近參加了《紐約時報》的對談，Demis 談論了 Google 最新的 AI 突破、構建 AGI 以及在計算機可以完成每項工作的世界中會發生什麼？此外，Demis 還表示， AI 設計的藥物和治療方法可以治癒真正可怕的疾病，距離實現這一目標只有幾年的時間。他認為，能源變得免費或廉價，導致貨幣性質的改變。

谷歌10M上下文視窗正在殺死RAG？被Sora奪走風頭的Gemini被低估了？

連結：https://news.miracleplus.com/share_link/19637

要說最近最鬱悶的公司，Google肯定算得上一個：自家的 Gemini 1.5 剛發布，就被 OpenAI 的 Sora 搶盡了風頭，堪稱 AI 界的「汪峰」。具體來說，Google這次推出的是早期測試的 Gemini 1.5 的第一個版本 ——Gemini 1.5 Pro。它是一種中型多模態模型（涉及文字、視訊、音訊），性能水平與Google迄今為止最大的模型 1.0 Ultra 類似，並引入了長上下文理解的突破性實驗特徵。它能夠穩定處理高達100 萬token（相當於1 小時的影片、11 小時的音訊、超過3 萬行程式碼或70 萬個單字），極限為1,000 萬token（相當於《魔戒》三部曲），創下了最長上下文視窗的紀錄。此外，它還能只靠一本 500 頁的文法書、 2000 條雙語詞條和 400 個額外的平行句子學會一門小語種的翻譯（網路上沒有相關資料），翻譯得分接近人類學習者。很多測試過 Gemini 1.5 Pro 的人都表示，這個模型被低估了。例如有人嘗試將從 Github 上下載的整個程式碼庫連同 issue 都扔給 Gemini 1.5 Pro，結果它不僅理解了整個程式碼庫，還識別出了最緊急的 issue 並修復了問題。