【2月22日大模型日報】爆火Sora背後的技術，一文綜述擴散模型的最新發展方向；開源大模型王座易主！ 谷歌Gemma殺入場，筆記本可跑，可商用；英偉達日進5.7億，黃院士躺印鈔機上了；AI 黑馬 Groq 顛覆英偉達 ？ LPU 效能與成本解讀

爆火Sora背後的技術，一文綜述擴散模型的最新發展方向

https://news.miracleplus.com/share_link/19097

為了使機器具有人類的想像力，深度生成模型取得了重大進展。 這些模型能創造逼真的樣本，尤其是擴散模型，在多個領域表現優異。 擴散模型解決了其他模型的限制，如 VAEs 的後驗分佈對齊問題、GANs 的不穩定性、EBMs 的計算量大和 NFs 的網路約束問題。 因此，擴散模型在電腦視覺、自然語言處理等方面備受關注。 擴散模型由兩個過程組成：前向過程和反向過程。 前向過程將資料轉換為簡單的先驗分佈，而反向過程則逆轉這個變化，用訓練好的神經網路模擬微分方程來產生資料。 與其他模型相比，擴散模型提供了更穩定的訓練目標和更好的生成效果。

模型融合、混合專家、更小的LLM，幾篇論文看懂2024年LLM發展方向

https://news.miracleplus.com/share_link/19098

在過去的 2023 年中，大型語言模型（LLM）在潛力和複雜性方面都獲得了快速的發展。 展望 2024 年的開源和研究進展，似乎我們即將進入一個可喜的新階段：在不增加模型規模的前提下讓模型變得更好，甚至讓模型變得更小。 現在，2024 年的第一個月已經過去，也許是時候盤點一番新年首月進展了。 近日，AI 研究者 Sebastian Raschka 發布了一份報告，介紹了四篇與上述新階段相關的重要論文。 它們的研究主題簡單總結起來是這樣：

1. 權重平均和模型融合可將多個 LLM 組合成單一更好的模型，而這個新模型還沒有傳統整合方法的典型缺陷，例如更高的資源需求。

2. 代理調優（proxy-tuning）技術可透過使用兩個小型 LLM 來提升已有大型 LLM 的效能，這個過程無需改變大模型的權重。

3. 透過將多個小型模組組合起來創建混合專家模型，可讓所得 LLM 的效果和效率媲美甚至超越更大型的對應模型。

4. 預先訓練一個小型的 1.1B 參數的 LLM 可降低開發和營運成本，並能為教育和研究應用帶來新的可能性。

受 ChatGPT 啟發，結合 Transformer 和 RL-MCTS 進行從頭藥物設計

https://news.miracleplus.com/share_link/19099

透過從頭藥物設計發現新型治療化合物是藥物研究領域的關鍵挑戰。 傳統的藥物發現方法通常資源密集且耗時，這促使科學家探索利用深度學習和強化學習技術力量的創新方法。 在這裡，美國查普曼大學（Chapman University）的研究人員開發了一種稱為drugAI 的新型藥物設計方法，該方法利用編碼器-解碼器Transformer 架構與透過蒙特卡羅樹搜尋（RL-MCTS） 進行的強化學習來加快藥物發現過程，同時確保生產具有藥物樣特性和對其標靶具有強結合親和力的有效小分子。 與兩種現有的基準方法相比，drugAI 產生的化合物的有效性和藥物相似性都有顯著改善。 此外，drugAI 確保生成的分子對其各自的標靶表現出強大的結合親和力。

開源大模型王座易主！ 谷歌Gemma殺入場，筆記本可跑，可商用

https://news.miracleplus.com/share_link/19100

開源領域大模型，迎來了重磅新玩家。 谷歌推出了全新的開源模型系列「Gemma」。 比起 Gemini，Gemma 更加輕量，同時保持免費可用，模型權重也一併開源了，且允許商用。 本次發布包含兩種權重規模的模型：Gemma 2B 和 Gemma 7B。 每種規模都有預先訓練和指令微調版本。 想使用的人可以透過 Kaggle、Google的 Colab Notebook 或透過 Google Cloud 存取。 當然，Gemma 也第一時間上線了 HuggingFace和HuggingChat，每個人都能試試看它的生成能力。

英偉達日進5.7億，黃院士躺印鈔機上了

https://news.miracleplus.com/share_link/19101

英偉達最新財報出爐。 連創「三高」：1. 2024財年Q4季營收達221億美元（淨利122億美元），較上一季成長22%，較前一年成長265%。 2. 扛把子的資料中心營收佔184億美元，比第三季成長27%，比前一年飆升409%。 3. 2024財年全年營收也出來了：609億美元（約4,384億人民幣），比去年多了126%。 淨利則為297億美元，約2,136億人民幣，相當於日進5.7個「小目標」。

AI 黑馬 Groq 顛覆英偉達 ？ LPU 效能與成本解讀

https://news.miracleplus.com/share_link/19102

Groq 是一家科技公司，由 Jonathan Ross 在 2016 年創立。 Ross 曾是 Google 第一個張量處理單元（TPU）的創造者，他的創立理念源自於一個觀點：晶片設計應從軟體定義網路（SDN）中吸取靈感。 2024 年2 月13 日，Groq 在ArtificialAnalysis.ai 最新的LLM 基準測試中明顯獲勝，Groq 在延遲與吞吐量等關鍵性能指標上擊敗了八名參與者，Groq 處理吞吐量達到其他推理服務的4 倍 ，同時收費還不到Mistral 自己的1/3。

三星行動部門負責人透露 Galaxy AI 發展計劃，將擴展到穿戴式裝置

https://news.miracleplus.com/share_link/19103

三星行動部門負責人 TM Roh 最近透露了該公司未來在人工智慧 (AI) 方面的計劃，以及如何擴展其應用範圍。 Roh 表示，三星下一步計畫是將 Galaxy AI 的應用範圍擴展到更多裝置和服務，包括穿戴式裝置。 他透露計劃在「不久的將來」將 Galaxy AI 功能引入「部分」Galaxy 可穿戴設備。