3月8日大型模型日報

7 0 0

【3月8日大型模型日報】清華ヤオクラスの学部生が2作連続出版、10年間で最大の改善：行列乗算は理論的最適値に近い；田源東らの新作：メモリボトルネックの突破、4090 の事前トレーニング済み 7B 大型モデルが可能; ハギングフェイスが元テスラ科学者が主導するオープンソースロボット工学プロジェクトを立ち上げる

清華ヤオクラスの学部生が2作連続で論文を発表、10年間で最大の改善：行列乗算は理論上の最適値に近づいた

リンク: https://news.miracleplus.com/share_link/20583

多くの GPU オペレーターの基本演算である行列乗算は、ハイパフォーマンスコンピューティングにおける重要な問題の 1 つであり、AI などのアプリケーションの基礎です。アルゴリズムの仕組み自体は非常にシンプルですが、より高速な速度を実現するために、人々は長年にわたって精力的に努力してきましたが、最適化の度合いには限界がありました。今日の「Quantum Magazine」のレポートで、行列の乗算の速度をさらに向上させた2つの論文が掲載されましたが、そのうちの2つの論文には先駆者である清華大学ヤオクラスの学部4年生が執筆に参加しました。アルゴリズムの改善は新たな希望をもたらします。

Tian Yuandong らによる新作: メモリのボトルネックを突破し、4090 で事前トレーニングされた 7B 大型モデルを可能にする

リンク: https://news.miracleplus.com/share_link/20584

先月、Meta FAIR Tian Yuandong は好評を博した研究に参加し、論文「MobileLLM: オンデバイスユースケース向けの 10 億未満のパラメータ言語モデルの最適化」の中で、パラメータが 10 億未満の小規模なモデルの展開を開始しました。モバイルデバイスに焦点を当てます。LLM を実行します。 3 月 6 日、Tian Yuandong 氏は別の研究結果を発表しましたが、今回は LLM メモリ効率に焦点を当てました。 Tian Yuandong氏自身に加えて、カリフォルニア工科大学、テキサス大学オースティン校、CMUの研究者も参加しています。彼らは協力して、GaLore (勾配低ランク投影) を提案しました。これは、完全なパラメータ学習を可能にし、LoRA などの一般的な低ランク適応手法よりもメモリ効率が高いトレーニング戦略です。この調査は、モデルの並列処理、チェックポイント設定、またはオフロード戦略を必要とせずに、24 GB のメモリを備えたコンシューマグレードの GPU (NVIDIA RTX 4090 など) で 7B モデルを事前トレーニングする実現可能性を初めて実証したものです。

「AI Perspective Eye」でマー賞を 3 回受賞したアンドリューは、あらゆるオブジェクトのオクルージョンと完成の問題を解決するチームを率いています。

リンク: https://news.miracleplus.com/share_link/20585

オクルージョンはコンピュータビジョンにおける最も基本的であるものの、まだ未解決の問題の 1 つです。オクルージョンとは視覚情報の欠如を意味しますが、マシンビジョンシステムは知覚と理解のために視覚情報に依存しており、現実世界ではあらゆる場所でオブジェクトが互いにブロックし合うためです。オックスフォード大学の VGG 研究所の Andrew Zisserman チームの最新の研究では、任意のオブジェクトのオクルージョン完了の問題を体系的に解決し、この問題に対する新しくてより正確な評価データセットを提案しました。本作はXプラットフォーム上でMPIボスのマイケル・ブラック氏やCVPRの公式アカウント、南カリフォルニア大学コンピュータサイエンス学部の公式アカウントなどから賞賛されている。以下は論文「Amodal Ground Truth and Completion in the Wild」の主な内容です。

すべての生体分子を予測する、David Baker チームの新しいタンパク質設計ツール RoseTTAFold All-Atom in Science

リンク: https://news.miracleplus.com/share_link/20586

タンパク質の分野では、ワシントン大学のデビッド・ベイカーのチームが新たな進歩をもたらしました。タンパク質は生命活動に欠かせない分子ですが、細胞内の分子はタンパク質だけではなく、他の分子と協力して生命活動に関与する必要があります。近年、AlphaFold や RoseTTAFold などのタンパク質構造予測アルゴリズムが構造生物学の分野を席巻しています。ディープラーニング手法はタンパク質構造の予測と設計方法に革命をもたらしましたが、現在は純粋なタンパク質システムに限定されています。問題は、これらのモデルがタンパク質の構造に影響を与える多くの種類の化学を無視していることです。「例えば、多くの生物学には、タンパク質と小分子の相互作用が含まれています」とワシントン大学のデビッド・ベイカー教授は言う。「これは私たちがテストしたかった仮説です。これらすべての異なるタイプの分子を表現できるモデルをトレーニングすることは可能でしょうか?」と、この論文の筆頭著者であるロヒス・クリシュナ氏は述べています。これに基づいて、Baker のチームは、アミノ酸および DNA 塩基の残基ベースの表現と他のすべてのグループの原子表現を組み合わせて、タンパク質、核酸、小分子、金属、および共有結合的に修飾された成分を分析できる RoseTTAFold All-Atom (RFAA) を開発しました。与えられた配列と化学構造をモデル化します。

ハグ・フェイスが元テスラ科学者が主導するオープンソースロボット工学プロジェクトを立ち上げる

リンク: https://news.miracleplus.com/share_link/20587

機械学習と AI モデルのコミュニティである Hugging Face は、元 Tesla 科学者の Remi Cadene 氏のリーダーシップの下、新しいロボット工学プロジェクトを立ち上げました。Cadene 氏は X にニュースを投稿し、Hugging Face ロボット工学プロジェクトは「OpenAl のようなものではなく、オープンソースになる」と述べました。

関係者によると、サムスンはTSMCの顧客を引き抜いており、メタアルチップファウンドリの受注を獲得すると予想されている

リンク: https://news.miracleplus.com/share_link/20588

サムスンのウェーハファウンドリ事業はTSMCに密接に追随しているため、サムスンがTSMCの顧客を引き抜いているとの報道があり、メタ社の次世代自社開発AIチップファウンドリの受注が期待されており、これは2nmプロセスで生産され、サムスン初の2nm顧客となる。現在、MetaのAIチップのうち2つはTSMCによって生産されているが、業界関係者らは、サムスンのウェーハファウンドリ事業における最大の問題は歩留まりだと分析しており、以前は歩留まりが悪いため、Apple、Qualcomm、GoogleはTSMCへの発注を切り替えていた。サムスンがメタの次世代AIチップをOEMする場合、両者の協力が順調かどうかの鍵は歩留まりにある。