Big Model Daily 2月22日

5 0 0

【Big Model Daily 2月22日】Sora爆発のテクノロジー、普及モデルの最新開発方向をまとめた記事、オープンソースビッグモデルの王座が交代！ Google Gemma が市場に参入し、ラップトップを実行して商用利用できるようになりました。NVIDIA は 1 日あたり 5 億 7,000 万を稼ぎ、ファン学者は紙幣印刷機に乗りました。AI のダークホース Groq が NVIDIA を転覆させるでしょうか? LPU のパフォーマンスとコストの解釈

Sora 爆発のテクノロジー、普及モデルの最新開発方向をまとめた記事

https://news.miracleplus.com/share_link/19097

機械が人間の想像力を模倣できるようにするために、深層生成モデルは大幅な進歩を遂げました。これらのモデルは、現実的なサンプル、特に複数の領域で適切に機能する拡散モデルを作成できます。拡散モデルは、VAE の事後分布整列問題、GAN の不安定性、EBM の計算の複雑さ、NF のネットワーク制約問題など、他のモデルの制限を解決します。そのため、拡散モデルはコンピュータビジョンや自然言語処理などの面で大きな注目を集めています。拡散モデルは順方向プロセスと逆方向プロセスの 2 つのプロセスで構成されます。順方向プロセスではデータが単純な事前分布に変換され、逆方向プロセスではこの変更が逆に行われ、訓練されたニューラルネットワークを使用して微分方程式をシミュレートしてデータが生成されます。他のモデルと比較して、拡散モデルはより安定したトレーニングターゲットとより良い生成結果を提供します。

モデルの融合、専門家の混合、小規模な LLM、2024 年の LLM の開発方向を理解するためのいくつかの論文

https://news.miracleplus.com/share_link/19098

過去 2023 年にわたって、大規模言語モデル (LLM) は、可能性と複雑さの両方において急速に成長しました。 2024 年のオープンソースと研究の進歩を楽しみにしていると、私たちは歓迎すべき新しい段階に入ろうとしているようです。それは、モデルのサイズを大きくしたり、モデルを小さくしたりすることなく、モデルをより良くすることです。 2024 年の最初の 1 か月が過ぎたので、新年の最初の 1 か月がどのようなものだったのかを振り返る時期が来たのかもしれません。最近、AI研究者のセバスティアン・ラシュカ氏は、上記の新たな段階に関連する4つの重要な論文を紹介するレポートを発表した。彼らの研究テーマは次のように簡単に要約されます。

1. 重み平均とモデル融合により、複数の LLM を 1 つのより優れたモデルに結合できます。この新しいモデルには、より高いリソース要件など、従来のアンサンブル手法にありがちな欠点がありません。

2. プロキシチューニングテクノロジは、2 つの小さな LLM を使用することで、既存の大規模 LLM のパフォーマンスを向上させることができます。このプロセスでは、大規模モデルの重みを変更する必要はありません。

3. 複数の小さなモジュールを組み合わせてハイブリッドエキスパートモデルを作成すると、結果として得られる LLM は、より大きなモジュールと同等以上の効果と効率を実現できます。

4. 小さな 1.1B パラメータ LLM を事前トレーニングすることで、開発コストと運用コストが削減され、教育および研究アプリケーションに新たな可能性が開かれます。

ChatGPT からインスピレーションを受け、Transformer と RL-MCTS を組み合わせて新規医薬品設計を実現

https://news.miracleplus.com/share_link/19099

新たな薬剤設計による新規治療用化合物の発見は、製薬研究における重要な課題です。従来の創薬手法は多くの場合、リソースと時間がかかるため、科学者は深層学習と強化学習技術の力を利用する革新的な方法を模索しています。米国のチャップマン大学の研究者らは、モンテカルロツリー検索 (RL-MCTS) を備えたエンコーダーデコーダートランスフォーマーアーキテクチャを利用する、drugAI と呼ばれる新しい医薬品設計手法を開発しました。強化学習は、創薬プロセスを高速化するために実行されます。薬物のような特性と標的に対する強力な結合親和性を備えた効果的な小分子の生成を保証します。 DrugAI は、既存の 2 つのベースライン手法と比較して、有効性と薬物類似性が大幅に向上した化合物を生成しました。さらに、drugAI は、生成された分子がそれぞれの標的に対して強力な結合親和性を示すことを保証します。

オープンソースの大型モデルの王座が交代！ Google Gemmaが市場に参入、ノートブックの実行と商用利用が可能に

https://news.miracleplus.com/share_link/19100

オープンソース分野のビッグモデルが主要な新規プレイヤーを迎え入れた。 Googleは新たなオープンソースモデルシリーズ「Gemma」を立ち上げた。 Gemmi と比較すると、Gemma はより軽量ですが、無料で利用可能であり、モデルの重みもオープンソースで商用利用が許可されています。このリリースには、Gemma 2B と Gemma 7B の 2 つの体重計のモデルが含まれています。各スケールには、事前にトレーニングされたバージョンと微調整されたバージョンの命令があります。これを使用したい場合は、Kaggle、Google の Colab Notebook、または Google Cloud を通じてアクセスできます。もちろん、Gemma はすぐに HuggingFace と HuggingChat も立ち上げたので、誰もがその生成機能を試すことができます。

Nvidia は 1 日あたり 5 億 7,000 万を稼いでおり、学者の Huang は紙幣印刷機に横たわっています

https://news.miracleplus.com/share_link/19101

Nvidia の最新の財務報告書が発表されました。連続する「3つの高値」: 1. 2024年度第4四半期の売上高は221億米ドル(純利益122億米ドル)に達し、前四半期比22%増、前年比265%増となりました。 2. 主なデータセンター収益は 184 億米ドルで、第 3 四半期から 27% 増加、前年比で 409% 増加しました。 3. 2024 会計年度の通年の収益も入手可能です。609 億米ドル (約 4,384 億元) で、前年比 126% 増加です。純利益は297億米ドル、約2,136億元に相当し、1日当たり5.7個の「小さな目標」に相当する。

AI ダークホース Groq が NVIDIA を転覆させる? LPU のパフォーマンスとコストの解釈

https://news.miracleplus.com/share_link/19102

Groq は、ジョナサンロスによって 2016 年に設立されたテクノロジー企業です。 Ross は Google の最初のテンソルプロセッシングユニット (TPU) の作成者であり、彼の設立哲学は、チップ設計はソフトウェアデファインドネットワーク (SDN) からインスピレーションを得るべきであるという考えに由来しています。 2024 年 2 月 13 日、Groq は、ArtificialAnalysis.ai の最新の LLM ベンチマークテストで明らかに勝利しました。Groq は、レイテンシーやスループットなどの重要なパフォーマンス指標で 8 人の参加者を破りました。Groq の処理スループットは、他の推論サービスの 4 倍に達しました。ミストラル自身の1/3。

サムスンのモバイル部門責任者がウェアラブルデバイスにも拡張されるGalaxy AI開発計画を明らかに

https://news.miracleplus.com/share_link/19103

サムスンのモバイル部門責任者TM Roh氏は最近、同社の人工知能（AI）に関する将来計画とその適用範囲を拡大する方法を明らかにした。盧大統領は、サムスンの次の計画はギャラクシーAIの適用範囲をウェアラブルを含むより多くのデバイスやサービスに拡大することだと述べた。同氏は、「近い将来」にGalaxy AI機能を導入してGalaxyウェアラブルを「選択」できるようにする計画を明らかにした。