[Big Model Daily、3 月 2 ～ 3 日] RNN の効率は Transformer に匹敵、Google の新しいアーキテクチャは 2 回リリースされました: 同じスケールは Mamba よりも強力です; Dark Side of the Moon Yang Zhilin インタビュー: AI は次のバージョンでは PMF を見つけられません1、2年で次へ 10年、20年で世界はどう変わる、10年後にはAGIが登場する？ 次世代の双子座は環境を感知できるのか？ DeepMind CEO のハサビス氏が AI について語る

モデルの好みはサイズだけに関係しますか? 上海交通大学は人間の好みの定量的要素と 32 の大規模モデルを包括的に分析しています

https://news.miracleplus.com/share_link/20052

現在のモデル トレーニング パラダイムでは、嗜好データの取得と使用が不可欠な部分になっています。 トレーニングでは、嗜好データは通常、人間または AI フィードバックに基づく強化学習 (RLHF/RLAIF) や直接嗜好最適化 (DPO) などのアライメント中のトレーニング最適化ターゲットとして使用されますが、モデルの評価では、タスクに起因するものがあるため、問題の複雑さのため、通常は標準的な答えはありません。通常、ヒューマン アノテーターの優先アノテーションまたは高性能大規模モデル (LLM-as-a-Judge) が判断基準として直接使用されます。 上述した嗜好データの応用は広く成果を上げているものの、嗜好そのものに関する十分な研究が不足しており、より信頼性の高いAIシステムの構築が大きく妨げられています。 この目的を達成するために、上海交通大学の生成人工知能研究室 (GAIR) は、人間のユーザーと最大 32 の一般的な大規模言語モデルによって表示される好みを系統的かつ包括的に分析し、さまざまなソースからの好みデータがどのように利用されるかを学習する新しい研究結果を発表しました。無害さ、ユーモア、限界の認識など、さまざまな事前定義された属性で定量的に構成されます。

RNN の効率は Transformer に匹敵し、Google の新しいアーキテクチャは 2 回連続でリリースされ、同じ規模の Mamba よりも強力です

https://news.miracleplus.com/share_link/20053

今回、Google DeepMindは基本モデルの面で新たな動きを見せた。 Google DeepMind による最近の論文では、研究者らは新しいゲート線形再帰層である RG-LRU 層を提案し、マルチクエリ アテンション (MQA) を置き換えるためにその周りに新しい再帰ブロックを設計しました。 彼らはこのリカレント ブロックを使用して 2 つの新しいモデルを構築しました。1 つは MLP とリカレント ブロックのハイブリッドであるモデル Hawk で、もう 1 つはリカレント ブロックとローカル アテンションを備えた MLP のハイブリッドであるモデル Griffin でした。

統合ビデオ編集フレームワーク: 浙江大学とマイクロソフトがトレーニングを必要とせず、複数の編集シナリオをサポートする UniEdit を発表

https://news.miracleplus.com/share_link/20054

Sora の人気により、人々は AI ビデオ生成の大きな可能性を認識し、この分野にますます注目するようになりました。 ビデオの生成に加えて、ビデオをどのように編集するかは実生活においても重要な問題であり、その応用シナリオはより広範です。 これまでの動画編集手法は、動画への「スタイル転送」や動画内のオブジェクトの置き換えなど、「見た目」レベルでの編集に限られていたが、オブジェクトの「動作」を変える試みは少なかった。ビデオで。 この記事では、浙江大学、マイクロソフト リサーチ アジア、北京大学の研究者が、スタイルの転送、背景の置換、剛体/非剛体オブジェクトの置換などの従来の外観編集だけでなく、テキスト記述に基づく統合ビデオ編集フレームワーク UniEdit を提案しています。 、などのシーンに合わせて、上記の動画でギターを弾くアライグマの動作を「リンゴを食べる」「手を振る」に変えるなど、動画内のオブジェクトの動きを効果的に編集することもできます。 さらに、柔軟な自然言語インターフェイスと統一された編集フレームワークに加えて、このモデルのもう 1 つの大きな利点は、トレーニングが必要ないことであり、導入の利便性とユーザーの利便性が大幅に向上します。

Dark Side of the Moon Yang Zhilin インタビュー: AI は今後 1 ～ 2 年で PMF を見つけることではなく、今後 10 ～ 20 年で世界をどう変えるか

https://news.miracleplus.com/share_link/20055

ちょうど1年前、AI科学者の楊志林氏はシリコンバレーで正確な計算を行った。 彼は、AGI をターゲットとした大規模モデルのスタートアップを立ち上げることに決めた場合、今後数か月以内に直ちに 1 億ドル以上の資金を調達する必要があることに気づきました。 ただし、これは単なるチケットです。 1 年後、その数は 3 倍になりました。 大規模なモデル企業間の競争は、科学的な競争というよりも、何よりもまず残酷な財政闘争である。 資本側が懐を締めているため、敵よりも先により多くのお金を見つけ、より多くのカードを購入し、より多くの才能を奪う必要があります。 2023年3月1日に設立された大手モデル会社ムーンショットAIの創業者兼最高経営責任者（CEO）の楊志林氏は「人材の収集と資本の収集が必要だ」と語る。 Yang Zhilin 氏は、自分の会社を科学、エンジニアリング、ビジネスを組み合わせたシステムを構築していると考えるのが好きです。 人間界の上空にAI実験プラットフォームを設置し、片手で実験を行い、もう片手で最先端のテクノロジーを現実世界に導入し、人間とのインタラクションを通じて応用機会を見出し、社会に提供したいと考えていることが想像できます。消費者へのアプリケーション。 理想的な状況は、前者が数十億、数百億の資本を燃やし、後者が数百倍、数千倍の資金を取り戻すことですが、それはどう聞こえても「綱渡り」と同じくらいスリリングです。 「AI は、今後 1 ～ 2 年でどのような PMF が見つかるかということではなく、今後 10 ～ 20 年で世界をどのように変えるかということです」と彼は言いました。

AGIは10年以内に登場するでしょうか？ 次世代の双子座は環境を感知できるのか？ DeepMind CEO のハサビス氏が AI について語る

https://news.miracleplus.com/share_link/20056

「今後 10 年以内に AGI のようなシステムが登場しても驚かないでしょう。」Google DeepMind の共同創設者兼 CEO であるデミス・ハサビス氏は最近、人工知能ポッドキャスト Dwarkesh Podcast でこう述べました。 1 時間にわたる番組の中で、ハサビス氏は、インテリジェンスの性質、強化学習、スケーリングとアライメント、AGI、マルチモダリティ、その他のトピックについての考えを共有しました。

NVIDIA ジェンセン ファン: AI は 5 年以内にあらゆるテストに合格するようになる

https://news.miracleplus.com/share_link/20057

東部標準時間の金曜日 (3 月 1 日)、NVIDIA の CEO ジェンセン フアン氏は、カリフォルニアで開催されたスタンフォード経済政策研究所サミットで、汎用人工知能 (AGI) が早ければ 5 年以内に利用可能になると予想していると述べました。 「強力な人工知能」としても知られる汎用人工知能 (AGI) は、人工知能の理論上の形式であり、人間と同じように学習して推論することができ、複雑な問題を解決し、独立して意思決定を行う可能性のある人工知能を指します。 人間の知能について一般的に受け入れられている定義はまだないため、さまざまな分野の科学者は一般的な人工知能について異なる定義と基準を持っています。

MWC2024、メーカーの新製品がどれほどとんでもないものになるかを見てみましょう!

https://news.miracleplus.com/share_link/20058

バルセロナで開催されるモバイル ワールド コングレス (MWC) は、常に最新かつ最先端のモバイル テクノロジーを世界に紹介する場です。 このカンファレンスのテーマは「VELOCITY」です。世界中の通信事業者、携帯電話メーカー、技術メーカーが積極的に展示会に参加します。ほとんどの主要な革新的な製品のリリースは人工知能が独占しており、カンファレンスの焦点は開発にあります。 AIとスマートフォンの融合。 多くのスマートフォン メーカーは、デバイス上で実行される人工知能によってデバイスのセキュリティが向上し、新しいアプリケーションのロックが解除され、データ処理が電話上で行われるため高速になると指摘しています。 これに関連して、CCS Insightのチーフアナリスト、ベン・ウッド氏も「MWCでの大きなニュースは、大規模なAIモデルをデバイス自体で実行できるようになることであり、これによりゲームのルールが変わる可能性が非常に高い」と述べた。