知識

大模型訓練之FP8-LLM別讓你的H卡白買了:H800的正確開啟方式

大模型訓練之FP8-LLM別讓你的H卡白買了:H800的正確開啟方式 內容導讀 這篇內容討論了NVIDIA的H100 GPU及其對FP8資料類型的支持,這是大型語言模型(LLM)訓...

EMNLP 2023|利用LLM合成資料訓練模型有哪些坑?

EMNLP 2023|利用LLM合成資料訓練模型有哪些坑? 內容導讀 該內容探討了使用大型語言模型(LLMs)生成合成資料來訓練文字分類模型時的一些陷阱。 研究發現,...

研發大模型的血液–萬字長文詳諦資料工程

研發大模型的血液--萬字長文詳諦資料工程 內容導讀 這篇內容深入探討了在研發領域中針對大型語言模型(LLMs)的資料工程。 強調了有效資料管理的重要性,以...

Virat分享:微調華倫·巴菲特LLM過程

Virat分享:微調華倫·巴菲特LLM過程 內容導讀 在最近的努力中,Virat著手開展了一個項目,對大型語言模型(LLM)進行微調,以模擬傳奇投資者沃倫·巴菲特的公...

LLM2LLM:具有新的迭代資料增強的Boosting(一種模型訓練加速方式)LLM

LLM2LLM:具有新的迭代資料增強的Boosting(一種模型訓練加速方式)LLM 內容導讀 這篇論文介紹了一種突破性的方法,用於改善在資料稀缺情況下大型語言模型(...

Turbocall:Deno FFI的即時編譯器

Turbocall:Deno FFI的即時編譯器 內容導讀 在由littledivy撰寫的部落格文章《Turbocall: Deno FFI的即時編譯器》中,揭示了Deno運行時中的一個引人注目的最...

JTAG轉儲NOR-Zettier的鍊圖

JTAG轉儲NOR-Zettier的鍊圖 內容導讀 在這個實用指南中,作者深入探討了使用JTAG來轉儲並行NOR快閃記憶體的技術流程,這是嵌入式裝置和物聯網系統中普遍使用...

PCB修復:Speed Buggy/Buggy Boy – PhilWIP

PCB修復:Speed Buggy/Buggy Boy - PhilWIP 內容導讀 在這篇詳細的PCB修復故事中,作者分享了他們修復經典街機遊戲《Buggy Boy》的個人經歷,自2006年將其添...

漫談高效能運算與效能最佳化:運算

漫談高效能運算與效能最佳化:運算   內容導讀 在這篇富有洞察力的文章中,作者深入探討了高效能運算(HPC)的複雜性以及效能優化的關鍵作用。 這篇文...

220億晶體管,IBM機器學習專用處理器NorthPole,能源效率25倍提升

IBM 再度發力。 隨著 AI 系統的快速發展,其能源需求也不斷增加。 訓練新系統需要大量的資料集和處理器時間,因此能耗極高。 在某些情況下,執行一些訓練好...