DeepSeek團隊發布新論文，提出了一種名為mHC（流形約束超連接）的新架構，旨在解決傳統超連接在大規模模型訓練中的不穩定性問題，同時保持其顯著的性能增益。DeepSeek創始人梁文鋒也在作者名單中。

　　論文公布了DeepSeek-V3在訓練和推理過程中，如何解決「硬件瓶頸」的方法：mHC通過將傳統Transformer的單一殘差流擴展為多流並行架構，並利用Sinkhorn-Knopp算法將連接矩陣約束在雙擬隨機矩陣流形上，成功解決了超連接在大規模訓練中因破壞恒等映射屬性而導致的數值不穩定和訊號爆炸問題。

　　實證表明，mHC不僅解決了穩定性問題，且在大規模訓練中（如27B模型）表現出卓越的可擴展性。在n=4的擴展倍率下，僅增加了6.7%的訓練時間開銷，卻換來了顯著的性能提升。mHC為基礎模型的拓撲架構演進指明了方向。
《經濟通通訊社2日專訊》

獨家優惠【etnet x 環球海產】用戶專享全場95折，特價貨品更可折上折。立即使用優惠代碼【ETN1WWS】，選購五星級酒店級海鮮► 立即瀏覽