10/02/2026 13:09
【AI】騰訊混元推出「極小」模型HY-1.8B-2Bit,僅佔用600MB內存
今日,騰訊混元宣布正式推出一款面向消費級硬件場景的「極小」模型HY-1.8B-2Bit,等效參數量僅有0.3B,內存佔用僅600MB。
據介紹,該模型基於混元團隊首創的產業級2Bit端側量化方案,通過對此前混元的小尺寸語言模型HY-1.8B-Instruct進行2比特量化感知訓練(QAT)產出,對比原始精度模型等效參數量降低了6倍,在沿用原模型全思考能力同時,在真實端側設備上對比原始精度模型生成速度提升2-3倍,可大幅提升使用體驗。
Bit(比特)是計算機存儲的最小單位,一般模型的精度有2Bit、4Bit、8Bit、32Bit等表示方法,數值越大模型的精度更高,所佔的內存就越大。雖然2Bit量化的精度損失較大,但通過QAT和先進的量化策略,該2Bit模型具備接近全精度模型的性能,實現了「小而強」的設計目標。
《經濟通通訊社10日專訊》
據介紹,該模型基於混元團隊首創的產業級2Bit端側量化方案,通過對此前混元的小尺寸語言模型HY-1.8B-Instruct進行2比特量化感知訓練(QAT)產出,對比原始精度模型等效參數量降低了6倍,在沿用原模型全思考能力同時,在真實端側設備上對比原始精度模型生成速度提升2-3倍,可大幅提升使用體驗。
Bit(比特)是計算機存儲的最小單位,一般模型的精度有2Bit、4Bit、8Bit、32Bit等表示方法,數值越大模型的精度更高,所佔的內存就越大。雖然2Bit量化的精度損失較大,但通過QAT和先進的量化策略,該2Bit模型具備接近全精度模型的性能,實現了「小而強」的設計目標。
《經濟通通訊社10日專訊》
【香港好去處】2026去邊最好玩?etnet為你提供全港最齊盛事活動,所有資訊盡在掌握!► 即睇