網(wǎng)站導(dǎo)航
TRAE 推出 Kimi-K2模型服務(wù)，國際版支持 Grok
近日，Kimi 團隊正式發(fā)布了 Kimi K2的技術(shù)報告，揭示了這款全新模型背后的訓(xùn)練秘密。Kimi K2的參數(shù)總量達(dá)到1萬億，而***參數(shù)則高達(dá)320億，憑借其強大的能力，Kimi K2在剛上線一周內(nèi)便在全球開源模型競賽中斬獲桂冠，超越了 DeepSeek，堪比 Grok4和 GPT4.5等前列閉源模型。
Kimi K2的成功，得益于其創(chuàng)新的訓(xùn)練方法和技術(shù)架構(gòu)。首先，該團隊引入了 MuonClip 優(yōu)化器，替代了傳統(tǒng)的 Adam 優(yōu)化器。這種新的優(yōu)化器結(jié)合了高效的 token 使用和穩(wěn)定性，讓 Kimi K2在預(yù)訓(xùn)練階段無損失地處理了15.5萬億 token 的數(shù)據(jù)。此外，團隊還開發(fā)了大規(guī)模的 Agentic Tool Use 數(shù)據(jù)合成 pipeline，覆蓋多個領(lǐng)域和工具，為模型提供了豐富的訓(xùn)練場景。
值得注意的是，Kimi K2在訓(xùn)練中采用了 “重述法” 來提高數(shù)據(jù)效率。這種方法不是簡單重復(fù)，而是用不同的方式重新表達(dá)知識內(nèi)容，確保模型能夠真正理解信息。尤其是在處理數(shù)學(xué)和知識類文本時，Kimi K2通過將復(fù)雜內(nèi)容改寫成易懂的學(xué)習(xí)筆記風(fēng)格，進(jìn)一步提升了訓(xùn)練效果。數(shù)據(jù)顯示，用重寫的數(shù)據(jù)訓(xùn)練一輪，其準(zhǔn)確率超過了使用原始數(shù)據(jù)訓(xùn)練十輪的結(jié)果。
在后訓(xùn)練階段，Kimi K2還進(jìn)行了監(jiān)督微調(diào)和強化學(xué)習(xí)，通過構(gòu)建可驗證的獎勵環(huán)境和自我評估機制，確保模型在多樣化任務(wù)中不斷優(yōu)化表現(xiàn)。訓(xùn)練過程中還引入了預(yù)算控制和溫度衰減策略，以提高生成文本的質(zhì)量和穩(wěn)定性。為了支持如此龐大的訓(xùn)練需求，Kimi K2依托于由 NVIDIA H800構(gòu)成的大規(guī)模高帶寬 GPU 集群，確保了訓(xùn)練效率和數(shù)據(jù)傳輸?shù)母咝?。隨著科技的不斷進(jìn)步，Kimi K2的發(fā)布無疑為開源模型的發(fā)展注入了新的活力，值得行業(yè)內(nèi)外的關(guān)注。
公司信息
訪問官網(wǎng)
我要咨詢
每日熱詞
