Unsloth的Kimi K2 Thinking 本地運(yùn)行實(shí)戰(zhàn)
熱門(mén)內(nèi)容榜 ? 最近上榜 unsloth與Kimi團(tuán)隊(duì)合作修復(fù)了K2Thinking的聊天模板問(wèn)題,該問(wèn)題導(dǎo)致第一輪對(duì)話(huà)時(shí)未能添加默認(rèn)系統(tǒng)提示詞"YouareKimi,anAIassistantcreatedbyMoonshotAI."。同時(shí)也修復(fù)了llama.cpp工具調(diào)用時(shí)的自定義jinja分隔符問(wèn)題!現(xiàn)在可以使用unsloth的動(dòng)態(tài)1bitGGUF在本地運(yùn)行KimiK2Thinking!unsloth將1T模型壓縮到245GB(減少62%)并保留了約85%的準(zhǔn)確率。可在247GBRAM上運(yùn)行。unsloth還與Kimi團(tuán)隊(duì)合作進(jìn)行了系統(tǒng)提示詞修復(fù)。圖片KimiK2和...