剛剛，Kimi團隊上新了！
開源輕量級視覺語言模型Kimi-VL及其推理版Kimi-VL-Thinking，多模態(tài)和推理雙雙拿捏。
按照Kimi官方的說法，其關鍵亮點如下：
- 都是基于MoE架構，總參數(shù)為16B，但推理時僅激活2.8B
- 具備強大的多模態(tài)推理能力（媲美參數(shù)大10倍的模型）Agent能力
- 支持128K上下文窗口；
- 采用相對較為寬松的MIT許可證
如圖所示，和Qwen2.5-VL、Gemma-3等前沿開源VLM相比，Kimi-VL-Thinking僅使用2.8B激活參數(shù)即可實現(xiàn)強大的多模態(tài)推理。
同時在一些重要基準測試中，Kimi新模型“以小博大”，超越了GPT-4o等規(guī)模更大的模型。
目前兩款模型均已上架Hugging Face，分為Instruct基礎版和Thinking推理版。
網(wǎng)友們紛紛表示，新的標桿再次誕生！
多模態(tài)和推理雙雙拿捏
話不多說，我們直接看Kimi新模型的具體玩法和效果。
視覺理解與推理
首先，作為一款通用的VLM模型，Kimi-VL具備強大的視覺理解和推理能力。
給它一份手稿，要求它通過逐步推理來確認手稿屬于誰，以及所記錄的內容。
可以看到，Kimi-VL通過分析手稿的筆跡、內容、語言等特征，推斷出手稿可能屬于愛因斯坦，理由是這些內容與引力場方程有關，這與愛因斯坦對廣義相對論的貢獻有關。
又或者只提供一張圖片，讓Kimi-VL來判斷城市地標建筑、識別游戲場景等。
比如第2個例子中，它成功識別出圖片中的穹頂建筑為多倫多的羅杰斯中心（Rogers Centre），同時描述了其特征和用途。
除此之外，Kimi-VL也能被用來解答高難度幾何數(shù)學題。
還是僅需一個上傳圖片的動作，它就能將復雜數(shù)學公式轉換為LaTeX代碼，并以正確格式輸出。
OCR與文本處理
當然，Kimi-VL對多模態(tài)數(shù)據(jù)的正確理解還離不開一項關鍵能力——OCR字符識別。
在OCRBench基準測試中，其得分為867，屬于SOTA水平。
除了識別數(shù)學公式，它還能識別金融表格（以Markdown表格格式輸出）和手寫作文。
甚至還能從長達一小時的視頻課程中捕捉和理解關鍵細節(jié)。
比如提供視頻中的某句話“授人以魚不如授人以漁”，要求它找到出處并進一步解讀。
智能體任務與交互
值得關注的是，Kimi-VL還在多輪Agent交互任務（例如OSWorld）中表現(xiàn)出色，取得了媲美旗艦模型的SOTA結果。
比如在Chrome瀏覽器中，要求它自動啟用“Do Not Track”功能來保護用戶隱私。
可以看到，通過一步步思考，Kimi-VL對每個屏幕進行解讀，識別相關的用戶界面元素，并通過清晰的思路、操作和API調用按順序執(zhí)行相應的操作。
背后技術原理
那么接下來的問題是，怎么做到的？
來看Kimi此次公開的技術報告。
首先，在模型架構上，Kimi-VL和Kimi-VL-Thinking主要由三大部分構成：
- MoE專家混合語言模型（之前發(fā)布的Moonlight-16B-A3B）
- 原生分辨率視覺編碼器（MoonViT，基于SigLIP-SO-400M微調）
- 一個多層感知機（MLP）投影器。
模型具體訓練過程如下：
數(shù)據(jù)準備
這第一步，團隊構建了三大類別數(shù)據(jù)集：
1、預訓練數(shù)據(jù)。精選來自六個類別的高質量數(shù)據(jù)，包括字幕數(shù)據(jù)、圖像文本交織數(shù)據(jù)、OCR數(shù)據(jù)、知識數(shù)據(jù)、視頻數(shù)據(jù)和智能體數(shù)據(jù)。通過過濾、合成和去重等操作，控制數(shù)據(jù)質量。
2、指令數(shù)據(jù)。用于增強模型的對話和指令遵循能力。對于非推理任務，通過人工標注構建種子數(shù)據(jù)集，訓練種子模型后生成并篩選多輪響應；對于推理任務，利用拒絕采樣的方式擴展數(shù)據(jù)集，確保數(shù)據(jù)多樣性和準確性。
3、推理數(shù)據(jù)。通過類似拒絕采樣和提示工程的方法，收集和合成高質量的長思維鏈數(shù)據(jù)。
預訓練：主要提升多模態(tài)能力
然后開始預訓練，這一階段共消耗4.4T tokens，主要目標是提高模型的多模態(tài)理解能力。
概括而言，這一過程包含4個步驟：先獨立進行ViT訓練，以建立原生分辨率視覺編碼器；隨后進行三個聯(lián)合訓練階段（預訓練、冷卻、長上下文激活）。
后訓練：主要提升長思維鏈推理能力
接著進行后訓練，通過在32K和128K上下文中進行的兩個階段的聯(lián)合監(jiān)督微調、長思維鏈監(jiān)督微調及強化學習，團隊進一步提升了模型的長期思考能力。
更多細節(jié)感興趣可以查閱原論文。
One More Thing
有一說一，相比于DeepSeek、Qwen等國內競爭對手，Kimi最近一個月實在有點過于安靜了。
從官方公眾號來看，最新一條發(fā)布還是在2月份。
在這股平靜之下，網(wǎng)友們開始猜測：
- Kimi即將有大動作了？
結合更多消息，目前大家比較認可的推測是K1.6模型即將到來。
就在3月，基于Kimi-K1.6的數(shù)學模型突然曝光，在編程基準測試LiveCodeBench中拿下第一，超越o3、DeepSeek-R1等模型。
當然，也歡迎更多知情者在評論區(qū)爆料(doge)。
熱門跟貼