一位開發(fā)人員獨自花了一個周末的時間，嘗試在老式的 DOS 機器上運行 Llama 2 大語言模型。得益于隨時可用的開源代碼，該項目最終成功了。然而，將 Llama 2 適配到古老的 DOS 環(huán)境并非易事。

打開網(wǎng)易新聞 查看精彩圖片

Yeo Kheng Meng 是一位程序員，曾因開發(fā) ChatGPT 的 DOS 客戶端而聞名。最近，他啟動了一個新的 AI 相關(guān)項目，專注于過去基于提示的計算環(huán)境。他的最新成果是一個完全基于 DOS 的大型語言模型 (LLM)，可以離線執(zhí)行推理任務(wù)。

FreeDOS 項目指出，孟使用 Meta 于 2023 年發(fā)布的 Llama 2 模型開發(fā)了DOS LLM 客戶端。這位程序員在搭載新舊組件的系統(tǒng)上測試了該軟件，并在 Thinkpad T42（2004 年）和東芝 Satellite 315CDT（1996 年）之間進行了驚人的性能對比。不出所料，在舊系統(tǒng)上運行 LLM 耗時許久。

他借助 llama2.c（一個旨在快速將 Llama 2 模型移植到各種系統(tǒng)和硬件平臺的開源項目）開發(fā)了一個功能齊全的 DOS LLM。Meng解釋說，盡管 llama2.c 的編寫初衷是提高可移植性，但它仍然需要進行一些編碼調(diào)整，以應(yīng)對傳統(tǒng)計算環(huán)境的挑戰(zhàn)。

程序員必須選擇合適的 DOS 擴展工具才能訪問超過傳統(tǒng) 640KB 常規(guī)內(nèi)存的更大 RAM 池。他還必須修改 OWC 編譯器，因為 llama2.c 需要功能相對先進的 C 編譯器。在調(diào)整編譯過程后，Meng 創(chuàng)建了一個可以在他的 DOS 系統(tǒng)上運行的、功能齊全的 llama2 二進制文件。

這位程序員對幾臺運行 MS-DOS 6.22 的系統(tǒng)進行了基準測試，從老式的 486 DX2 66MHz PC 到現(xiàn)代的基于 Ryzen 的臺式機。不出所料，新系統(tǒng)提供了更快的推理速度。令人驚訝的是，搭載 1.7GHz Pentium M 處理器的 ThinkPad T42 的性能甚至超過了 16 年后發(fā)布的 ThinkPad X13G1。

Meng將 llama2.c 的測試、文檔編寫以及移植到 DOS 的過程描述為一個周末的項目。他感謝開源 llama2.c 的 Andrej Karpathy 使這一切成為可能。