大家好，我是 Ai 學(xué)習(xí)的老章
我對(duì)阿里通義千問十分喜愛，單說私有化部署，成本比 DeepSeek 低很多倍。私有化部署 DeepSeek- V3 或 R1，純硬件成本保底 150 萬（英偉達(dá) H20 141GB 版），如果是國產(chǎn)算力，保底 200 萬了。但阿里的推理模型 QwQ:32B，只需要 4 張 4090 就行了（成本 10 幾個(gè) w），表現(xiàn)非常優(yōu)異，很多場景可以替代 DeepSeek。具體參看 [[2025-03-22-大模型推理引擎vllm，啟動(dòng)QwQ-32B]] 而多模態(tài)大模型 Qwen2.5-VL-32B 也只需要 4 張卡，7B 只需要 1 張！
Qwen2.5-VL 簡介
Qwen2.5-VL 是阿里通義千問團(tuán)隊(duì)開源的旗艦視覺語言模型，有 3B、7B、32B、72B 等不同規(guī)模。該模型在視覺理解方面表現(xiàn)出色，能夠識(shí)別常見物體，分析圖像中的文本、圖表等元素。
Qwen2.5-VL 具備作為視覺 Agent 的能力，可以推理并動(dòng)態(tài)使用工具，初步操作電腦和手機(jī)。在視頻處理上，Qwen2.5-VL 能夠理解超過 1 小時(shí)的長視頻，精準(zhǔn)定位相關(guān)片段捕捉事件。模型還支持發(fā)票、表單等數(shù)據(jù)的結(jié)構(gòu)化輸出。
Qwen2.5-VL 在多個(gè)性能測試中表現(xiàn)優(yōu)異，在文檔和圖表理解方面優(yōu)勢明顯，7B 模型在多項(xiàng)任務(wù)中超越了 GPT-4o-mini。模型的推出為開發(fā)者提供了強(qiáng)大的工具，能夠在多種應(yīng)用場景中發(fā)揮重要作用。
本文我們主要介紹 Qwen2.5-VL-7B 本地化部署
下載模型
從 modelscope 下載，畢竟 huggingface 網(wǎng)不通。
模型文件：https://modelscope.cn/models/Qwen/Qwen2.5-VL-7B-Instruct/files
安裝 modelscope：pip install modelscope
下載完整模型庫：modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir /home/data-local/qwen25VL
將模型下載到指定的本地目錄 "/home/data-local/qwen25VL" 中。
一共 16 個(gè) GB
推理引擎選擇 vLLM
安裝 vllm：pip install vllm
運(yùn)行大模型：
CUDA_VISIBLE_DEVICES=4 vllm serve /ModelPath/Qwen2.5-VL-7B-Instruct --port 8000 --host 0.0.0.0 --dtype bfloat16 --limit-mm-per-prompt image=5,video=5 --max-model-len 16384我的機(jī)器前 4 張卡被占用了，所以我是用第五張卡來啟動(dòng) Qwen2.5-VL-7B，指定 CUDA_VISIBLE_DEVICES=4（第一張卡編號(hào)是 0）
使用
直接上 openweb-ui
安裝：pip install open-webui
運(yùn)行：open-webui serve
瀏覽器打開 http://locahost:8080
如果是服務(wù)器部署，把 localhost 改為服務(wù)器 ip
正常注冊(cè)登陸
右上角點(diǎn)擊頭像，點(diǎn)擊管理員面板
點(diǎn)擊設(shè)置 - 外部鏈接，照著抄一下，api key 隨便填寫
然后回到前端，左上角添加模型那里就可以找到 Qwen2.5-VL-7B-Instruct 了
上傳圖片，隨便問個(gè)問題，回答很精準(zhǔn)
再來一張
它的回復(fù)是： 這一張圖片是一張帶有文字的圖，描繪了兩個(gè)人的臉部，一個(gè)表情平靜，另一個(gè)表情有些驚訝或困惑。圖片下的文字寫著："產(chǎn)品說，做一個(gè)需求：手機(jī)搖一搖，讓周圍人的支付寶余額都轉(zhuǎn)我卡里！" 這句話的字面含義是指開發(fā)人員提出一個(gè)荒謬的需求，即通過搖手機(jī)來實(shí)現(xiàn)將附近人的支付寶余額轉(zhuǎn)移到他們的卡里。這種需求顯然是不現(xiàn)實(shí)和技術(shù)上不可行的。這幅圖可能用于表達(dá)對(duì)不臺(tái)理或無法實(shí)現(xiàn)的技術(shù)需求的諷刺或幽默。
卡不夠的同學(xué)，真的可以試試這個(gè) 7B 版本。開源做到這個(gè)程度，屬實(shí)無可挑剔了。
88
制作不易，如果這篇文章覺得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見！
熱門跟貼