大家好，我是波導(dǎo)終結(jié)者。

在我寫這篇文章的這幾天，號(hào)稱32B能媲美DeekSeek-R1滿血671B的QwQ模型已經(jīng)放出來了，我還沒有完成完整的測(cè)試。今天先把前不久折騰的llama-70B本地部署整理出來與大家分享。因?yàn)橹坝行』锇榱粞裕f70B也是能跑的，慢點(diǎn)是慢點(diǎn)，自己本地折騰個(gè)樂呵。我想一想也有道理，但是具體什么樣才叫“能”跑，定義可能不一樣。最基礎(chǔ)的，能載入運(yùn)行，不崩，能正確出結(jié)果，再慢也叫能跑。那咱們就以這個(gè)定義為基礎(chǔ)，來看看本地?zé)o顯卡部署DeepSeek是否可行吧？

70B-Q4_K_M的模型大小為42.52GB，基本上得64G內(nèi)存才有戲，出于謹(jǐn)慎起見，這里我還是放到96G的機(jī)子上跑。而Q6模型有57.88G，Q8模型有74.98G，根據(jù)自己機(jī)子酌情選擇。CPU線程池拉滿，評(píng)估處理大小拉到1024，題目為“請(qǐng)幫我寫一篇年終總結(jié)，主角是程序員，每天工作24小時(shí)，每周工作6天”。實(shí)測(cè)CPU占用50-70%左右，雙通道內(nèi)存仍存在瓶頸但并未達(dá)到質(zhì)變程度，內(nèi)存占用54GB左右。4分43秒出結(jié)果，1.64 tok/sec，1233 tokens，6.79s to first token，還算可以接受。

但根據(jù)小伙伴反饋，70B在連續(xù)對(duì)話時(shí)會(huì)卡住。這里我測(cè)試了一下，要求繼續(xù)在原文基礎(chǔ)上修改。原文有“一天12杯黑咖啡”，“夢(mèng)到Terminal里的報(bào)錯(cuò)日志”，“公司attendance系統(tǒng)”，“用JSX來思考這個(gè)世界”這樣不合理，或者無必要英文的使用。我跟它說，“一天喝12杯咖啡會(huì)死人的，沒必要的英文請(qǐng)改成中文”。此時(shí)，小伙伴所反饋的疑似卡住的現(xiàn)象開始出現(xiàn)，雖然顯示4分24秒出結(jié)果，但是1.61 tok/sec，1183 tokens，1050.18s to first token。注意這個(gè)first token，換算一下，它先思考了17.5分鐘，才開始正式工作?？偟牡却龝r(shí)間已經(jīng)超過20分鐘。

但你說它能跑嗎？確實(shí)能跑，結(jié)果也很不錯(cuò)。沒有必要的英語單詞都換成了中文術(shù)語，“BUG，Deadline”等可以保留的都保留了，“JSX來思考世界”改成了“JavaScript來思考世界”。其他部分沒有叫它改的，也都沒有亂改。只是程序也好AI也好，思考方式和人類還是有區(qū)別，才會(huì)需要把之前的內(nèi)容都回鍋一遍吧。這里我叫它把程序員改成原畫師，正式計(jì)算結(jié)果之前又卡住好久。

隨著負(fù)載的加重，出結(jié)果的速度繼續(xù)變慢。5分19出結(jié)果，1.58 tok/sec，1239 tokens，1162.05s to first token，還不知道之前的Processing Prompt有沒有算進(jìn)去。結(jié)果倒是中規(guī)中矩，文章架構(gòu)幾乎沒換，只是把一些描述和字眼，從程序員相關(guān)，換成了畫師相關(guān)。

總的來看，本地部署70B，只要內(nèi)存夠，上下文不爆炸，慢是慢了點(diǎn)，倒也不能說不能用。至于最近冒出來的QwQ-32B，測(cè)試完再跟大家分享。

感謝大家的觀看，點(diǎn)贊和關(guān)注，我們下期再見。