關(guān)于 Deepseek R1 以及其他大模型常見的一些問題

Deepseek R1 是什么?

深度求索人工智能基礎(chǔ)模型（簡稱“深度求索”或“DeepSeek”）是由深度求索（北京）科技有限公司開發(fā)的國產(chǎn)大語言模型。該模型基于深度學(xué)習(xí)技術(shù)，具備理解和生成人類語言的能力，可廣泛應(yīng)用于文本生成、對話交互、問答系統(tǒng)等領(lǐng)域。

DeepSeek-R1 是深度求索公司推出的具體模型版本，具備高性能的自然語言處理能力，能夠處理復(fù)雜的文本生成任務(wù)，理解和生成自然流暢的文本，適用于多種應(yīng)用場景，幫助用戶高效完成各種任務(wù)。

為什么要本地部署?

雖然云端部署成本更低，很多服務(wù)商甚至提供了一鍵部署選項(xiàng)，Deepseek 官方也提供了網(wǎng)頁/APP 訪問，但我們?nèi)杂袔讉€(gè)理由來進(jìn)行本地部署:

• 簡單的學(xué)習(xí)部署方法與應(yīng)用，輸入代碼/選擇模型的時(shí)候，看到一些參數(shù)/名詞然后搜索一下或者直接問大模型這些名詞/參數(shù)是什么意思，也是理解 AIGC 的一種方式(請自行搜索什么是 AIGC)
• 本地 AI 不依賴網(wǎng)絡(luò)，部署完成后可以斷網(wǎng)使用(不會(huì)出現(xiàn)某些軟件/APP 結(jié)果自動(dòng)加馬賽克的問題)
• 數(shù)據(jù)私密/安全性

當(dāng)然從成本和性能來說，云端部署成本更低，也支持部署更大參數(shù)量的模型。受限于大部分用戶的 RAM 和顯卡顯存大小，本地是不太可能部署諸如671B 參量的完整模型的。

參數(shù)量是什么?

在大型語言模型（如深度求索的 DeepSeek-R1）中，參數(shù)是指模型內(nèi)部用于表示和處理信息的變量。這些參數(shù)是模型通過訓(xùn)練學(xué)習(xí)到的數(shù)值，用于描述模型如何將輸入轉(zhuǎn)換為輸出。

簡單來說，參數(shù)的數(shù)量決定了模型的復(fù)雜性和能力。一般來說，參數(shù)越多，模型的表達(dá)能力越強(qiáng)，但同時(shí)也會(huì)消耗更多的計(jì)算資源和內(nèi)存。

例如
DeepSeek-R1-Distill-Qwen-7B-Q8，這里的 7B 就是參數(shù)量為 7Billon(70億)，而 DeepSeek-R1-Distill-Qwen-14B-Q8 的參數(shù)量為 14Billon(14億)。（這里的 Qwen 指本模型基于 Qwen 大模型進(jìn)行蒸餾得來)

Q2/Q4/Q8 是什么?

量化的詳細(xì)概念超出本文范疇，但下載/部署模型的時(shí)候，會(huì)有很多不同量化參數(shù)模型可供選擇，我個(gè)人一般選擇 Q8 來獲得相對更高的精度。

Q 值越大模型文件大小和所需的 RAM/顯存就越大，在零刻官方基于 SER9 Pro 系列機(jī)器測試 AI 性能的數(shù)據(jù)中，可以看到相同模型不同 Q 值所占用的 RAM 值。

我這里使用的是零刻 SER9 Pro，配置為 AMD AI 9 H365 + 32GB LPDDR5x + 1TB SSD，一般主流 16GB/32GB 的機(jī)器都可以正常安裝和使用7B/14B 模型。

token 是什么?

這里我直接把問題丟給了 DeepSeek R1，它的回答其實(shí)是比較準(zhǔn)確和清晰的，我們需要簡單的記住 token 生成速度(token/s)越快，生成答案的速度也就越快。

蒸餾/Distill 是什么?

可以簡單的人位蒸餾是一種壓縮算法，它不是通過訓(xùn)練一個(gè)參數(shù)量較小的模型，而是將一個(gè)訓(xùn)練參數(shù)量更大的模型蒸餾為一個(gè)較小的模型。較小的模型可以使用更少的 RAM 和存儲(chǔ)，獲得更快的速度，降低部署的成本。

但蒸餾畢竟是一種類似壓縮的方式，蒸餾后的相對小體積的模型能力必然是落后于更大體積的模型，以 DeepSeek-R1 官方在 AIME2024、MATH-500、GPQA、LiveCodeBench、CodeForces 等測試下的結(jié)果，可以看出隨著整理模型由 32B → 14B → 7B → 1.5B，得分是依次降低的。

但好消息是
DeepSeek-R1-Distill-Qwen-32B 已經(jīng)超越了 OpenAI o1-mini，而體積更小的 DeepSeek-R1-Distill-Qwen-14B 和 32B 差距并不大，DeepSeek-R1-Distill-Qwen-14B 模型所需的 16GB 內(nèi)存或是顯存獲得的成本也并不是非常高。

目前我使用的機(jī)器是零刻的 SER9 Pro，CPU 是 AMD AI9 365，GPU 部分是集成的 880M 核顯，32GB 總內(nèi)存。從速度上來說純 GPU 模式會(huì)比 CPU 更快，但如果分配的顯存不足，一旦從專屬顯存溢出到通用內(nèi)存，生成速度(token/s)會(huì)受到比較明顯的影響。

考慮到我這臺(tái)機(jī)器并不只是運(yùn)行 AI，日常也有辦公、游戲、娛樂等需求，我目前使用的方案是將32GB 內(nèi)存劃分 16GB 給核顯。模型部分則使用
DeepSeek-R1-Distill-Qwen-14B(-Q8)，這樣既能兼顧日常使用，同時(shí)也可以有比較大的顯存供 LM Studio 和 Amuse 使用。

另外零刻官方基于 LM Studio，測試了 SER9 Pro 系列兩款機(jī)器，純 CPU、純 GPU 模式下生成 token 的速度，大家可以參考一下。

需要說明的是 token/s 計(jì)算是存在一定誤差的，這里對比了同樣 GPU 模式下零刻 SER9 Pro HX370 和 H365 的成績，相對規(guī)格稍低的 SER9 Pro AI 9 H365 生成速度比 HX370 更高，這部分差距應(yīng)該就是測試誤差造成的。不過反過來也說明 SER9 Pro AI 9 H365 的性能和規(guī)格稍高的 SER9 Pro HX370 基本是屬于同一水準(zhǔn)。

另外由于 AI 9 系列 CPU 性能很強(qiáng)，在
DeepSeek-R1-Distill-Qwen-14B-Q2 測試?yán)?，無論是 AI 9 HX370 還是 H365，CPU 生成速度都是略快于 GPU 的。如果你使用 Q2 之類的模型，或者是 7B-Q8，那么純 CPU 模式效果會(huì)更好。

Ollama 部署 DeepSeek-R1

Ollama 和 LM Studio 都是比較方便的部署工具，不過對于初學(xué)者個(gè)人更推薦 Ollama，雖然使用 Ollama 要輸入命令行。但是以實(shí)際體驗(yàn)來說，Ollama 的網(wǎng)絡(luò)訪問更通暢，無需換源或是對網(wǎng)絡(luò)有額外的要求(這部分不是能說的)。軟件安裝也非常簡單，直接官網(wǎng)下載后，一路下一步確認(rèn)即可完成安裝。

模型部分可以直接在頂部搜索欄搜索，也可以在下方主頁點(diǎn)擊模型名稱進(jìn)行跳轉(zhuǎn)。

Windows 系統(tǒng)下有兩個(gè)工具自帶工具可以使用 Ollama，分別是傳統(tǒng)的 CMD 和更新一些的 PowerShell，方法如下:

• Win 鍵，輸入 CMD，打開 CMD/命令提示符
• Win 鍵，輸入 PowerShell，打開 Windows PowerShell

以 CMD 為例，打開 Ollama 后輸入 "ollama" 后回車，應(yīng)該可以看到如下圖這樣多行的提示。

安裝/運(yùn)行模型的命令可以直接在 Ollama 的官網(wǎng)復(fù)制，在網(wǎng)頁上先選擇模型參數(shù)量，再點(diǎn)擊右側(cè)的復(fù)制按鈕。回到 CMD 內(nèi)，CTRL+V 快捷鍵粘貼命令，回車后即可開始下載/運(yùn)行對應(yīng)模型。

例如，我這里安裝 DeepSeek-R1:14b，直接輸入如下命令運(yùn)行即可:

• ollama run deepseek-r1:14b (注意單詞間的空格)

第一次運(yùn)行后下方會(huì)顯示下載(pulling xxxx)，下載完成后會(huì)自動(dòng)運(yùn)行該模型，已經(jīng)下載過的模型則會(huì)直接運(yùn)行了。(也就是對于 ollama 而言 run 即可用于下載也可以用于運(yùn)行)

如果想要查看本機(jī)已經(jīng)安裝的模型，直接輸入 ollama list 然后回車即可。

如何計(jì)算 token 生成速度?方法是加一個(gè)命令 --verbose，比如運(yùn)行命令是:

• ollama run deepseek-r1:14b

如果要計(jì)算生成速度，那么就修改為:

• ollama run deepseek-r1:14b --verbose (注意是兩個(gè)-)
• 在生成答案結(jié)束后，會(huì)紫銅統(tǒng)計(jì)總用時(shí)、生成速度(eval rate)等信息

One More Thing:Chatbox 調(diào)用 Ollama

當(dāng)然使用命令行只是為了安裝大模型，實(shí)際調(diào)用時(shí)更建議使用單獨(dú)的 UI 類工具，比如常用的 Chatbox。作為一款免費(fèi)的工具，Chatbox 可以支持 Ollama 在內(nèi)很多 API 的調(diào)用，無論是本地部署還是云端部署，Chatbox 都是一款值得考慮的助手類工具。

Chatbox 的安裝方式也沒有太多可說的，官網(wǎng)下載然后一路下一步即可，再配置 Chatbox 之前，建議先打開瀏覽器，輸入:

• 127.0.0.1:11434 (主要這里:是英文符號)并回車訪問

如果看到 Ollama is running 的字樣，說明 Ollama 已經(jīng)在后臺(tái)成功運(yùn)行。

這時(shí)打開 Chatbox，選擇——使用自己的 API Key 或本地模型

因?yàn)槲覀兪潜镜赝ㄟ^ Ollama 部署，所以這里選擇——Ollama API

Chatbox 默認(rèn)就會(huì)填入 Ollama 的 API 域名，如果你是使用局域網(wǎng)設(shè)備部署，則需要替換 127.0.0.1 為對應(yīng)主機(jī)的 IP 地址。頁面內(nèi)還需要選擇模型，這里點(diǎn)擊下方模型選擇對應(yīng) Ollama 內(nèi)的模型文件名(例如這里我是調(diào)用上面安裝的 deepseek-r1:14b)即可。

然后在界面內(nèi)，輸入問題等待生成回答即可，一般沒有意外這里就可以正常使用了。

Chatbox 本身也支持其他很多 API，包括但不限于本地 LM Studio，云端各種主流云服務(wù)，這部分內(nèi)容大家可以自行挖掘，本文就不再贅述了。