自開年以來以DeepSeek為代表的AI工具火出了天際,工作中的許多瑣碎事兒都可以交給AI來完成。不過對于商業(yè)體來說,提升生產(chǎn)力效率是一回事,數(shù)據(jù)隱私安全就是另一回事了。
像奶爸公司最近就發(fā)了通知,對DeepSeek工具的使用做了諸多要求,并且嚴禁將部分資料上傳到非本地化部署的AI中。
奶爸最近剛好在修訂制度,目標是將現(xiàn)行的37個制度整合為7個制度,不讓用DeepSeek不就要了我的老命了,果斷帶自費購買的零刻SER9 Pro Mini PC到公司本地化部署DeepSeek,直接當著合規(guī)同事的面上傳公司制度到DeepSeek(手動狗頭),舒服 。
▼自從DeepSeek問世以來,眾多玩家對于本地化部署的追求就沒有停過,剛開始大家都以為只有硬核的獨立顯卡才能進行本地化部署,后來大家發(fā)現(xiàn)通過CPU+內(nèi)存 以及 核顯GPU+內(nèi)存的形式都能實現(xiàn),真正讓DeepSeek本地化部署走進了千家萬戶。
對于AMD核顯目前比較推薦使用LM Studio進行部署,對核顯的支持更好,部署也更加簡單。搜索引擎搜索LM Studio就能找到LM Studio,提醒一下官網(wǎng)的后綴是ai,別進了那個jewellery的網(wǎng)站。
▼DeepSeek對內(nèi)存帶寬相對來說還是比較敏感的,理論上帶寬越高,響應速度會更快一點。零刻SER9 Pro采用8000MHz的美光板載LPDDR5內(nèi)存,在DeepSeek的使用上更有優(yōu)勢一些,AMD AI 365處理器搭載的Radeon 880M核顯也是目前核顯第一梯隊領頭羊的存在。
▼零刻SER9 Pro共有兩個型號,高配版采用AMD AI 9 HX370處理器,搭載Radeon 890M核顯,標準版搭載AMD AI 9 HX365處理器,相較高配版便宜600,更具性價比。
▼相較上代銳龍8000系列,AMD銳龍AI 300系列處理器大幅更新了架構,CPU升級為Zen5大小核架構,核心更多,能效比更高;核顯GPU則升級為了RDNA3.5架構,Radeon 880M有12個核心,Radeon 890M更是升級到了16顆;NPU則是升級到了XDNA2架構,AI算力達到了50 TOPS(不過目前LM Studio暫時無法讓NPU加入運算)。
▼零刻SER9 Pro延續(xù)了SER8/SEi14的經(jīng)典設計,一體式金屬機身造型以及圓潤的倒角相當精致,對比Mac mini M4有電源鍵方便實用,保留有USB-A接口的優(yōu)勢(手動狗頭)。
▼SER9 Pro采用下進風/后出風散熱風道設計,背面與地板采用塑膠材質,保證冷熱通道徹底隔離。講道理SER9 Pro著實很安靜,即便是高負載之下風扇的聲音只會像自然中的風聲,不會有風扇高速轉動的那種風切的聲音。
▼SER9 Pro一如既往的大滿貫的接口配置,前面板3個接口+背面8個接口,既保證了高度的擴展性也兼顧了便利性;電源依舊是小巧的航嘉代工120W,不論是外出攜帶還是收納都很便利。
▼SER9 Pro AI 365版在嶄新出廠的時候跑分在140萬+.
▼
不過我的機器已經(jīng)被我折騰了蠻久,魯大師、360幫我裝了蠻多的實用軟件,造成紙面性能測試數(shù)據(jù)稍微低了點,不重要。
▼LM Studio軟件的安裝很簡單,基本上一路Next就行。
▼我的零刻SER9 Pro搭在了1TB英睿達SSD,而且平時也沒有分盤符的習慣,這里就裝在了C盤,如果大家有分盤符,而且C盤容量比較小,建議不要部署在C盤,包括之后存儲模型也是。
▼打開LM Studio軟件后,右上角位置有一個skip onboarding的按鈕,點擊跳過。
▼接著點擊Select a model to load按鈕,進行大模型下載。
▼搜索DeepSeek R1 Distill,注意要選擇GGUF后綴(格式)。
▼實測8B與14B Q4模型都能夠較為流暢的運行,小伙伴們可以自行選擇,根據(jù)我收集的信息來看Qwen相對來說更適合中文大語言模型,不過實測下來Qwen與Llama個人感覺不出來差異。點擊右下角的Download即可進行下載,實測不適用魔法也能正常下載,速度在2-3MB/s所有。
▼下載完成后就可以選擇對應的模型進行加載了,默認情況下LM Studio會使用CPU進行運算,個人更建議使用GPU模式運行,一方面能避免CPU高負載電腦的超級卡頓,另一方面GPU模式在顯存占用和響應速度上更具優(yōu)勢,更適合性能要求較高的場景。
▼打開手動選擇模型加載參數(shù)按鈕,使用零刻SER9 Pro搭載的Radeon 880M核顯進行運行。
▼找到GPU OFFload這個控制選項,直接把數(shù)量拉滿,如果你選用了中文會看到是GPU卸載,不用理會。
▼這時候我們就可以正式加載蒸餾模型了,不過LM Studio會提示可能會造成設備高負載,這時候我們需要將策略改為“關閉”,反正我試了一下最寬松的策略也不允許加載。
▼接著我們要設置系統(tǒng)給GPU分配的內(nèi)存(約等于顯存那么個意思),零刻SER9 Pro默認給到的是4GB。
▼重啟計算機瘋狂點擊鍵盤的Del按鈕進入到BIOS。
▼進入到BIOS Advanced功能標簽頁,選擇AMD CBS功能。
▼選擇NBIO Common Options選項。
▼進入到GFX Configuration功能。
▼在Dedicated Graphics Memory位置就可以選擇配置給核顯的內(nèi)存數(shù)量。
▼零刻SER9 Pro的 BIOS預設了8G、16G、24G多個選項,用戶可以很方便的進行選擇?;旧?B模型給到8G就夠用了。
▼全都設置好以后F4保存并退出BIOS,電腦重新啟動。
▼這時候再調用DeepSeek R1模型,可以看到GPU已經(jīng)快樂的奔跑起來了,雖然混合運行(CPU、GPU同時調用)的情況下,CPU占用率也蠻高,但是系統(tǒng)流暢度會提高不少。
▼8B Q4蒸餾模型下10.32Token/s在使用中基本上高度可用。
▼14B Q4蒸餾模型下8.22Token/s,相對7B模型并不會感覺到有明顯的差異。不過注意使用14B模型要分配16GB內(nèi)存給核顯就是了。
▼零刻官方對SER9 Pro370和SER9 Pro365本地部署DeepSeek的性能測試,感興趣的小伙伴可以再了解下。
▼在3DMARK上,使用Fire Strike(DX11)、Time Syp(DX12)、Speed Way(DX12 Ultimate)、Port Royal(光追)四個個基準項目進行測試,他們分別能夠反映主流網(wǎng)游、近幾年的3A大作、以及光追性能,Steel Nomad則能夠提現(xiàn)高性能游戲電腦性能。通過量化的數(shù)據(jù)能夠方便我們進行不同設備之間的橫向對比。
▼最終測試結果如下:
Night Raid :39655;Fire Strike :9929,Time Spy :3501分;Steel Nomad Light:3360。零刻SER9 Pro HX365 搭載的AMD Radeon 880M核顯的設備相較于前一代的Radeon 780M有著顯著的性能提升,超高頻的內(nèi)存頻率也起到了相當重要的作用。
▼游戲性能測試這里,我們分別測試了網(wǎng)游LOL、競速類游戲地平線5、老牌3A 古墓麗影暗影、吃配置小怪獸賽博朋克2077以及霍格沃茲之遺。3A大作在1080P分辨率全高畫質下也能有48幀以上的成績,不追求極致的畫面用Mini PC玩游戲也挺好的。
▼常用AMD的小伙伴們都知道,在AMD處理器上我們一般都是追求低延遲,對高頻不敢有什么奢望,但是零刻SER9 Pro卻搭載了4 * 8(32GB)lpddr5內(nèi)存,就還蠻離譜的,不得不測一下了。
▼通過AIDA64進行測試,讀取速度90.74GB/s,寫入速度為109.29/s,復制速度為80.58GB/s,延遲138.1ns,復制速度相當不錯,非常適合用來做大模型項目部署。
高性能迷你主機市場中,零刻有著美觀的設計與極致的性價比。
對于SER9 Pro來說,AMD銳龍AI 9 365處理器10核20線程設計,最高加速頻率達5.0GHz,輕松應對多任務處理與高負載應用,Radeon 880M核顯RDNA 3.5架構,12CU單元,2900MHz頻率,性能堪比入門獨顯,完全是一步到位入坑即退坑之選。
如果同時追求性能與更極致的性價比,那么SER8 8745HS版本也是不錯的選擇。