大家似乎都在談?wù)揇eepSeek R1,，這款由國內(nèi)AI公司DeepSeek開發(fā)的全新開源AI語言模型。

一些用戶聲稱,，它在推理能力方面與OpenAI的o1不相上下,，甚至更強(qiáng)。

目前,，DeepSeek是免費(fèi)的,，這對用戶來說是個好消息，但也引發(fā)了一些問題,。

隨著用戶量的激增,，他們是如何管理服務(wù)器成本的呢？

硬件運(yùn)行成本應(yīng)該不便宜吧,？

一個合理的推測是——數(shù)據(jù),。

數(shù)據(jù)是AI模型的命脈。

他們可能通過某種方式收集用戶數(shù)據(jù),，這些數(shù)據(jù)可能對他們的量化交易模型有益,，或者用于其他形式的變現(xiàn)。

所以,，如果你擔(dān)心數(shù)據(jù)隱私,，但仍然希望使用R1而不共享數(shù)據(jù)，最好的方法就是在本地運(yùn)行該模型,。

什么是DeepSeek R1,？

幾天前，DeepSeek R1作為一個完全開源的模型亮相,，意味著任何人都可以獲取其底層代碼,，進(jìn)行修改，甚至根據(jù)自己的需求進(jìn)行微調(diào),。

從技術(shù)角度來看,，DeepSeek R1（通常縮寫為R1）來源于一個叫做DeepSeek-V3的大型基礎(chǔ)模型,。

研究團(tuán)隊(duì)通過結(jié)合高質(zhì)量人工標(biāo)注數(shù)據(jù)的監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)（RL）來優(yōu)化這個模型,。

結(jié)果是，一個能夠處理復(fù)雜提示,、揭示復(fù)雜問題背后推理步驟（有時比其他模型更透明）的聊天機(jī)器人,，甚至可以在聊天界面中呈現(xiàn)代碼進(jìn)行快速測試。

說實(shí)話,，真的非常令人印象深刻,，尤其是對于一個開源模型來說。

如何在本地運(yùn)行

要在本地運(yùn)行DeepSeek R1,，我們將使用一個叫做Ollama的工具,。

Ollama是一個免費(fèi)的開源工具，允許用戶在他們的計算機(jī)上本地運(yùn)行大型語言模型（LLM）,。它適用于macOS,、Linux和Windows。

訪問Ollama的官方網(wǎng)站,，點(diǎn)擊“下載”按鈕,，并將其安裝在你的系統(tǒng)上。

為了確認(rèn)安裝成功,，請打開終端并運(yùn)行以下命令：

你應(yīng)該能看到Ollama的版本號,，而不是錯誤信息。

在“模型”標(biāo)簽下,，搜索關(guān)鍵詞“deepseek”,，你應(yīng)該能在搜索列表的第一個位置看到“deepseek-r1”,。

點(diǎn)擊它后，在“模型”部分,，你會注意到有多個模型尺寸,，參數(shù)量從50億到6710億不等。作為一個經(jīng)驗(yàn)法則,，較大的模型需要更強(qiáng)大的GPU來運(yùn)行,。

像80億參數(shù)版本這樣的小模型可以在8GB顯存的GPU上運(yùn)行。而較大的模型則需要顯著更多的資源（參見下文的顯存和GPU要求部分）,。

要下載并運(yùn)行80億參數(shù)的模型,，請使用以下命令：

ollama run deepseek-r1:8b

模型將開始下載（大約4.9GB）。在繼續(xù)之前,，請確保你有足夠的磁盤空間,。

下載完成后，模型將在本地計算機(jī)上運(yùn)行,，你可以立即與其進(jìn)行對話,。

讓我們通過這個示例提示來測試一下：

提示：什么是 DeepSeek R-1？

回應(yīng)：DeepSeek-R-1 是由中國公司 DeepSeek 開發(fā)的 AI 助手,。它旨在提供多種主題的回答和幫助,，包括但不限于數(shù)學(xué)、編程,、自然語言處理等,。如果你有任何問題或需要幫助，隨時都可以問我,！

太棒了,。

它運(yùn)行速度很快，即使我斷開了筆記本的 Wi-Fi 連接,，它依然能夠工作,。請注意，即使你連接了互聯(lián)網(wǎng),，它也無法訪問網(wǎng)絡(luò),。

提示：AAPL 最新的股價是多少？

回應(yīng)：作為一個 AI 助手,，我無法訪問實(shí)時數(shù)據(jù),，因此無法提供蘋果公司（AAPL）的最新股價。為了獲取最準(zhǔn)確和最新的信息,，建議你查看財經(jīng)新聞平臺或你的經(jīng)紀(jì)服務(wù),。

Ollama 還能做的事情：

• 本地運(yùn)行 LLMs，包括 LLaMA2,、Phi 4,、Mistral 和 Gemma 2

• 允許用戶創(chuàng)建并分享自己的 LLMs

• 將模型權(quán)重,、配置和數(shù)據(jù)打包成一個單獨(dú)的包

• 優(yōu)化設(shè)置和配置細(xì)節(jié)，包括 GPU 使用

GPU 和顯存要求

DeepSeek-R1 的顯存需求取決于模型的大小,、參數(shù)數(shù)量和量化技術(shù)等因素,。以下是 DeepSeek-R1 及其精簡模型的顯存需求的詳細(xì)概述，以及推薦的 GPU：

關(guān)于顯存使用的關(guān)鍵說明：

• 大模型的分布式 GPU 設(shè)置：運(yùn)行 DeepSeek-R1-Zero 和 DeepSeek-R1 需要大量顯存,，因此需要分布式 GPU 配置（例如，在多 GPU 設(shè)置中使用 NVIDIA A100 或 H100）以獲得最佳性能,。

• 精簡模型的單 GPU 兼容性：精簡模型已經(jīng)優(yōu)化,，可在顯存需求較低的單個 GPU 上運(yùn)行，最低要求僅為 0.7 GB,。

• 額外的內(nèi)存使用：激活,、緩沖區(qū)和批處理任務(wù)可能會消耗額外的內(nèi)存。

為什么要本地運(yùn)行,？

當(dāng)然,，DeepSeek 的網(wǎng)頁聊天機(jī)器人和移動應(yīng)用是免費(fèi)的，非常方便,。

你無需做任何設(shè)置,，像 DeepThink 和網(wǎng)頁搜索等功能也內(nèi)置其中。但本地運(yùn)行它可能是更好的選擇,，原因如下：

隱私

當(dāng)你使用網(wǎng)頁或應(yīng)用版本時,，你的查詢和任何附件文件都會發(fā)送到 DeepSeek 的服務(wù)器進(jìn)行處理。

這些數(shù)據(jù)會發(fā)生什么,？

我們不知道,。將模型本地運(yùn)行可以確保你的數(shù)據(jù)留在你的計算機(jī)上，讓你完全控制自己的隱私,。

離線訪問

本地運(yùn)行模型意味著你不需要互聯(lián)網(wǎng)連接,。

如果你在旅行、遇到不穩(wěn)定的 Wi-Fi,，或者只是更喜歡離線工作,，本地設(shè)置讓你隨時隨地都可以使用 DeepSeek。

未來保障

目前 DeepSeek 的服務(wù)是免費(fèi)的,，但這不太可能永遠(yuǎn)持續(xù)下去,。

到某個時刻，它們可能需要盈利,，使用限制或訂閱費(fèi)用可能會出現(xiàn),。通過本地運(yùn)行模型，你可以完全避免這些限制,。

靈活性

使用本地版本時,，你不受默認(rèn)設(shè)置的限制,。

想要微調(diào)模型？將其與其他工具集成,？構(gòu)建自定義界面,？DeepSeek R1 的開源特性為你提供了無限的可能性。

總結(jié)

目前,，DeepSeek 如何處理用戶數(shù)據(jù)仍不明確,。如果你不太擔(dān)心數(shù)據(jù)隱私，使用網(wǎng)頁或移動應(yīng)用可能是更好的選擇,，因?yàn)樗鼈兏子谑褂?，并提?DeepThink 和網(wǎng)頁搜索等功能。

但如果你關(guān)心數(shù)據(jù)的去向,，本地運(yùn)行模型是一個值得考慮的好替代方案,。

DeepSeek 模型被設(shè)計為即使在硬件不算特別強(qiáng)大的情況下也能運(yùn)行良好。

雖然像 DeepSeek-R1-Zero 這樣的大模型需要分布式 GPU 設(shè)置,，但精簡版本使得在顯存要求更低的單個 GPU 上也能流暢運(yùn)行,。

本文同步自知識星球《AI Disruption》

我是Substack和Medium頂級編輯。還是獨(dú)立開發(fā),。