視頻號：黃益賀YouTube / Medium: huangyihe以下為視頻內(nèi)容的文字版

在本地跑開源大模型,，目前最好的軟件肯定是Ollama,。

不管你用的是PC、Mac,，甚至是樹莓派,，都能通過Ollama運(yùn)行大大小小的模型。而且擴(kuò)展性極強(qiáng),。

我準(zhǔn)備分幾期詳細(xì)介紹Ollama的用法,。今天這期,，先介紹三點(diǎn)：

怎么用Ollama在本地運(yùn)行大模型。

在跑本地大模型的同時,，使用像ChatGPT那樣的Web UI,。

打造完全本地化的知識庫。

大家如果有更好的建議,，或者在安裝和使用過程中有什么問題,，可以到newtype知識星球來找我。

Ollama

安裝Ollama超級簡單,。到官網(wǎng)ollama.com或者.ai下載對應(yīng)版本就行,。安裝完成之后，在終端里輸入ollama run,，后邊接想要運(yùn)行的大模型名稱就行,。比如：ollama run llama2。這時系統(tǒng)會自動下載對應(yīng)的大模型文件,。

如果你不確定大模型的名稱,，到官網(wǎng)的model子頁面就能找到目前所有支持的大模型。每一款大模型都有不同的版本,，根據(jù)你的需求,、機(jī)器的內(nèi)存大小，選擇對應(yīng)版本,，然后復(fù)制命令就行,。

一般來說，7b的模型至少需要8G RAM,，13b需要16G,，70b需要64G。大家量力而為,，不然跑起來真的非?？D。

在默認(rèn)情況下,，你需要在終端里與大模型做交互,。不過這種搞法真的太古老了。我們肯定是希望在一個現(xiàn)代的,、圖形化的界面里操作,。這時候就要用到Open WebUI了。

Open WebUI

要安裝Open WebUI,，需要先安裝Docker,。

你可以把Docker簡單理解為就是一個虛擬的容器。所有應(yīng)用和依賴都打包成一個容器,，然后再在系統(tǒng)上運(yùn)行,。

Docker搞定之后,，復(fù)制GitHub里的這行命令到終端里執(zhí)行。一切順利的話,，打開一個本地鏈接,，就能看到非常眼熟的界面了,。

這個WebUI,，除了具備基本的聊天功能之外，還包含了RAG能力,。不管是網(wǎng)頁還是文檔,，都可以作為參考資料給到大模型。

你如果想讓大模型讀取網(wǎng)頁內(nèi)容的話,，在鏈接前面加個#就行,。

你如果想讓大模型讀取文檔的話，可以在對話框的位置導(dǎo)入,，也可以在專門的Documents頁面導(dǎo)入,。

在對話框里輸入#，會出現(xiàn)已經(jīng)導(dǎo)入的所有文檔,。你可以選中一個,，或者干脆讓大模型把所有文檔都作為參考資料。

如果你的要求不是太高,，那么做到這一步就OK了,。如果你想對知識庫有更多的掌控，就下載這個軟件：Anything LLM,。

AnythingLLMOllama其實(shí)有兩種模式：

聊天模式

服務(wù)器模式

所謂服務(wù)器模式,，你可以簡單理解為，Ollama在后端運(yùn)行大模型,，然后開放一個端口給到別的軟件,，讓那些軟件可以調(diào)用大模型的能力。

要開啟服務(wù)器模式非常簡單,。在終端里輸入兩個單詞：ollama serve,。

啟動之后，把這個默認(rèn)鏈接填到Anything LLM里,。這時,，軟件會通過鏈接讀取可以加載的模型。這些模型是用來生成內(nèi)容的模型,。

除此之外,，搭建一個知識庫，會涉及到另外兩個關(guān)鍵：

Embedding Model,，嵌入模型,。它負(fù)責(zé)把高維度的數(shù)據(jù)轉(zhuǎn)化為低維度的嵌入空間,。這個數(shù)據(jù)處理過程在RAG中非常重要。

Vector Store,，向量數(shù)據(jù)庫,，專門用來高效處理大規(guī)模向量數(shù)據(jù)。

這兩個我們都用默認(rèn)的,。這樣一來,，整套系統(tǒng)都跑在你的電腦上。當(dāng)然,，你也可以選擇全部跑在云端,，比如，大模型和嵌入模型都用OpenAI的,，向量數(shù)據(jù)庫用Pinecone,，都可以。

完成最基礎(chǔ)的三個設(shè)置之后,，就可以進(jìn)入主界面了,。這款軟件的邏輯我挺喜歡的，它有一個Workspace的概念,。在每一個Workspace內(nèi)部,，可以創(chuàng)建各種聊天窗口，可以導(dǎo)入各種文檔,。

所以,，你可以根據(jù)項(xiàng)目來創(chuàng)建Workspace，一個項(xiàng)目建一個,。然后,，把關(guān)于這個項(xiàng)目的所有文檔、所有網(wǎng)頁都導(dǎo)入Workspace,。最后,，聊天模式還有兩種可以設(shè)置：

對話模式：大模型會根據(jù)你給的文檔，以及它本來就有的知識儲備,，綜合起來回答,。

查詢模式：大模型只是簡單地針對文檔進(jìn)行回答。

這個就是我前邊說的,，Anything LLM比Open WebUI更進(jìn)階的地方,，完全可以滿足個人對知識庫的需求。我已經(jīng)把它作為我在桌面端Workflow的核心,。

等這兩期視頻做完,，我專門出一期，講講我目前在用的AI工具和工作流吧,。