01、本地大模型越來越簡單

經(jīng)過了一年多時間的迭代,，大模型種類繁多,，使用也越來越簡單了。

在本地跑大模型,，個人認(rèn)為目前最好的軟件肯定是Ollama無疑了,，

不管你是在PC上跑大模型，在Mac上跑大模型,，還有在樹莓派上跑大模型,，

我們都可以用Ollama去跑各種大大小小的模型，而且它的擴(kuò)展性非常強(qiáng),。

02,、Ollama本地運(yùn)行大模型

現(xiàn)在安裝Ollama超級簡單的，只需要進(jìn)入Ollama官網(wǎng)下載安裝包,，然后安裝即可,。

以下是我個人安裝為例（macOS系統(tǒng)）：

• 1、下載

• 2,、安裝

直接點(diǎn)擊Next：

• 3,、命令查看

• 4,、運(yùn)行

• 其他說明

如果自己不確定模型名稱可以去官網(wǎng)查看模型

每款大模型都有不同版本，根據(jù)自己的機(jī)器來選擇,，根據(jù)官網(wǎng)的文檔也說明了,，一般7B的模型至少需要8G的內(nèi)存，13B的模型至少需要16G內(nèi)存,，70B的模型至少需要64G內(nèi)存,。

03、使用Web UI界面連接Ollama

ollama沒有界面化的頁面使用,，它是在終端里交互的,，所有我們要使用圖形化的界面里去操作，這是我們可以使用Open WebUI,。

Open WebUI是一個開源的Web UI界面,，github地址：https://github.com/open-webui/open-webui

• 1、下載和運(yùn)行

使用Docker方式運(yùn)行Open WebUI,，直接一條命令解決下載和運(yùn)行：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

命令解釋：

• -d：后臺運(yùn)行
• -p 3000:8080：將容器的8080端口映射到主機(jī)的3000端口
• --add-host=host.docker.internal:host-gateway：添加主機(jī)映射,，用于訪問主機(jī)的Docker容器
• -v open-webui:/app/backend/data：將主機(jī)的open-webui目錄映射到容器的/app/backend/data目錄
• --name open-webui：設(shè)置容器名稱
• --restart always：設(shè)置容器總是重啟
• ghcr.io/open-webui/open-webui:main：鏡像地址

啟動日志：

注意：open-webui啟動時有點(diǎn)慢，需要等待一會,?？梢酝ㄟ^docker logs open-webui查看日志。紅框的可以不用理會,。

• 2,、注冊

第一次使用時需要進(jìn)行注冊，這個數(shù)據(jù)都是本地存儲。

• 3,、登錄

• 4、open-webui使用界面

• 4,、設(shè)置

• 5,、模型選擇

04,、本地化知識庫

1,、open-webui界面文檔設(shè)置

2,、加載網(wǎng)頁或者文檔

在對話窗口通過#+鏈接加載網(wǎng)頁,，通過對話框的+上傳文件,，也可以在文檔中導(dǎo)入。

如果對知識庫有更高的需求,，可以使用AnythingLLM這個軟件,，github地址：https://github.com/Mintplex-Labs/anything-llm