需要具備的條件

1、獨立顯卡,，6G及以上

2,、主板支持虛擬化

3、windows系統(tǒng)或者mac

4,、windows系統(tǒng)默認安裝大模型在c盤,，磁盤剩余空間至少10G以上（后面會有修改存儲路徑的方法）

5、windows安裝powershell（建議安裝,，也可以不安裝）

安裝步驟（以windows11為例）

1,、安裝git git-scm.com/downloads 安裝后，運行cmd,，執(zhí)行g(shù)it -v,，返回版本信息，則證明安裝成功

2,、開啟虛擬化

開啟后，重啟電腦以便生效,。

3,、安裝docker www.docker.com/products/do…

下載后雙擊安裝docker

4、安裝ollama ollama.com/download

安裝完后運行,，打開瀏覽器訪問測試頁面： http://127.0.0.1:11434/

顯示“Ollama is running”

5,、克隆github上的項目 創(chuàng)建一個目錄，例如G:\damoxing,，進入目錄,，點擊右鍵“在終端打開” 以管理員身份打開cmd執(zhí)行命令：git clone github.com/open-webui/…

6、啟動容器

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-
webui:main

7,、下載模型 打開gemma站點,，選擇models

點開鏈接,，選擇版本后，copy命令

在cmd中粘貼執(zhí)行：ollama run llama2-chinese:13b

8,、打開頁面,，注冊、登錄 打開鏈接：http://localhost:3000/auth

9,、其它一些設(shè)置 登錄后,，點擊左下角選擇settings，可以根據(jù)自己的需求修改,。

10,、測試

在最上端選擇模型后就可以對話了。

“你們抓周樹人關(guān)我魯迅什么事,？”這句話是什么意思

可以看出中文方面還是很拉胯的,，不如國內(nèi)做得好。

映射模型存儲目錄

如果你的c盤目錄不夠大,，可以執(zhí)行以下步驟

1,、退出正在占用C:\Users\Administrator.ollama\models\blobs\目錄的程序，這里是docker和ollama

2,、將C:\Users\Administrator.ollama\models\blobs\目錄重命名,，例如改成blobs_bak

3、以管理員身份運行cmd

4,、執(zhí)行以下命令

# 切換到指定目錄
cd C:\Users\Administrator\.ollama\models 
# 創(chuàng)建目錄符號鏈接
mklink /D blobs\ F:\ollamacache
# 注：切換到指定目錄的原因是直接執(zhí)行創(chuàng)建目錄符號鏈接時報錯“系統(tǒng)找不到指定的路徑,。”（猜測原因是因為含有隱藏目錄）

5,、將C:\Users\Administrator.ollama\models\blobs\目錄下的模型數(shù)據(jù),，復(fù)制到新的目錄F:\ollamacache下【一定不要忘記】

6、啟動ollama和docker,，可以正常啟動,，且能找到已經(jīng)安裝過的模型，則證明創(chuàng)作成功,。

7,、測試：下載新的模型，c盤存儲沒有增加,，而是存儲到了F:\ollamacache目錄下,，且能夠正常使用。

8,、最后,，刪除備份的數(shù)據(jù)blobs_bak

如何系統(tǒng)的去學(xué)習(xí)大模型LLM ？

大模型時代,，火爆出圈的LLM大模型讓程序員們開始重新評估自己的本領(lǐng),。 “AI會取代那些行業(yè),？”“誰的飯碗又將不保了？”等問題熱議不斷,。

事實上,，搶你飯碗的不是AI，而是會利用AI的人,。

繼科大訊飛,、阿里、華為等巨頭公司發(fā)布AI產(chǎn)品后,，很多中小企業(yè)也陸續(xù)進場,！超高年薪，挖掘AI大模型人才,！ 如今大廠老板們,，也更傾向于會AI的人，普通程序員,，還有應(yīng)對的機會嗎,？

與其焦慮……

?