LLaMA

簡介 ： LLaMA

LLaMA 代表 大型語言模型元 AI,。它包括從 7 億到 65 億個參數(shù)的一系列模型大小,。Meta AI 研究人員專注于通過增加訓(xùn)練數(shù)據(jù)量而不是參數(shù)數(shù)量來擴展模型的性能。他們聲稱 13 億個參數(shù)模型的性能優(yōu)于 GPT-175 模型的 3 億個參數(shù),。它使用轉(zhuǎn)換器架構(gòu),，并通過網(wǎng)絡(luò)抓取維基百科，GitHub,，Stack Exchange,，古騰堡項目的書籍，ArXiv上的科學(xué)論文提取了1.4萬億個代幣,。

Python Code ： LLaMA

# Install Package
pip install llama-cpp-python

from llama_cpp import Llama
llm = Llama(model_path='./models/7B/ggml-model.bin')
output = llm('Q: Name the planets in the solar system? A: ', max_tokens=128, stop=['Q:', '\n'], echo=True)
print(output)

在模型路徑中,，您需要具有 GGML 格式的 LLaMA 權(quán)重，然后將其存儲到模型文件夾中,。你可以在擁抱臉網(wǎng)站上搜索它,。在此處查看其中之一

Alpaca

簡介 ： Alpaca

斯坦福大學(xué)的一組研究人員開發(fā)了一種名為 .它基于元維基的大規(guī)模語言模型。該團隊使用OpenAI的GPT API（text-davinci-003）來微調(diào)LLaMA 7億（7B）參數(shù)大小的模型,。該團隊的目標(biāo)是讓每個人都能免費獲得人工智能,，以便院士可以進行進一步的研究，而不必?fù)?dān)心執(zhí)行這些內(nèi)存密集型算法的昂貴硬件,。盡管這些開源模型不可用于商業(yè)用途,，但小型企業(yè)仍然可以利用它來構(gòu)建自己的聊天機器人。AlpacaLLaMA

Alpaca如何工作

斯坦福大學(xué)團隊從LLaMA模型中最小的語言模型開始研究,，即LLaMA 7B模型,，并用1萬億個代幣對其進行預(yù)訓(xùn)練。他們從自指令種子集中的 175 個人類編寫的指令輸出對開始,。然后,，他們使用OpenAI API要求ChatGPT使用種子集生成更多指令。它將獲得大約52,，000個樣本對話,，該團隊使用這些樣本來使用Hugging Face的訓(xùn)練框架進一步微調(diào)LLaMA模型,。

LLaMA 有多種尺寸 - 7B、13B,、30B 和 65B 參數(shù),。Alpaca也擴展到13B,，30B和65B型號,。

性能 ： Alpaca

Alpaca 模型在電子郵件創(chuàng)建、社交媒體和生產(chǎn)力工具等任務(wù)中與 ChatGPT 進行了測試,，Alpaca 贏了 90 次,，而 ChatGPT 贏了 89 次。該模型可以在現(xiàn)實世界中用于各種目的,。這將對研究人員進行道德人工智能和網(wǎng)絡(luò)安全活動（如檢測詐騙和網(wǎng)絡(luò)釣魚）有很大幫助,。

限制：Alpaca

與ChatGPT的商業(yè)版本一樣，Alpaca也有類似的局限性,，即遭受幻覺,，毒性和刻板印象。換言之,，它可以用來生成文本,，向社會弱勢群體傳播錯誤信息、種族主義和仇恨,。

內(nèi)存要求 ： Alpaca

它不能在CPU上運行,，需要GPU。對于 7B 和 13B 型號,，它需要一個具有 12GB RAM 的 GPU,。對于 30B 型號，您需要更多系統(tǒng)資源,。

Python代碼：Alpaca

我已經(jīng)創(chuàng)建了Colab代碼,。您可以使用它作為參考。由于我使用的是 Colab 的免費版本,，因此我運行的是最小的型號 7B,。您可以將其更改為 13B 和 30B。

與 ChatGPT 的商業(yè)界面類似,，代碼的輸出會在 Gradio 中創(chuàng)建 Web 界面,。此外，您可以將此界面用于演示目的并與同事或客戶共享,。

import sys
sys.path.append('/usr/local/lib/python3.9/site-packages')

!nvidia-smi

!git clone https://github.com/deepanshu88/Alpaca-LoRA-Serve.git

%cd Alpaca-LoRA-Serve
!python3.9 -m pip install -r requirements.txt

base_model = 'decapoda-research/llama-7b-hf'
finetuned_model = 'tloen/alpaca-lora-7b'

!python3.9 app.py --base_url $base_model --ft_ckpt_url $finetuned_model --share

import sys
sys.path.append('/usr/local/lib/python3.9/site-packages')

!nvidia-smi
!git clone https://github.com/deepanshu88/Alpaca-LoRA-Serve.git
  
%cd Alpaca-LoRA-Serve
!python3.9 -m pip install -r requirements.txt
  
base_model = 'decapoda-research/llama-7b-hf'
finetuned_model = 'tloen/alpaca-lora-7b'

!python3.9 app.py --base_url $base_model --ft_ckpt_url $finetuned_model --share

上面的代碼支持比 7B 更大的語言模型。請參閱下面的參考資料,。7B和13B可以在colab的免費版本中使用,。對于30B,，您需要購買高級版的colab。

  
- decapoda-research/llama-7b-hf
- decapoda-research/llama-13b-hf
- decapoda-research/llama-30b-hf

  
- tloen/alpaca-lora-7b
- chansung/alpaca-lora-13b
- chansung/alpaca-lora-30b

輸出 ： Alpaca

請參閱下面的輸出,，其中我問了兩個相對兩個相對簡單的問題,。一個與通用主題有關(guān)，另一個與編碼有關(guān),。它正確地回答了這兩個問題,。

GPT4All

簡介 ： GPT4All

Nomic AI 團隊從 Alpaca 中汲取靈感，使用 GPT-3.5-Turbo OpenAI API 收集了大約 800,，000 個提示響應(yīng)對,，以創(chuàng)建 430，000 個助理式提示和世代的訓(xùn)練對,，包括代碼,、對話和敘述。800K對大約是Alpaca的16倍,。該模型最好的部分是它可以在CPU上運行,，不需要GPU。像Alpaca一樣,，它也是一個開源,，可以幫助個人進行進一步的研究，而無需花費商業(yè)解決方案,。

GPT4All 如何工作

它的工作原理類似于Alpaca,，并基于LLaMA 7B模型。該團隊對LLaMA 7B的模型進行了微調(diào),，最終模型在437,，605個后處理助手式提示上進行了訓(xùn)練。

性能 ： GPT4All

在自然語言處理中,，困惑用于評估語言模型的質(zhì)量,。它根據(jù)其訓(xùn)練數(shù)據(jù)衡量語言模型看到以前從未遇到過的新單詞序列的驚訝程度。較低的困惑度值表示語言模型更擅長預(yù)測序列中的下一個單詞,，因此更準(zhǔn)確,。Nomic AI團隊聲稱他們的模型比Alpaca具有更低的困惑度。真正的準(zhǔn)確性取決于您的提示類型,。在某些情況下,，Alpaca可能具有更好的準(zhǔn)確性。

內(nèi)存要求 ： GPT4All

它可以在具有8GB RAM的CPU上運行,。如果您有一臺具有4GB RAM的筆記本電腦,，可能是時候升級到至少8G

Python 代碼 ： GPT4All

Colab 代碼可供您使用。您可以將其用作參考,，根據(jù)需要對其進行修改,，甚至可以按原樣運行,。完全由您決定如何使用代碼來最好地滿足您的要求。

!git clone --recurse-submodules https://github.com/nomic-ai/gpt4all.git

cd /content/gpt4all
!python -m pip install -r requirements.txt

cd transformers
!pip install -e .

cd ../peft
!pip install -e .

!accelerate launch --dynamo_backend=inductor --num_processes=8 --num_machines=1 --machine_rank=0 --deepspeed_multinode_launcher standard --mixed_precision=bf16  --use_deepspeed --deepspeed_config_file=configs/deepspeed/ds_config.json train.py --config configs/train/finetune.yaml

cd /content/gpt4all/chat
!wget https:///public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin

!./gpt4all-lora-quantized-linux-x86

如果您在運行在 linux 以外的任何其他操作系統(tǒng)上的本地計算機上運行此功能,，請使用以下命令而不是上面的行,。

  
Windows (PowerShell): ./gpt4all-lora-quantized-win64.exe
Mac (M1): ./gpt4all-lora-quantized-OSX-m1
Mac (Intel): ./gpt4all-lora-quantized-OSX-intel

!git clone --recurse-submodules https://github.com/nomic-ai/gpt4all.git

cd /content/gpt4all
!python -m pip install -r requirements.txt

cd transformers
!pip install -e .

cd ../peft
!pip install -e .

!accelerate launch --dynamo_backend=inductor --num_processes=8 --num_machines=1 --machine_rank=0 --deepspeed_multinode_launcher standard --mixed_precision=bf16  --use_deepspeed --deepspeed_config_file=configs/deepspeed/ds_config.json train.py --config configs/train/finetune.yaml

cd /content/gpt4all/chat
!wget https:///public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin

!./gpt4all-lora-quantized-linux-x86

輸出 ： GPT4All

GPT4All 無法正確回答與編碼相關(guān)的問題。這只是一個例子,，無法根據(jù)它判斷準(zhǔn)確性,。它可能在其他提示中運行良好，因此模型的準(zhǔn)確性取決于您的使用情況,。此外,，當(dāng)我在 2 天后再次運行它時,，它適用于與編碼相關(guān)的問題,。他們似乎進一步完善了模型。

錯誤調(diào)試

如果您在 Mac 操作系統(tǒng)上遇到此問題,，那是因為您的計算機上未安裝 CUDA,。

一些用戶報告說他們在Windows平臺上遇到了一些奇怪的錯誤。作為最后的手段,，您可以安裝適用于Linux的Windows子系統(tǒng),，它允許您在Windows機器上安裝Linux發(fā)行版，然后可以按照上面的代碼進行操作,。

GPT4All-J

您一定想知道這個模型除了后綴“J”之外的名稱與前一個模型相似,。這是因為這兩個模型都來自Nomic AI的同一團隊。唯一的區(qū)別是它現(xiàn)在在 GPT-J 上訓(xùn)練,，而不是 LLaMa,。在 GPT-J 上訓(xùn)練它的好處是 GPT4All-J 現(xiàn)在是 Apache-2 許可的，這意味著您可以將其用于商業(yè)目的,，也可以輕松地在您的機器上運行,。

根據(jù)您的操作系統(tǒng)下載以下安裝程序文件。安裝完成后,，您需要在進行安裝的文件夾中導(dǎo)航“bin”目錄,。要啟動 GPT4All 聊天應(yīng)用程序，請在“bin”文件夾中執(zhí)行“聊天”文件,。該文件將在Linux上命名為“chat”,，在Windows上命名為“chat.exe”，在macOS上命名為“chat.app”

1. 窗戶
2. Linux目錄
3. 蘋果操作系統(tǒng)

Dolly 2

Databricks團隊基于EleutherAI的Pythia模型創(chuàng)建了大型語言模型,，后來他們對大約15,，000個記錄指令語料庫進行了微調(diào)。它屬于Apache 2許可證,，這意味著訓(xùn)練它的模型,，訓(xùn)練代碼,，數(shù)據(jù)集和模型權(quán)重都可以作為開源提供，因此您可以將其用于商業(yè)用途來創(chuàng)建自己的自定義大型語言模型,。

  
databricks/dolly-v2-12b on pythia-12b
databricks/dolly-v2-7b  on pythia-6.9b
databricks/dolly-v2-3b  on pythia-2.8b

內(nèi)存要求 ： Dolly 2

對于具有 10 位量化的 7B 型號,，它需要一個具有大約 8GB RAM 的 GPU,。對于 12B 型號，它至少需要 18GB GPU vRAM,。

Python代碼：Dolly2

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
  
baseModel = 'databricks/dolly-v2-12b'
load_8bit = True  
tokenizer = AutoTokenizer.from_pretrained('databricks/dolly-v2-12b')
model = AutoModelForCausalLM.from_pretrained(baseModel, load_in_8bit=load_8bit, torch_dtype=torch.float16, device_map='auto')
generator = pipeline(task='text-generation', model=model, tokenizer=tokenizer)

print(generator('Python code to remove duplicates from dataframe'))

Vicuna

簡介 ： Vicuma

來自加州大學(xué)伯克利分校,，CMU，斯坦福大學(xué)和加州大學(xué)圣地亞哥分校的研究人員團隊開發(fā)了這個模型,。它使用從ShareGPT網(wǎng)站提取的聊天數(shù)據(jù)集在LLaMA上進行微調(diào),。研究人員聲稱該模型在90%的質(zhì)量上得分超過OpenAI ChatGPT-4。值得注意的是,，它的性能幾乎與Bard相當(dāng),。他們使用了Alpaca的訓(xùn)練計劃，并在兩個方面進一步改進 - 多輪對話和長序列,。

Python代碼：Vicuna

您可以參考這篇文章 - LLaMA詳細(xì)指南來訪問python代碼和Vicuna模型的詳細(xì)說明,。

Alpaca GPT-4 Model

簡介 ： Alpaca GPT-4

您已經(jīng)在本文的上一節(jié)中了解了Alpaca。在這里,，一些研究人員通過在 GPT-4 數(shù)據(jù)集上訓(xùn)練它來改進原始的 Alpaca 模型,。請記住，斯坦福大學(xué)研究人員的原始Alpaca模型是基于GPT-3模型的,。此 GPT-4 模型在 LLaMA 13 億 （13B） 參數(shù)大小的模型上進行訓(xùn)練,。

Python代碼：Alpaca GPT-4

Alpaca GPT-4模型的Python程序在這里解釋 - Alpaca GPT-4詳細(xì)指南。

Cerebras-GPT

簡介 ： Cerebras-GPT

你們中的一些人以前可能沒有聽說過,。他們不像以制造GPU而聞名的NVIDIA那樣出名,，但他們也是一家專門制造高性能計算系統(tǒng)的技術(shù)公司。他們最近發(fā)布了包含七個基于 GPT 的語言模型的開源項目,，大小分別為 111.256 億,、590.1 億、3.2 億,、7 億,、6 億、7 億和 13 億個參數(shù),。Cerebras Systems

這些模型最好的部分是它們是免費提供的,，并且可以將其用于商業(yè)目的，因為它屬于Apache 2.0許可證,，而LLaMA帶有“非商業(yè)”許可證,，這意味著它們是免費的,，但只能用于研究目的。

此外,，它們還有 7 種不同尺寸的型號可供選擇,，這意味著您可以根據(jù)硬件配置選擇很多型號。如果您的硬件不允許試驗大型模型,，請選擇較小的模型,。

內(nèi)存要求 ： Cerebras-GPT

它需要具有 12GB RAM 的 GPU 來運行 1.3B 參數(shù)大小的 Cerebras-GPT 模型。

Python 代碼：Cerebras-GPT

在下面的程序中,，我們使用由隨機公司團隊開發(fā)的python包,。它允許開發(fā)人員有效地微調(diào)不同的大型語言模型。它們還使語法非常易讀且易于理解,。xTuring

在這里,，我們使用Alpaca dataset

可以參考此 Colab 代碼進行測試。在下面的代碼中,，我們使用Cerebras-GPT 1.3B模型

!pip install xturing --upgrade

!wget https://d33tr4pxdm6e2j./public_content/tutorials/datasets/alpaca_data.zip
!unzip alpaca_data.zip

from xturing.datasets.instruction_dataset import InstructionDataset
from xturing.models.base import BaseModel

instruction_dataset = InstructionDataset('/content/alpaca_data')
# Initializes the model
model = BaseModel.create('cerebras_lora_int8')

model.finetune(dataset=instruction_dataset)

output = model.generate(texts=['prime minister of India?'])
print('Generated output by the model: {}'.format(output))

微調(diào)模型需要大量的處理時間,，因此必須非常耐心。微調(diào)完成后,，您可以保存模型以供將來參考。

# Save Model
model.save('/path_directory')

# Load a fine-tuned model
finetuned_model = BaseModel.load('/path_directory')

In case the loading model returns error AssertionError: We were not able to find the xturing.json file in this directory, use the code below.
model = BaseModel.create('cerebras',weights_path='/path_directory')

GPT-J 6B

簡介 ： GPT-J 6B

GPT-J 6B由EleutherAI的研究人員開發(fā),。這不是一個新模型,，因為它是在 2021 年下半年發(fā)布的。它有 6 億個參數(shù),。它沒有 Meta 的 LLaMA 那么大,，但它在各種自然語言處理任務(wù)（如聊天、摘要和問答）上表現(xiàn)良好,。模型尺寸大并不一定意味著更準(zhǔn)確,。它在 TPU v402-3 Pod 上訓(xùn)練了 256 億個代幣。

與 Cerebras-GPT 一樣,，GPT-J 6B 也根據(jù) Apache 2.0 許可證獲得許可,，該許可證允許您將其用于商業(yè)目的。

Python代碼：GPT-J 6B

GPT-J 6B 的 Python 代碼類似于 Cerebras-GPT 的代碼,。唯一的變化是初始化基本模型，而不是BaseModel.create('gptj_lora_int8')BaseModel.create('cerebras_lora_int8')

OpenChatKit Model

簡介 ： OpenChatKit

OpenChatKit是一個用于創(chuàng)建聊天機器人的開源大型語言模型,，由Together開發(fā),。他們與LAION和Ontocord合作創(chuàng)建了訓(xùn)練數(shù)據(jù)集。它采用 Apache-2.0 許可證,，可以完全訪問源代碼,、模型權(quán)重和訓(xùn)練數(shù)據(jù)集,。該項目的目的是促進開源基礎(chǔ)模型的包容性、透明度和健壯性,。它擅長執(zhí)行各種任務(wù),，包括上下文中的摘要和問答，信息提取和文本分類,。

它有 20 億個參數(shù)在 43 萬個指令大小的訓(xùn)練數(shù)據(jù)集上訓(xùn)練,。它被稱為它還有一個基于ElutherAI的Pythia-7B模型的模型，稱為7B參數(shù)語言模型,。GPT-NeoXT-Chat-Base-20BPythia-Chat-Base-7B

演示 ： OpenChatKit

您可以在Hugging Face網(wǎng)站上查看該模型的演示

內(nèi)存要求 ： OpenChatKit

Pythia-Chat-Base-7B可以在具有12GB RAM的單個GPU上運行,。

Python 代碼：Pythia-chat-base-7B

您可以將 colab notebook 用于 Pythia-Chat-Base-7B。

# GPU Configuration
!nvidia-smi

# Install conda
!wget https://repo./miniconda/Miniconda3-latest-Linux-x86_64.sh && chmod +x Miniconda3-latest-Linux-x86_64.sh && ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local

# Setting up conda environment
!conda install mamba -n base -c conda-forge -y

!git clone https://github.com/orangetin/OpenChatKit.git --branch colab-example && cd OpenChatKit && mamba env create -f environment.yml
!source activate OpenChatKit && pip install bitsandbytes

# Download and run model
!source activate OpenChatKit && python OpenChatKit/inference/bot.py --model togethercomputer/Pythia-Chat-Base-7B --load-in-8bit

ChatRWKV

簡介 ： ChatRWKV

ChatRWKV由RWKV（100%RNN）語言模型提供支持,，這是唯一可以在質(zhì)量和縮放方面與變壓器相匹配的RNN,，同時速度更快并節(jié)省VRAM。該模型在 Alpaca,，代碼Alpaca數(shù)據(jù)集上進行了微調(diào),。

演示 ： ChatRWKV

該模型的演示可在擁抱臉網(wǎng)站上找到

Python 代碼 ： ChatRWKV

您可以使用 github 上可用的代碼構(gòu)建 Web 界面

弗蘭-T5

谷歌發(fā)布了開源LLM模型Flan-T5。它是多語言的,，并使用指令微調(diào)來提高預(yù)訓(xùn)練語言模型的性能和可用性,。它是 T5 的一種變體，在許多自然語言處理任務(wù)中可以更好地概括并優(yōu)于 T5,。

選擇

OPT是Meta在LLaMA之前發(fā)布的語言模型,。當(dāng)LLaMA發(fā)布時，它的表現(xiàn)優(yōu)于OPT.OPT是一個現(xiàn)在不應(yīng)該考慮的模型,，因為市場上已經(jīng)有許多更好的開源模型,，如上所示。

GPT 模型的比較

Alpaca GPT-4 和LLaMA模型是所有開源模型中最準(zhǔn)確,、最一致的模型,。如果您可以使用高功率機器，則建議使用這兩種型號,。在內(nèi)存要求方面,，GPT4ALL 不需要昂貴的硬件，可以在具有 8GB RAM 的 CPU 上運行,。如果您有預(yù)算/低端機器,，那就去吧。它在準(zhǔn)確性方面也不妥協(xié),。如果您想將該模型用于商業(yè)目的,，請選擇GPT4All-J，Dolly 2，OpenChatKit,，Cerebras-GPT和GPT-J 6B,。它們允許您分發(fā)軟件以供商業(yè)使用。