|
LLMPruner是一個(gè)大語(yǔ)言模型裁剪工具,，通過(guò)對(duì)大語(yǔ)言模型的冗余詞表進(jìn)行裁剪,，減少模型參數(shù)量，降低顯存占用,，提升訓(xùn)練速度,，并且能夠保留預(yù)訓(xùn)練中學(xué)習(xí)到的知識(shí)。 大語(yǔ)言模型(LLM, Large Language Model)猶如雨后春筍般,，其雖然效果驚艷,，但參數(shù)量巨大，讓普通玩家望而卻步,。 如今的大語(yǔ)言模型大多為多語(yǔ)種大預(yù)言模型(Multilingual Large Language Model),，如LLaMA、mT5,、Bloom等,，其詞表規(guī)模巨大，占據(jù)非常大部分的模型參數(shù),，如Bloom具有25萬(wàn)詞表,。 在訓(xùn)練模型時(shí)，詞表權(quán)重將會(huì)消耗非常大的顯存,，降低訓(xùn)練速度,，產(chǎn)生OOM的現(xiàn)象。 然而在許多下游任務(wù)中,，我們往往只需要使用到一兩種語(yǔ)言,，例如在中文場(chǎng)景中，一般只會(huì)用到中英文,。 我們可以對(duì)大語(yǔ)言模型的詞表進(jìn)行裁剪,，只留下所需的部分，這樣不僅能夠充分保留模型的預(yù)訓(xùn)練知識(shí),，并且能夠使用更少的顯卡進(jìn)行下游任務(wù)的finetune,，提升訓(xùn)練效率。   傳送門：( |
|
|
