Love. Death. Transformers.

26 December 2022 20:42

#чтивонаночь

P-Tuning v2: Prompt Tuning Can Be
Comparable to Fine-tuning Universally Across Scales and Tasks [ACL2022]

Да кто такой этот ваш p tuning...
у v1 версии ptuning была очень "забавная" проблема, он слабо работал на моделях 2б + параметров, о чем авторы умолчали.

Что нового в v2
- докинули эмбединги в начало, а не в конец, добавили эмбединги на все слои в итоге качетсво выросло на 1-2 пункта на почти всех задачах
- Э, ну все, это бустануло скоры почти до уровня обычного FT

github
arxiv