Contrastive Search — метод, позволяющий трансформерам генерировать текст уровня человека. Он обеспечивает баланс между вероятностью и разнообразием.
Кратко:
- ●Contrastive Search улучшает качество генерации текстов
- ●Метод объединяет вероятность и разнообразие
- ●Доступен в библиотеке Hugging Face
transformers - ●Требуется осторожность при использовании с float16
Contrastive Search: новый подход к генерации текста
В ноябре 2022 года Hugging Face представила новый метод декодирования — Contrastive Search. Этот подход позволяет трансформерам генерировать текст, сравнимый по качеству с человеческим. В основе метода лежит баланс между вероятностью выбора следующего токена и штрафом за его избыточное сходство с контекстом.
Как работает Contrastive Search?
Contrastive Search сочетает два критерия: вероятность, предложенную моделью, и штраф за максимальную косинусную близость к предыдущим токенам. Это позволяет избежать повторов и поддерживать связность текста. Гиперпараметр α контролирует этот баланс: при α = 0 метод становится аналогичным жадному поиску.
