BERT (Bidirectional Encoder Representations from Transformers) — языковая модель на архитектуре трансформеров, разработанная Google в 2018 году. Это первая крупная модель, эффективно учитывающая контекст с обеих сторон слова для глубокого понимания текстов. BERT считается предшественником современных LLM, но не может генерировать связный текст так же, как GPT.
Пример
Google Search использует BERT для лучшего понимания сложных поисковых запросов и точного сопоставления их с релевантными страницами.