Интересное открытие flex дня.
Или не BERT и LLM живёт земля...
Был сегодня на встрече со своими коллегами по цеху и даже с бывшими коллегами по работе.
Вот один из таких коллег, сообщил, что моя модель пару лет была бессменно в одном важном сервисе по автоматизации поддержки звонков клиентов крупного банка...😎
Что же за модель спросите вы?
BERT? Нет. GPT? Нет.
Ответ:
BiLSTM+attention+glove и fastext💃 эмбеддинги. Обучены конечно эмбы на логах той же системы. Как сейчас помню 15 гигов логов.
Обучение на CPU макбука в ночь перед уходом с работы, утром проверил метрики и собрал новую ветку на релиз... Вот такие пирОги.
Забавно, что все несли BERTы (ну как же хайпово), а приросту значимого не было...
А вы LLM, трансформеры.. Остальное умерло (хотя кто-то уже и BERTы хоронит).
Кстати тут прошёл сорев, где один человек завёл классик пайп на DeBERTa + почистил данные, ушёл на месяц в свои дела. Через месяц внезапная радость 3е место, золото, призовые. А вокруг один decoder-like...🚬
Говорит закат энкодеров пошёл... Ага щаз... Всему своё место.
Выводы: юзайте сначала что-то простое, если уже сливки с метрики собрали, упёрлись в потолок, усложняйте пайп, чтобы правый хвост добить качества. Если оно вам конечно надо.
Или не BERT и LLM живёт земля...
Был сегодня на встрече со своими коллегами по цеху и даже с бывшими коллегами по работе.
Вот один из таких коллег, сообщил, что моя модель пару лет была бессменно в одном важном сервисе по автоматизации поддержки звонков клиентов крупного банка...
Что же за модель спросите вы?
BERT? Нет. GPT? Нет.
Ответ:
BiLSTM+attention+glove и fastext
Обучение на CPU макбука в ночь перед уходом с работы, утром проверил метрики и собрал новую ветку на релиз... Вот такие пирОги.
Забавно, что все несли BERTы (ну как же хайпово), а приросту значимого не было...
А вы LLM, трансформеры.. Остальное умерло (хотя кто-то уже и BERTы хоронит).
Кстати тут прошёл сорев, где один человек завёл классик пайп на DeBERTa + почистил данные, ушёл на месяц в свои дела. Через месяц внезапная радость 3е место, золото, призовые. А вокруг один decoder-like...
Говорит закат энкодеров пошёл... Ага щаз... Всему своё место.
Выводы: юзайте сначала что-то простое, если уже сливки с метрики собрали, упёрлись в потолок, усложняйте пайп, чтобы правый хвост добить качества. Если оно вам конечно надо.