Совсем недавно команда Google представила методику предварительной тренировки систем обработки естественного языка.

BERT (Bidirectional Encoder Representations from Transformers) помогает ИИ-моделям получить «общее представление о языке» на больших объемах

неразмеченного текста.



#новостьдня



Ссылка на GitHub:

https://github.com/google-research/bert



А здесь можно посмотреть как работает BERT:

https://jalammar.github.io/illustrated-bert/