На сегодняшний день самая совершенная нейросеть на базе NLP (то есть, алгоритмов распознавания текста) -GPT-3.
Это нейросеть-трансформер, которая способна генерировать связные ответы в диалоге с человеком. Объем используемых ей данных и параметров в 100 раз превосходит предыдущее поколение — GPT-2.
Однако даже самые продвинутые трансформеры, обученные на огромных массивах данных не понимают смысла слов и фраз, которые они генерируют.
Для их обучения нужны огромные массивы данных и вычислительные ресурсы, которые, в свою очередь, оставляют большой углеродный след.
Еще одна проблема — несовершенство датасетов для обучения нейронных сетей: тексты в интернете часто содержат искажения, манипуляции и откровенные фейки.
Это нейросеть-трансформер, которая способна генерировать связные ответы в диалоге с человеком. Объем используемых ей данных и параметров в 100 раз превосходит предыдущее поколение — GPT-2.
Однако даже самые продвинутые трансформеры, обученные на огромных массивах данных не понимают смысла слов и фраз, которые они генерируют.
Для их обучения нужны огромные массивы данных и вычислительные ресурсы, которые, в свою очередь, оставляют большой углеродный след.
Еще одна проблема — несовершенство датасетов для обучения нейронных сетей: тексты в интернете часто содержат искажения, манипуляции и откровенные фейки.