Всю предыдущую неделю я болела, но потом у Янника (автора GPT4chan и разборов множества статей по ML) появился новый видос:
https://www.youtube.com/watch?v=ZTs_mXwMCs8&ab_channel=YannicKilcher
с разбором статьи https://galactica.org/static/paper.pdf , и я немного воспряла духом.
В статье рассказывают про модель GALACTICA, которая может выполнять всевозможные вспомогательные функции при написании научных статей: выдавать название статьи, которую нужно процитировать в данном месте вашей статьи, генерировать summary (abstract, introduction), осуществлять reasoning в несложных задачках, переводить формулы в словесное описание, "узнавая" при этом известные формулы. Модель может делать и обратную процедуру: по словесному описанию генерировать математические/химические формулы и код на Python, угадывая названия и источники известных формул, а также решать другие вспомогательные задачи.
Видно, что авторы хорошо постарались над тестированием своего изобретения на большом множестве датасетов, большую из которых я не знаю, поэтому не могу содержательно прокомментировать.
Модель по сути представляет из себя большой трансформер с большим "окном" восприятия текста без bias'ов, предобученный на очень большом объеме научных текстов в несколько этапов. Авторы описали датасеты для предобучения и токенизацию, но не стали подробно описывать сами постановки задач предобучения, сославшись на статью про модель ExT5. К сожалению, ту статью читать мне лень.
По всей видимости, комбинация способностей к построению простых рассуждений, уместному цитированию, генерации кода и "понимания" формул (хоть и в определенных пределах) позволяет модели в теории генерировать целые куски статей, а то и правдоподобно выглядящие статьи целиком со сравнительно небольшим участием человека. Из-за этого статья вызвала бурление на тему "Из-за вот таких вот моделей наука выродится, слипнувшись в одного огромного корчевателя ( https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%87%D0%B5%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C_(%D1%81%D1%82%D0%B0%D1%82%D1%8C%D1%8F) ), обмен научным знанием станет невозможным, и человечеству придет конец! Нужно их запретить!". В видео Янник подробно разбирает данное бурление и дает свой комментарий.
К модели доступен публичный API: https://github.com/paperswithcode/galai , так что ее можно испытать самостоятельно.
А вы что думаете? Нужно ли как-то ограничивать использование подобных моделей, как в целом противодействовать атакам корчевателей и какой ваш любимый видос Янника?
#объяснения_статей
https://www.youtube.com/watch?v=ZTs_mXwMCs8&ab_channel=YannicKilcher
с разбором статьи https://galactica.org/static/paper.pdf , и я немного воспряла духом.
В статье рассказывают про модель GALACTICA, которая может выполнять всевозможные вспомогательные функции при написании научных статей: выдавать название статьи, которую нужно процитировать в данном месте вашей статьи, генерировать summary (abstract, introduction), осуществлять reasoning в несложных задачках, переводить формулы в словесное описание, "узнавая" при этом известные формулы. Модель может делать и обратную процедуру: по словесному описанию генерировать математические/химические формулы и код на Python, угадывая названия и источники известных формул, а также решать другие вспомогательные задачи.
Видно, что авторы хорошо постарались над тестированием своего изобретения на большом множестве датасетов, большую из которых я не знаю, поэтому не могу содержательно прокомментировать.
Модель по сути представляет из себя большой трансформер с большим "окном" восприятия текста без bias'ов, предобученный на очень большом объеме научных текстов в несколько этапов. Авторы описали датасеты для предобучения и токенизацию, но не стали подробно описывать сами постановки задач предобучения, сославшись на статью про модель ExT5. К сожалению, ту статью читать мне лень.
По всей видимости, комбинация способностей к построению простых рассуждений, уместному цитированию, генерации кода и "понимания" формул (хоть и в определенных пределах) позволяет модели в теории генерировать целые куски статей, а то и правдоподобно выглядящие статьи целиком со сравнительно небольшим участием человека. Из-за этого статья вызвала бурление на тему "Из-за вот таких вот моделей наука выродится, слипнувшись в одного огромного корчевателя ( https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%87%D0%B5%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8C_(%D1%81%D1%82%D0%B0%D1%82%D1%8C%D1%8F) ), обмен научным знанием станет невозможным, и человечеству придет конец! Нужно их запретить!". В видео Янник подробно разбирает данное бурление и дает свой комментарий.
К модели доступен публичный API: https://github.com/paperswithcode/galai , так что ее можно испытать самостоятельно.
А вы что думаете? Нужно ли как-то ограничивать использование подобных моделей, как в целом противодействовать атакам корчевателей и какой ваш любимый видос Янника?
#объяснения_статей