Как создавали «НейроПепперштейна»
📖 В конце мая издательство Individuum презентовало результат смелого проекта — книгу «Пытаясь проснуться», состоящую из 24 рассказов. Одна половина написана писателем и художником Павлом Пепперштейном, а вторая — генеративной речевой моделью «НейроПепперштейн», разработанной в Сбере. Читатель волен сам определить, какие тексты созданы человеком, а какие — машиной. Поверьте, это будет трудно!
По велению Души, литературный критик из издания о книгах и чтении «Горький» Иван Напреенко поговорил с Сергеем Марковым — главой команды, создавшей «НейроПепперштейна». Полный текст по ссылке ниже в Telegraph. А для затравки цитата:
У моделей, подобных GPT-3, вообще такая особенность — они пишут текст слева направо. То есть словно взял писатель ручку, и ничего не зачеркивая, написал от начала до конца свой текст. Конечно, сейчас изучаются более изощренные способы генерации текста, больше похожие на то, как их пишет человек. Например, когда модель может сгенерировать сначала конец текста, потом начало, затем середину, а конец вновь переписать. Подобный процесс более свойственен людям, и его уже могут реализовать разные архитектуры «кодировщик — декодер», которыми мы сейчас занимаемся.
Вообще, весь следующий год нашей работы будет посвящён в том числе более прогрессивным способам генерации. Например, мы учим модели запоминать сложные иерархические отношения в текстах. Сейчас с помощью нейросетевых моделей можно написать неплохие рассказы, как я считаю, но трудности будут при попытке создать «Войну и мир».
📖 В конце мая издательство Individuum презентовало результат смелого проекта — книгу «Пытаясь проснуться», состоящую из 24 рассказов. Одна половина написана писателем и художником Павлом Пепперштейном, а вторая — генеративной речевой моделью «НейроПепперштейн», разработанной в Сбере. Читатель волен сам определить, какие тексты созданы человеком, а какие — машиной. Поверьте, это будет трудно!
По велению Души, литературный критик из издания о книгах и чтении «Горький» Иван Напреенко поговорил с Сергеем Марковым — главой команды, создавшей «НейроПепперштейна». Полный текст по ссылке ниже в Telegraph. А для затравки цитата:
У моделей, подобных GPT-3, вообще такая особенность — они пишут текст слева направо. То есть словно взял писатель ручку, и ничего не зачеркивая, написал от начала до конца свой текст. Конечно, сейчас изучаются более изощренные способы генерации текста, больше похожие на то, как их пишет человек. Например, когда модель может сгенерировать сначала конец текста, потом начало, затем середину, а конец вновь переписать. Подобный процесс более свойственен людям, и его уже могут реализовать разные архитектуры «кодировщик — декодер», которыми мы сейчас занимаемся.
Вообще, весь следующий год нашей работы будет посвящён в том числе более прогрессивным способам генерации. Например, мы учим модели запоминать сложные иерархические отношения в текстах. Сейчас с помощью нейросетевых моделей можно написать неплохие рассказы, как я считаю, но трудности будут при попытке создать «Войну и мир».