Сегодня и завтра на канале дни GPT-3: будет несколько постов c историями, связанными с этой технологией.
Если вы не знаете, что такое GPT-3: кратко, это языковая модель, которая умеет генерировать текст, практически не отличимый от настоящего. Пример использования: задать начало статьи (например, первое предложение) и попросить GPT-3 эту статью дописать. Получится связный грамматически и по смыслу текст: его будет сложно отличить от текста, написанного реальным человеком. Вот пример.
Однако с помощью GPT-3 можно генерировать не только текст: идею этой технологии можно развить и на множество других задач. Вот примеры технологий на основе GPT-3:
— чат-боты и question answering. В том числе чат-боты, которые могут вести себя похоже на определенного человека. Вот ссылка на наш пост, в котором рассказано про один такой. Эта история позволит осознать всю мощь этой технологии. Это одновременно восхитительно и реально пугающе.
— автоматическая генерация кода. Программисты скоро будут не нужны =) (шутка. Или нет...). Возможно вы слышали о Copilot — это утилита от OpenAI, которая помогает разработчикам писать код, автоматически дополняя большие куски кода. О Copilot мы писали тут.
— генерация дизайна сайта
— генерация резюме, pdf документов и даже сценариев фильмов: короче говоря, GPT-3 может сгенерировать все, что угодно, основанное на тексте и символах.
— генерация изображений. GPT-3 можно научить генерировать графики, мемы, логотипы компаний — все, что угодно. А также можно пойти дальше и соединить текст и изображения: нейросеть DALL·Е, которая умеет генерировать изображения по текстовому описанию, основана на GPT-3. О ней мы совсем недавно писали тут (тут же ссылки на места, где с этой сеткой можно поиграться)
— решение математических задач. GPT-3 можно обучить так, что в ответ на условие задачи по математике или логике она будет генерировать решение: такую модель недавно представили в OpenAI
Это лишь малая часть того, чему можно научить GPT-3. В целом, можно сказать так: GPT-3 можно научить генерировать что угодно, что представляется в виде последовательности. Вот сайты, где вы найдете больше примеров задач, которые решает GPT-3 и онлайн-демо: machinelearningknowledge.ai, gptcrush.com, gpt3demo.com, gwern.net
При этом стоит понимать, что GPT-3 — это просто языковая модель. Она хорошо учится "имитировать" человека: генерировать похожие на настоящие данные (текст, картинки, диалоги в чатах и т.д.), но не обладает "интеллектом": не умеет логически мыслить, не понимает, что такое человек и эмоции и т.д. GPT-3 не сможет объяснить, почему выдала тот или иной текст. На практике это значит, что текст, выданный GPT-3, будет связным с точки зрения грамматики и смысла, но можно содержать логические ошибки, расхождения; текст может быть даже оскорбительным. Иногда даже два рядом стоящих сгенерированных предложения могут противоречить друг другу. А если попросить GPT-3 сгенерировать текст доказательства теоремы с формулами, текст будет связным, но непоследовательным и нелогичным, а формулы не будут иметь смысла.
Даже чтобы натренировать GPT-3 на решение простых школьных задач (последний из примеров выше), потребовалось внести в процесс обучения модели дополнительные изменения. И то полученная модель решает задачки все еще плохо.
И хоть тексты и чат-боты на основе GPT-3 кажутся до ужаса "настоящими" и полными смысла — они всего лишь выглядят таковыми. GPT-3 отлично мимикрирует под человека, но не улавливая сути того, что она делает.
Вот такой это зверь — GPT-3. Одновременно пугающий (см 1 пример), восхищающий, и местами разочаровывающий.
Больше почитать про GPT-3: technologyreview.com, searchenterpriseai
Если вы не знаете, что такое GPT-3: кратко, это языковая модель, которая умеет генерировать текст, практически не отличимый от настоящего. Пример использования: задать начало статьи (например, первое предложение) и попросить GPT-3 эту статью дописать. Получится связный грамматически и по смыслу текст: его будет сложно отличить от текста, написанного реальным человеком. Вот пример.
Однако с помощью GPT-3 можно генерировать не только текст: идею этой технологии можно развить и на множество других задач. Вот примеры технологий на основе GPT-3:
— чат-боты и question answering. В том числе чат-боты, которые могут вести себя похоже на определенного человека. Вот ссылка на наш пост, в котором рассказано про один такой. Эта история позволит осознать всю мощь этой технологии. Это одновременно восхитительно и реально пугающе.
— автоматическая генерация кода. Программисты скоро будут не нужны =) (шутка. Или нет...). Возможно вы слышали о Copilot — это утилита от OpenAI, которая помогает разработчикам писать код, автоматически дополняя большие куски кода. О Copilot мы писали тут.
— генерация дизайна сайта
— генерация резюме, pdf документов и даже сценариев фильмов: короче говоря, GPT-3 может сгенерировать все, что угодно, основанное на тексте и символах.
— генерация изображений. GPT-3 можно научить генерировать графики, мемы, логотипы компаний — все, что угодно. А также можно пойти дальше и соединить текст и изображения: нейросеть DALL·Е, которая умеет генерировать изображения по текстовому описанию, основана на GPT-3. О ней мы совсем недавно писали тут (тут же ссылки на места, где с этой сеткой можно поиграться)
— решение математических задач. GPT-3 можно обучить так, что в ответ на условие задачи по математике или логике она будет генерировать решение: такую модель недавно представили в OpenAI
Это лишь малая часть того, чему можно научить GPT-3. В целом, можно сказать так: GPT-3 можно научить генерировать что угодно, что представляется в виде последовательности. Вот сайты, где вы найдете больше примеров задач, которые решает GPT-3 и онлайн-демо: machinelearningknowledge.ai, gptcrush.com, gpt3demo.com, gwern.net
При этом стоит понимать, что GPT-3 — это просто языковая модель. Она хорошо учится "имитировать" человека: генерировать похожие на настоящие данные (текст, картинки, диалоги в чатах и т.д.), но не обладает "интеллектом": не умеет логически мыслить, не понимает, что такое человек и эмоции и т.д. GPT-3 не сможет объяснить, почему выдала тот или иной текст. На практике это значит, что текст, выданный GPT-3, будет связным с точки зрения грамматики и смысла, но можно содержать логические ошибки, расхождения; текст может быть даже оскорбительным. Иногда даже два рядом стоящих сгенерированных предложения могут противоречить друг другу. А если попросить GPT-3 сгенерировать текст доказательства теоремы с формулами, текст будет связным, но непоследовательным и нелогичным, а формулы не будут иметь смысла.
Даже чтобы натренировать GPT-3 на решение простых школьных задач (последний из примеров выше), потребовалось внести в процесс обучения модели дополнительные изменения. И то полученная модель решает задачки все еще плохо.
И хоть тексты и чат-боты на основе GPT-3 кажутся до ужаса "настоящими" и полными смысла — они всего лишь выглядят таковыми. GPT-3 отлично мимикрирует под человека, но не улавливая сути того, что она делает.
Вот такой это зверь — GPT-3. Одновременно пугающий (см 1 пример), восхищающий, и местами разочаровывающий.
Больше почитать про GPT-3: technologyreview.com, searchenterpriseai