Посмотрел интервью Ilya Sutskever - сооснователя и создателя ChatGPT. Записал интересные мысли:
⁃ Если человеческий мозг, состоящий из медленных нейронов, может так круто работать, то обучить нейронные сети работать, как мозг - это вопрос времени.
⁃ Такой массовый интерес к ChatGPT - это большой подарок для нас. Еще никогда ранее, не была доступна такая гигантская выборка для обучения нейросети. Имеется ввиду, что все пользователи GPT - принимают участие в ее обучении.
⁃ Чем больше пользователей взаимодействуют с ChatGPT - тем быстрее она учится и «умнеет».
⁃ Мы подошли к той точке, когда не программисты, а психологи, начинают больше понимать работу языковых моделей.
⁃ Да, языковые модели галлюцинируют и фантазируют, но это сейчас. Представьте, что вы попали в новый мир, со своими законами, явлениями и историей развития. Ваш единственный канал восприятия действительности - язык. Сначала вы набираетесь информации из окружающего мира, а потом пытаетесь делиться ей. Да, первое время вам будут говорить, что это неправда, а это правда, такого не было, а вот это было. И через какое-то время вы поймете правила игры.
⁃ Языковые модели идеально подходят для изучения окружающего мира, но не очень хороши, для интерпретации полученных знаний. Дайте время, на новом этапе обучения, когда мы соберем еще больше обратной связи от пользователей, GPT перестанет галлюцинировать. Ну или будет это делать значительно меньше, чем человек (lol).
⁃ Текущий этап, это мультимодальность - когда мы начинаем добавлять для нейросети новые каналы восприятия действительности. Представьте, что весь ваш мир, это лингвистическое общение, и вот вы прозрели. В прямом смысле - начали видеть. Мы понимаем, что многие вещи проще увидеть, а не прочесть. И теперь GPT - видит и понимает, что она видит.
⁃ Например понятие «цвета», да можно объяснить модели, что такое цвет, чем разные цвета отличаются друг от друга. Но когда она «видит» цвета - это совсем другой уровень восприятия.
⁃ Наши модели уже знают все о реальном мире. Сейчас пришло время, когда нейросети будут структурировать знания и разобраться в процессах познания. А вот для этого и нужна армия «учителей» которые помогут ИИ откалиброваться. Это не прямое обучение, модели учатся через наблюдение за людьми. Повторяют их действия.
⁃ Лучшие «учителя» для GPT - это люди которые используют ее, как ассистента для выполнения разных задач. Так нейросеть понимает, что является полезным действием, а что не очень, и учится.
⁃ Наша основная задача, чтобы GPT был более проницательным, но и контролируемым. А еще важно, чтобы с каждым днем модель потребляла меньше входных данных для генерации качественных ответов.
⁃ Управление обществом при помощи искусственного интеллекта. Возможно в будущем, когда нейросети будут значительно умнее и проникнут в различные аспекты жизни, люди будут делиться с ними своими желаниями и виденьем, как они хотят жить. И тогда, возможно, нейросети помогут изменить модель мира.
Силиконовый мешок
⁃ Если человеческий мозг, состоящий из медленных нейронов, может так круто работать, то обучить нейронные сети работать, как мозг - это вопрос времени.
⁃ Такой массовый интерес к ChatGPT - это большой подарок для нас. Еще никогда ранее, не была доступна такая гигантская выборка для обучения нейросети. Имеется ввиду, что все пользователи GPT - принимают участие в ее обучении.
⁃ Чем больше пользователей взаимодействуют с ChatGPT - тем быстрее она учится и «умнеет».
⁃ Мы подошли к той точке, когда не программисты, а психологи, начинают больше понимать работу языковых моделей.
⁃ Да, языковые модели галлюцинируют и фантазируют, но это сейчас. Представьте, что вы попали в новый мир, со своими законами, явлениями и историей развития. Ваш единственный канал восприятия действительности - язык. Сначала вы набираетесь информации из окружающего мира, а потом пытаетесь делиться ей. Да, первое время вам будут говорить, что это неправда, а это правда, такого не было, а вот это было. И через какое-то время вы поймете правила игры.
⁃ Языковые модели идеально подходят для изучения окружающего мира, но не очень хороши, для интерпретации полученных знаний. Дайте время, на новом этапе обучения, когда мы соберем еще больше обратной связи от пользователей, GPT перестанет галлюцинировать. Ну или будет это делать значительно меньше, чем человек (lol).
⁃ Текущий этап, это мультимодальность - когда мы начинаем добавлять для нейросети новые каналы восприятия действительности. Представьте, что весь ваш мир, это лингвистическое общение, и вот вы прозрели. В прямом смысле - начали видеть. Мы понимаем, что многие вещи проще увидеть, а не прочесть. И теперь GPT - видит и понимает, что она видит.
⁃ Например понятие «цвета», да можно объяснить модели, что такое цвет, чем разные цвета отличаются друг от друга. Но когда она «видит» цвета - это совсем другой уровень восприятия.
⁃ Наши модели уже знают все о реальном мире. Сейчас пришло время, когда нейросети будут структурировать знания и разобраться в процессах познания. А вот для этого и нужна армия «учителей» которые помогут ИИ откалиброваться. Это не прямое обучение, модели учатся через наблюдение за людьми. Повторяют их действия.
⁃ Лучшие «учителя» для GPT - это люди которые используют ее, как ассистента для выполнения разных задач. Так нейросеть понимает, что является полезным действием, а что не очень, и учится.
⁃ Наша основная задача, чтобы GPT был более проницательным, но и контролируемым. А еще важно, чтобы с каждым днем модель потребляла меньше входных данных для генерации качественных ответов.
⁃ Управление обществом при помощи искусственного интеллекта. Возможно в будущем, когда нейросети будут значительно умнее и проникнут в различные аспекты жизни, люди будут делиться с ними своими желаниями и виденьем, как они хотят жить. И тогда, возможно, нейросети помогут изменить модель мира.
Силиконовый мешок