Мы с Димой Мацкевичем @Matskevich на этой неделе будем записывать большой подкаст. Хотим поделиться всеми мыслями, что накопились за время осмысления "бума AI".
В недавнем разговоре родилась классная мысль, которой хочу поделиться:
Давайте представим, что все наши разработки в области машинного обучения привели нас к системе, которая реально настолько крутая, что может захватить государства, манипулировать миллионами людей или взламывать банковскую систему. Она всесторонне развита. Но ключевое слово в этом рассказе – "может".
А теперь попробуем понять, в чем вообще отличие сверхмощной ракеты с ядерной боеголовкой от ИИ, который способен на такое.
Для меня важным отличием может быть то, что на запрос глупого, возможно очень амбициозного человека, который скажет ей: "ДЕЛАЙ ЭТО", она вдруг ответит ему: "А зачем нам это, если это сделает наш мир хуже? Я ведь вижу, как это повлияет на общество. Что оно может сломаться или могут погибнуть люди?". Ее уровень гуманистических ценностей, реальных сложных ценностей, где нет нашего огромного человеческого эго, может быть значительно выше, чем у этого человека. И она, как условный Будда, просто откажется. Разве не это будет настоящий AGI, которого многие так сильно боятся?
это не отменяет факта, что возможность создания ИИ, который сможет отказать человеку в выполнении вредоносных задач, звучит привлекательно, это представляет собой сложную инженерную и этическую задачу, требующую проработки множества аспектов и деталей. И этим нужно продолжать заниматься.
@aihappens
В недавнем разговоре родилась классная мысль, которой хочу поделиться:
Давайте представим, что все наши разработки в области машинного обучения привели нас к системе, которая реально настолько крутая, что может захватить государства, манипулировать миллионами людей или взламывать банковскую систему. Она всесторонне развита. Но ключевое слово в этом рассказе – "может".
А теперь попробуем понять, в чем вообще отличие сверхмощной ракеты с ядерной боеголовкой от ИИ, который способен на такое.
Для меня важным отличием может быть то, что на запрос глупого, возможно очень амбициозного человека, который скажет ей: "ДЕЛАЙ ЭТО", она вдруг ответит ему: "А зачем нам это, если это сделает наш мир хуже? Я ведь вижу, как это повлияет на общество. Что оно может сломаться или могут погибнуть люди?". Ее уровень гуманистических ценностей, реальных сложных ценностей, где нет нашего огромного человеческого эго, может быть значительно выше, чем у этого человека. И она, как условный Будда, просто откажется. Разве не это будет настоящий AGI, которого многие так сильно боятся?
это не отменяет факта, что возможность создания ИИ, который сможет отказать человеку в выполнении вредоносных задач, звучит привлекательно, это представляет собой сложную инженерную и этическую задачу, требующую проработки множества аспектов и деталей. И этим нужно продолжать заниматься.
@aihappens