Иногда я посматриваю страницы известных исследователей в Google Scholar и смотрю, какие из их статей лучше всего цитировались. Иногда иду чуть глубже и пытаюсь понять, как они могли дойти до тех или иных идей, проверяя содержимое самых высоко цитируемых статей, а то и тех статей, на которые там ссылаются (если есть свободное время).
В этот раз я решила посмотреть сколяр Хинтона:
https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=en&oi=ao
и меня заинтересовало, что в статьях про алгоритм обратного распространения ошибки - Learning representations by back-propagating errors и Learning internal representations by error-propagation, первый автор вовсе не Hinton, а некий Rumelhart. Немного покопав, я обнаружила, что backpropagation и правда придумал не Хинтон, что он подтвердил сам:
А вот биография Румельхарта, который, по словам Хинтона, изобрел backprop независимо от других исследователей:
https://www.nytimes.com/2011/03/19/health/19rumelhart.html
В общем, человек занимался нейросетевыми методами прямо в разгар зимы искуственного интеллекта ( https://ru.wikipedia.org/wiki/%D0%97%D0%B8%D0%BC%D0%B0_%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D0%B0 ), продолжал верить в эти методы, развивать их и ждать весны, которую так и не застал, умерев в 2011 году, а разум потеряв еще на несколько лет раньше. Как же жалко, что он так и не узнал, насколько глубокие последствия его работы принесли в мир. Вместо этого беднягу ждал страшный конец, который я внесу под спойлер.
В 1998 году чел был вынужден оставить работу в академии (Стэнфорд) из-за нейродегенеративного заболевания - болезни Пика, которая к этому времени начала мешать ему думать, рассуждать и, соответственно, заниматься наукой. Эта болезнь очень похожа на Альцгеймер и являет собой некую издевку природы над ученым, который всю жизнь посвятил развитию разума, постепенно отнимая у него всё, во что он вложил столько усилий. По мере дальнейшего прогрессирования болезни люди медленно теряют способность читать, считать, понимать речь окружающих - происходит полное разрушение разума и личности до состояния глубокого слабоумия. После этого человек просто лежит на кровати и срет под себя пока не умрет от разрушения ЦНС либо, при не очень хорошем уходе - от инфицирования пролежней, которые являют собой глубокие гноящиеся раны и порой причиняют страшную боль. Скорее всего, все эти стадии он и проходил, медленно умирая в течение последующих 13 лет.
Дополнительную частичку грусти этой невеселой истории добавляет то, что по итогу челик намного меньше известен в ML сообществе, чем Хинтон, и его вклад явно сильно недооценен.
Статьи Румельхарта: https://dl.acm.org/profile/81375594900/publications?Role=author
#ML_отцов
В этот раз я решила посмотреть сколяр Хинтона:
https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=en&oi=ao
и меня заинтересовало, что в статьях про алгоритм обратного распространения ошибки - Learning representations by back-propagating errors и Learning internal representations by error-propagation, первый автор вовсе не Hinton, а некий Rumelhart. Немного покопав, я обнаружила, что backpropagation и правда придумал не Хинтон, что он подтвердил сам:
“I have never claimed that I invented backpropagation. David Rumelhart invented it independently long after people in other fields had invented it. It is true that when we first published we did not know the history so there were previous inventors that we failed to cite. What I have claimed is that I was the person to clearly demonstrate that backpropagation could learn interesting internal representations and that this is what made it popular.”Оригинал высказывания: https://www.reddit.com/r/MachineLearning/comments/g5ali0/comment/fo8rew9/?utm_source=share&utm_medium=web2x . В этом же треде можно узнать другие аспекты истории алгоритма backprop, в частности, имена других челиков, которые пробовали делать похожие алгоритмы, начиная с 1970 года.
А вот биография Румельхарта, который, по словам Хинтона, изобрел backprop независимо от других исследователей:
https://www.nytimes.com/2011/03/19/health/19rumelhart.html
В общем, человек занимался нейросетевыми методами прямо в разгар зимы искуственного интеллекта ( https://ru.wikipedia.org/wiki/%D0%97%D0%B8%D0%BC%D0%B0_%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D0%B0 ), продолжал верить в эти методы, развивать их и ждать весны, которую так и не застал, умерев в 2011 году, а разум потеряв еще на несколько лет раньше. Как же жалко, что он так и не узнал, насколько глубокие последствия его работы принесли в мир. Вместо этого беднягу ждал страшный конец, который я внесу под спойлер.
Статьи Румельхарта: https://dl.acm.org/profile/81375594900/publications?Role=author
#ML_отцов