AbstractDL

🔥В OpenAI научили нейронку играть в майнкрафт по видео из интернета



Их модель демонстрирует human-level перформанс и даже сама научилась создавать алмазную кирку! А для её создания нужно как минимум 24 тысячи игровых действий 🤯



Step-by-step:

1. Нанять несколько человек и разметить 100 часов игры (нажатия клавиш и движение мышки). Это обошлось всего в 2к$.

2. Обучить на этих данных модель для разметки новых видео.

3. Разметить в тысячу раз больше данных с помощью этой модели.

4. Обучить GPT-like архитектуру, которая по кадрам предсказывает дальнейшие действия игрока (behavioural cloning).

5. Зафайнтюнить эту модель при помощи RL (ppg), где reward даётся за крафтинг новых предметов.



Для борьбы с catastrophic forgetting они добавили KL лосс между старыми весами и новыми — это в несколько раз улучшило результат.



P.S. Вопреки традициям, OpenAI выложили и код и веса моделей! Датасеты тоже обещают скоро опубликовать.



Статья, блог, GitHub