OpenAI обучила нейросеть играть в Minecraft, используя Video PreTraining и огромное количество видеоданных. Модель способна крафтить алмазные инструменты.
Кратко:
- ●OpenAI обучила нейросеть играть в Minecraft с помощью VPT
- ●Использованы ненатегированные видеоданные и размеченные подрядчиками
- ●Модель способна крафтить алмазные инструменты
- ●Исследование открыто и сопровождается конкурсом
Обучение нейросети с помощью Video PreTraining
OpenAI обучила нейросеть играть в Minecraft, используя метод Video PreTraining (VPT), и это стало значительным шагом в области искусственного интеллекта. VPT позволяет использовать огромное количество видеозаписей игрового процесса, где не известны точные действия игроков, такие как нажатия клавиш и движения мыши. Это позволяет модели учиться на основе того, что произошло на экране, а не как это было сделано.
Как работает VPT?
Для решения задачи разметки данных была разработана модель обратной динамики (inverse dynamics model, IDM), которая предсказывает действия на основе анализа кадров прошлого и будущего. IDM обучается на небольшом размеченном датасете, и затем используется для автоматической разметки больших массивов ненатегированных видео, что позволяет проводить обучение методом поведенческого клонирования.
