Microsoft запустила Quake II на нейросетях

Microsoft представила генеративную модель WHAMM (World and Human Action MaskGIT Model), предназначенную для создания интерактивных игровых сред в реальном времени. Возможности модели компания продемонстрировала на примере классического шутера Quake II, в который можно сыграть прямо в браузере на странице в Copilot Labs. Архитектура модели WHAMM включает два этапа. Основной трансформер (500 миллион параметров) получает 9 предыдущих пар кадр-действие и формирует грубый набросок нового кадра размером 640 × 360 пикселей. Затем другой трансформер (250 миллионов параметров) итеративно улучшает это изображение. В результате удается генерировать интерактивный видеоряд со скоростью свыше 10 кадров в секунду. Модель обучена на данных одной недели геймплея Quake II, собранных на одном уровне. Пользователи могут перемещаться по имитируемому моделью уровню, стрелять и взаимодействовать с объектами (например, взрывать бочки). Но есть и неточности: например, модель ошибается в счетчиках патронов и здоровья, враги выглядят размыто и бой с ними не всегда корректен, а из-за короткого контекста всего 0,9 секунды модель быстро забывает об объектах вне поля зрения.