El modelo de generación de vídeo Sora de OpenAI también puede renderizar videojuegos

Créditos de imagen: Abierto AI

El nuevo OpenAI, ¡y el primero! — El modelo de producción de vídeo, Sora, puede lograr un trabajo cinematográfico realmente sorprendente. Pero el modelo está equilibrado. más Al principio podría ser OpenAI, al menos a juzgar por la tecnología. papel Publicado esta tarde.

El artículo, titulado «Modelos de generación de vídeo como simuladores universales», del que es coautor un grupo de investigadores de OpenAI, abre el telón sobre aspectos clave de la arquitectura de Sora; por ejemplo, revela que Sora puede generar vídeos con resolución y aspecto arbitrarios. relación (hasta 1080p). Según el artículo, Sora es capaz de realizar una variedad de tareas de edición de fotografías y videos, desde crear videos en bucle hasta estirar videos hacia adelante o hacia atrás en el tiempo e incluso cambiar el fondo de un video existente.

Pero lo que es más interesante para este escritor es la capacidad de Sora para «simular mundos digitales», como lo expresaron los coautores de OpenAI. En un experimento, OpenAI soltó a Sora en Minecraft y le pidió que renderizara el mundo (y su dinámica, incluida la física) mientras controlaba simultáneamente al jugador.

Sora controla a un jugador en Minecraft y representa el mundo del videojuego mientras lo hace. Tenga en cuenta que la granulosidad la proporcionó el convertidor de vídeo a GIF, no Sora. Créditos de imagen: Abierto AI

Entonces, ¿cómo puede Sora hacer esto? como eso Aviso Escrito por el investigador principal de Nvidia Jim Fan (vía cuarzo), Sora también es más un “motor de física basado en datos” que un creador. No se trata sólo de crear una única imagen o vídeo, sino de determinar la física de cada objeto del entorno y presentar una imagen o un vídeo (o un mundo interactivo en 3D, según sea el caso) basándose en estos cálculos.

«Estas capacidades sugieren que la expansión continua del modelado de vídeo es un camino prometedor hacia el desarrollo de simuladores altamente capaces del mundo físico y digital, y de los objetos, animales y personas que viven en ellos», escribieron los coautores.

Ahora, se aplican las limitaciones habituales de los videojuegos de Sora. El modelo no puede aproximarse con precisión a la física de interacciones básicas como la rotura de cristales. Incluso con interacciones como esa Poder El modelo, Sora, es a menudo inconsistente; por ejemplo, representa a alguien comiendo una hamburguesa pero sin dejar marcas de mordiscos.