Cuando los modelos insignia de los tres gigantes de la IA —OpenAI, Anthropic y Google— se enfrentan en la misma arena, ¿quién sabe controlar mejor los robots?
El 20 de octubre, RoboColiseum, la arena de confrontación encarnada cofundada por cerca de 20 universidades, empresas e instituciones de investigación de todo el mundo, entre ellas Mifeng Technology, Hugging Face, NVIDIA y la Universidad de Tsinghua, publicó los resultados de esta ronda de evaluación: Claude Opus 5.5 se situó en el primer puesto global entre los cuatro modelos insignia, seguido de cerca por GPT-6 Astra.
Por categorías, entre los cuatro modelos insignia, GPT-6 Astra lidera en seguimiento de instrucciones y adaptación general a perturbaciones, con una puntuación de 99.35 en seguimiento de instrucciones; Opus rinde mejor en comprensión espacial y operación general, y se llevó el primer puesto global del grupo insignia con el menor consumo de tokens en todas las rondas de evaluación. En las pruebas con perturbaciones en la calidad de imagen, GPT-6.1 Sol quedó claramente por detrás de los otros tres modelos, lo que revela diferencias de estabilidad entre los distintos modelos frente a cambios en la información visual.
No obstante, los dos primeros puestos de la clasificación global de esta ronda siguen ocupados por modelos de políticas encarnadas, que mantienen su ventaja especialmente en la dimensión de operación general.
Este enfrentamiento en la misma arena ofrece a la industria una referencia intuitiva para ver con claridad las fortalezas y debilidades de los grandes modelos generales y de los modelos de políticas encarnadas.
RoboColiseum, en torno al seguimiento de instrucciones, la comprensión espacial, la adaptación a perturbaciones y la operación general, lanzó cuatro subclasificaciones de capacidades y 78 tareas de evaluación en simulación de alta fidelidad, que presentan tanto el desempeño por categorías de los modelos como registran los pasos de completación de tareas y las posiciones de fallo, ayudando a los desarrolladores a localizar rápidamente las deficiencias de capacidad de los modelos.
Como cofundador, Mifeng proporciona a RoboColiseum activos de objetos de alta fidelidad y escenarios de simulación, apoyando la construcción de entornos de evaluación para tareas complejas de operación robótica y ofreciendo recursos de base para las pruebas de capacidad de los modelos en diferentes interacciones con objetos, disposiciones espaciales y condiciones ambientales.
Si los resultados de los modelos en simulación pueden reflejar el desempeño operativo real es también clave para la evaluación. Según los resultados de pruebas reales publicados por la plataforma, la correlación entre la evaluación en simulación de RoboColiseum y el despliegue en máquinas reales alcanza el 89.5%, y la diferencia de evaluación del mismo modelo entre simulación y mundo real es inferior al 10%, lo que puede servir de referencia para la selección de modelos y la localización de problemas antes de que los desarrolladores pasen a las pruebas en máquinas reales.
Mifeng Technology ofrece un sistema de suministro de datos "completo, bueno y rápido", que abarca los tres paradigmas de datos: máquina real, simulación y sin cuerpo. En simulación, Mifeng proporciona dos tipos de recursos, activos de objetos y activos de entorno, que cubren diversos objetos cotidianos y escenarios interiores, y ofrece capacidades como reconstrucción de escenarios, obtención de datos de trayectorias expertas y visualización de resultados de evaluación, ayudando a los equipos de modelos a llevar a cabo entrenamiento y evaluación diversificados.
Coliseum se refería originalmente al anfiteatro circular de la antigua Roma; RoboColiseum toma esta imagen para construir un sistema de evaluación multidimensional, creando con una evaluación en simulación altamente consistente con el desempeño en máquinas reales una "arena" y un "campo de entrenamiento" públicos, neutrales y reproducibles para los modelos de inteligencia encarnada. Cualquier universidad, institución de investigación o desarrollador empresarial puede enviar su modelo para someterse a un "examen" estandarizado. Desde su lanzamiento en agosto, más de 100 equipos dentro y fuera del país han llevado a cabo entrenamiento y evaluación de modelos en la plataforma.
RoboColiseum ya está abierto a desarrolladores de todo el mundo, y los equipos de modelos son bienvenidos a participar en la evaluación.
