El nuevo Flight Simulator de Microsoft es una maravilla tecnológica que establece nuevos estándares en el género. Microsoft y Asobo Studios utilizaron el trabajo de muchos socios para recrear un mundo que parece real y vivo, que contiene miles de millones de edificios en los lugares correctos.
Uno de ellos es una pequeña startup austriaca Blackshark.ai de la ciudad de Graz, que con solo unos 50 empleados pudo recrear todas las ciudades del mundo utilizando inteligencia artificial y enormes recursos de computación en la nube.
Antes del lanzamiento del nuevo Flight Simulator, nos reunimos con el cofundador y director ejecutivo de Blackshark, Michael Patz, para discutir la asociación con Microsoft y el futuro de su empresa.
Blackshark es una rama del estudio de juegos Bongfish , que desarrolló World of Tanks: Frontline, Motocross Madness y la serie de snowboard Stoked. Fue gracias a Stoked que la compañía creó Blackshark, dice Patz.
“Uno de los primeros juegos que desarrollamos en 2007 fue un juego de snowboard llamado Stoked and S Stoked Bigger Edition. Fue uno de los primeros juegos con montañas simuladas de 360 grados: el jugador podía volar alrededor de la montaña en un helicóptero, aterrizar en cualquier lugar y rodar hacia abajo. La montaña en sí fue creada y descrita procedimentalmente, y se colocaron obstáculos en forma de vegetación, otros practicantes de snowboard y pequeños animales. Luego pasamos a los géneros de carreras, tiradores y control de automóviles, pero no olvidamos la idea de la ubicación procedimental y la descripción de objetos ".
Bongfish volvió a esta idea mientras trabajaba en World of Tanks, porque crear mapas enormes con cada piedra colocada manualmente sería una tarea muy lenta.
Aprovechando su experiencia, Bongfish comenzó a construir su propio departamento de desarrollo de IA. Este departamento utilizó un conjunto de técnicas de aprendizaje automático para construir un sistema que puede aprender cómo los diseñadores construyen mapas y, con el tiempo, pueden crearlos por sí mismos. La empresa ya ha comenzado a utilizar este sistema en varios de sus proyectos, tras lo cual Microsoft se puso en contacto con ella.
“Por accidente, conocí a gente de Microsoft que buscaba un estudio que les ayudara con el nuevo Flight Simulator. La idea principal detrás de Flight Simulator era utilizar Bing Maps como campo de juego, mapa y fondo ”, dice Patz.
Pero los datos de fotogrametría de Bing Maps pudieron crear réplicas precisas de solo 400 ciudades, y para la mayor parte del área del planeta, tales datos no existían. Microsoft y Asobo Studios necesitaban un sistema para construir todo lo demás.
Fue entonces cuando Blackshark se hizo cargo. Para Flight Simulator, el estudio recreó 1.500 millones de edificios a partir de imágenes de satélite en 2D.
Si bien Patz dijo que conoció a la gente de Microsoft por accidente, vale la pena agregar que Graz una vez tuvo un departamento de Bing Maps que desarrolló las primeras cámaras y versiones 3D de Bing Maps. Y mientras Google Maps se hizo cargo del mercado , Bing Maps realmente superó a Google en 3D. Luego, Microsoft abrió un centro de investigación en Graz y, después de su cierre, Amazon y otras empresas se llevaron el talento local.
“Por lo tanto, fue muy fácil para nosotros encontrar personas en puestos con requisitos como 'Doctorado en reconstrucción de techos'”, dice Patz. "Ni siquiera sabía que existía tal cosa, pero era exactamente lo que necesitábamos, y encontramos a dos de esas personas".
“Es fácil ver por qué es un desafío recrear un edificio en 3D a partir de un mapa en 2D. Incluso es difícil determinar el contorno exacto de un edificio.
“Básicamente, hicimos la siguiente tarea en Flight Simulator: estudiamos áreas 2D y buscamos señales de edificios en ellas, que es la tarea de la visión por computadora”, dice Patz. “Pero si un edificio está oscurecido por la sombra de un árbol, entonces necesitamos el aprendizaje automático, porque la superposición de sombras hace que no quede claro qué es parte del edificio ... El aprendizaje automático puede restaurar el resto del edificio. Y este es otro ejemplo muy simple ".
Si bien Blackshark pudo haber utilizado algunos otros datos, incluidas fotografías, datos de sensores y datos de mapas preexistentes, Blackshark tuvo que determinar la altura de los edificios y otras características a partir de información muy limitada.
El siguiente problema obvio es determinar la altura del edificio. Si hay datos GIS disponibles, esta tarea es fácil de resolver, pero para la mayoría de las áreas del mundo, esos datos simplemente no existían o no era fácil obtenerlos. En tales casos, el equipo tomó una imagen en 2D y estudió varias pistas, como sombras, en ella. Sin embargo, para determinar la altura de un edificio a partir de la sombra, debe saber la hora del día y las imágenes de Bing Maps no tienen marca de tiempo. En otros casos, Blackshark los tenía, lo que simplificó enormemente el trabajo. Aquí es donde el aprendizaje automático vuelve al rescate.
"El aprendizaje automático toma un camino ligeramente diferente", explica Patz. “También tiene en cuenta las sombras, pero como es solo una figura oscura, no sabemos cómo se comporta. Sin embargo, si observa un techo plano, por ejemplo, compara un rascacielos con un centro comercial, el equipo en el techo de un rascacielos es diferente al equipo en un centro comercial. Así que, al etiquetar edificios, ayudamos a que la IA aprenda ".
Si el sistema sabe que la altura promedio de un centro comercial en esta área suele ser de tres etaea, puede funcionar con eso.
Blackshark no oculta que su sistema cometerá errores, y si compras Flight Simulator, verás que hay errores con la colocación de edificios en el juego. Patz me informó que uno de los mayores desafíos para este proyecto era convencer a los socios de desarrollo y a Microsoft para que permitieran este enfoque.
“Estamos hablando de 1.500 millones de edificios. A esta escala, ya no puede confiar en el control de calidad tradicional. El enfoque tradicional de los juegos de Halo es señalar con el dedo y decir "este píxel es malo, arréglalo", pero no funciona cuando desarrollas con IA basada en estadísticas. Puede resultar que el 20% de los edificios se hayan creado por error, y este es probablemente el caso en el caso de Flight Simulator; pero no podríamos haber resuelto este problema de otra manera, porque la subcontratación del modelado de 1.500 millones de edificios no es ni logística ni financieramente posible ".
Con el tiempo, este sistema mejorará, y con Microsoft transmitiendo grandes cantidades de datos desde Azure, los usuarios seguramente verán los cambios.
Sin embargo, el marcado es solo la forma en que el equipo de estudio entrena el modelo, y Blackshark ha avanzado mucho en esta área. Patz no entra en detalles, porque es parte del know-how secreto de la empresa, gracias al cual fue posible llevar a cabo tal volumen de trabajo con el esfuerzo de solo 50 personas.
“Las etiquetas de datos no han sido una prioridad para nuestros socios”, dice. “Por lo tanto, usamos nuestro sistema de marcado viviente, esencialmente marcando todo el planeta con las fuerzas de dos o tres personas. Esto proporciona a los analistas de datos una herramienta y una interfaz de usuario muy poderosas. Por ejemplo, si un analista quiere detectar un barco, le dice al algoritmo de aprendizaje qué es un barco y luego recibe instantáneamente los barcos encontrados en la imagen muestreada en la salida ".
Según el resultado, el analista puede entrenar el algoritmo para reconocer mejor objetos específicos, en nuestro ejemplo, barcos o centros comerciales en Flight Simulator. Patz dice que otras empresas de análisis geoespacial tienden a centrarse en nichos específicos, y las herramientas de Blackshark son independientes del tipo de contenido que se analiza.
Aquí es donde entra en juego la visión más amplia de Blackshark. Dado que la compañía ahora está recibiendo buenas críticas por su trabajo con Microsoft, también se está asociando con otras compañías que están remodelando modelos de ciudades, como simulaciones de conducción autónoma.
“Nuestro objetivo más amplio es crear un gemelo digital de nuestro planeta casi en tiempo real, y especialmente la superficie del planeta. Esto permitirá que los datos se utilicen de muchas formas diferentes en los casos en que la fotogrametría tradicional como Google Earth o Apple Maps no ayude, ya que se simplifica al nivel de fotografías superpuestas sobre formas geométricas simples. Para ello, disponemos de un ciclo de procesamiento: extraemos información exploratoria de datos aéreos, que pueden ser imágenes 2D o incluso conjuntos de puntos 3D. Y después de eso visualizamos la semántica ".
Esta semántica, que describe el edificio con gran detalle, tiene una gran ventaja sobre la fotogrametría: de hecho, la información sobre las sombras y la iluminación se incorpora a la fotografía, lo que dificulta la superposición realista de diferentes luces. Dado que Blackshark sabe todo sobre el edificio que está creando, puede aplicar ventanas e iluminación a esos edificios, lo que crea escenas nocturnas sorprendentemente realistas en Flight Simulator.
Las nubes de puntos, que no se utilizan en Flight Simulator, son otra área que Blackshark está persiguiendo activamente. Las nubes de puntos son muy difíciles de leer para las personas, especialmente si te acercas a ellas. Blackshark usa sus sistemas de inteligencia artificial para analizar nubes de puntos para determinar la cantidad de pisos en un edificio.
“En el corazón de toda nuestra empresa está el entendimiento de que necesitamos una enorme ventaja tecnológica para lograr una tarea. Esto es especialmente cierto para la industria de los videojuegos, donde proyectos tan grandes como Assassin's Creed y GTA se han enfrentado a los límites de lo posible: miles de personas trabajan en ellos, este trabajo es muy difícil de escalar y coordinar entre continentes, mientras lo convierte en un producto terminado. Para nosotros era obvio que se requería un proceso más automatizado o parcialmente automatizado para resolver tal tarea ".
Aunque Blackshark se fundó como una empresa de juegos y ahora se asoció con Microsoft y Asobo Studios, su enfoque principal no está en los juegos, sino en áreas como la conducción autónoma y el análisis de datos geográficos. Patz señala que otro buen ejemplo de este desarrollo es Unreal Engine, que originalmente era solo un motor de juego y ahora se usa en todas partes.
“Durante mucho tiempo en la industria del juego, esta situación es muy inspiradora porque cuando desarrollas juegos, te das cuenta de cómo la tecnología revolucionaria puede compararse con otras industrias”, dice Patz. “Y si nos fijamos en los simuladores, desde los militares hasta los industriales, siempre parecían poco convincentes en comparación con los juegos de carreras. Ahora es el momento de que la tecnología de juegos salga de la industria del juego y comience a ayudar a todas las demás industrias. Creo que Blackshark se ha convertido en un ejemplo de cómo hacer esto ".