Brainstorm participa en EMERALD, un proyecto sobre procesos de IA aplicados al audiovisual

Brainstorm, una empresa especializada en gráficos 3D en tiempo real, sets virtuales y soluciones de realidad aumentada, está participando en el Proyecto Europeo EMERALD ‘Automatización de Procesos e IA para Entretenimiento y Medios Sostenibles’, financiado por la Comisión Europea bajo el Programa Horizonte Europa. Este proyecto de I+D se centra en el desarrollo y demostración de herramientas de IA, aprendizaje automático (ML) y Big Data para las industrias de entretenimiento digital y medios de comunicación.

 El consorcio interdisciplinario de siete socios incluye a empresas líderes en los sectores de cine, transmisión, streaming y tecnología de entretenimiento en vivo (British Broadcasting Corporation, Brainstorm Multimedia SL, Disguise Systems Ltd, Filmlight Gmbh y MOG Technologies SA), respaldado por dos importantes universidades europeas (Universidad Pompeu Fabra y The Provost, Fellows, Foundation Scholars & The Other Members Of Board Of The College Of The Holy & Undivided Trinity Of Queen Elizabeth Near Dublin).

«EMERALD se esfuerza por ser pionero en herramientas innovadoras para los sectores de entretenimiento digital y medios de comunicación, aprovechando el potencial de las tecnologías de inteligencia artificial, aprendizaje automático y Big Data. El objetivo general es revolucionar el procesamiento, mejorar la eficiencia de producción, minimizar el consumo de energía y elevar la calidad del contenido a través de innovaciones de vanguardia», dice Francisco Ibáñez, director de proyectos de I+D en Brainstorm.

Según añade, “hay un aumento masivo en el volumen de contenido basado en video y realidad extendida, con una demanda insostenible de recursos humanos capacitados, procesamiento de datos y energía. Este proyecto tiene como objetivo abordar este desafío mediante el desarrollo de la automatización de procesos para la creación de medios sostenibles».

EMERALD tiene como objetivo aplicar el aprendizaje automático para automatizar algunas de las tareas más intensivas en mano de obra en la producción de contenido de video, lo que tiene considerables implicaciones tanto en el tiempo como en el uso de energía.

Javier Montesa, coordinador técnico de I+D en Brainstorm, afirma que Brainstorm, en colaboración con la Universidad Pompeu Fabra (UPF), desarrollará métodos y herramientas basados en aprendizaje profundo para el «matting» de video: «El objetivo principal es producir resultados de alta calidad para la integración automática en tiempo real de presentadores o artistas remotos en escenas y sets virtuales para medios de transmisión y streaming utilizando aprendizaje profundo sin la necesidad de un «trimap». Con la mejora de IA de InfinitySet de BRA, llevaremos la calidad de los métodos de pantalla verde a configuraciones más simples».

Brainstorm tiene planes de integrar InfinitySet con los sistemas de aprendizaje profundo de UPF para la estimación de la pose de la cabeza y el cuerpo que permitirá al operador activar contenido que se mostrará automáticamente en diferentes partes de la escena, pantallas virtuales, marcadores de posición de gráficos 3D o simplemente frente al presentador mientras se mueve.

Además, Brainstorm participará en la creación de herramientas diseñadas para el equilibrio automático del color y la coincidencia de tomas. Las manipulaciones de color son necesarias en postproducción, en producciones virtuales y en estudios virtuales de transmisión. «La integración de esta corrección automática de color en InfinitySet simplificará el uso de la herramienta y mejorará la integración presentador-escena cuando las condiciones de iluminación no estén controladas o cuando las condiciones de iluminación de la escena virtual estén destinadas a variar durante un programa», explica Javier Montesa.

El progreso del proyecto y los resultados obtenidos se pueden seguir en https://www.upf.edu/web/emerald, así como en las redes sociales del proyecto.