A equipe da Disney desenvolveu uma nova e notável tecnologia de IA que pode envelhecer ou rejuvenescer atores automaticamente em tempo real, mantendo o mais alto nível de qualidade. Embora filtros semelhantes tenham sido usados em aplicativos de redes sociais, essa nova tecnologia está pronta para produção. Essa tecnologia, aplicada à Hollywood, podemos ver atores rejuvenescidos atuando como no próximo Indiana Jones em que Harrison Ford aparece anos mais novo.
A Disney divulgou um vídeo explicando os detalhes sobre esta nova tecnologia:
O reenvelhecimento digital fotorrealista de rostos em vídeo está se tornando cada vez mais comum em entretenimento e publicidade. Mas o fluxo de trabalho de pintura 2D predominante geralmente requer trabalho manual quadro a quadro que pode levar dias para ser concluído, mesmo por artistas qualificados. Embora a pesquisa sobre o reenvelhecimento da imagem facial tenha tentado automatizar e resolver esse problema, as técnicas atuais são de pouca utilidade prática, pois geralmente sofrem de perda de identidade facial, baixa resolução e resultados instáveis nos quadros de vídeo subsequentes.
Neste artigo, apresentamos o primeiro método prático, totalmente automático e pronto para produção para reenvelhecer rostos em imagens de vídeo. Nosso primeiro insight importante é abordar o problema de coletar dados de treinamento longitudinais para aprender a envelhecer rostos por longos períodos de tempo, uma tarefa quase impossível de realizar para um grande número de pessoas reais. Mostramos como esse conjunto de dados longitudinais pode ser construído aproveitando o estado da arte atual em reenvelhecimento facial que, embora falhe em imagens reais, fornece resultados fotorrealistas de reenvelhecimento em faces sintéticas.
Nosso segundo insight importante é, então, alavancar esses dados sintéticos e formular o reenvelhecimento facial como uma tarefa prática de tradução de imagem para imagem que pode ser realizada treinando uma arquitetura U-Net bem compreendida, sem a necessidade de projetos de rede mais complexos . Demonstramos como o U-Net simples, surpreendentemente, nos permite avançar no estado da arte para reenvelhecer rostos reais em vídeo, com estabilidade temporal sem precedentes e preservação da identidade facial em expressões variáveis, pontos de vista e condições de iluminação.
Por fim, nossa nova rede de reenvelhecimento facial (FRAN) incorpora mecanismos simples e intuitivos que fornecem aos artistas controle localizado e liberdade criativa para direcionar e ajustar o efeito de reenvelhecimento, um recurso que é muito importante em pipelines de produção reais e geralmente negligenciado em trabalhos de pesquisa relacionados.