Google lança o Lumiere, modelo de IA para criar vídeos realistas
Lumiere é o novo modelo de difusão de IA para a criação de vídeos desenvolvido por pesquisadores do Google
O Lumiere é uma nova tecnologia que usa IA para criar vídeos realistas desenvolvido em conjunto por pesquisadores do Google, do Weizmann Institute of Science e da Universidade de Tel Aviv — os dois últimos de Israel. O diferencial deste modelo está na capacidade de gerar vídeos com movimentos mais coesos e precisos, tentando romper um obstáculo encontrado por outros concorrentes do segmento.
- 10 IAs para criar vídeo a partir de fotos ou texto
- Art Selfie 2 usa IA para colocar suas fotos em pinturas famosas
Os pesquisadores definem o Lumiere como um "modelo de difusão de texto para vídeo para sintetizar vídeos que retratam movimentos realistas, diversos e coerentes". Para isso, usa uma estrutura chamada Space-Time U-Net, voltada para gerar toda a duração do vídeo de uma só vez — outros modelos de difusão adotam uma abordagem que sintetizam os frames de forma distinta.
Como resultado, o novo modelo é capaz de criar vídeos com uma taxa de quadros estável e completa, mesmo que em baixa resolução.
O que o Lumiere é capaz de fazer
Assim como outros concorrentes, o Lumiere cria vídeos a partir de comandos de texto ou da animação de imagens estáticas, mas a ferramenta possui alguns diferenciais:
Geração estilizada
O Lumiere consegue entender o padrão de uma imagem e criar vídeos com o mesmo estilo visual. Ao enviar uma imagem de referência em 3D com o fundo azul claro, a IA compreende que todas as criações subsequentes seguem o mesmo estilo visual.
Isso pode ser útil para quem só possui uma foto de inspiração e não consegue descrever o apelo visual num prompt de texto, por exemplo.
Cinemagrafia
A cinemagrafia é uma prática que permite animar apenas um fragmento da imagem, enquanto o resto permanece estático. O novo modelo faz uso dessa técnica para criar movimento e ou até substituir uma parte de um vídeo existente por outra.
Um dos exemplos mostrados pelos pesquisadores é o trecho de uma mulher andando por um campo: é possível selecionar apenas a pessoa e trocar a roupa que ela usa no vídeo a partir dos prompts de texto. O recurso também pode ser usado para aplicar novos estilos de vídeo sem perder o plano de fundo original.
Ainda sem demonstrações
Por enquanto, o Lumiere não foi disponibilizado para testes ou demonstrações ao público, e ainda não há uma previsão para que isso aconteça. Vale lembrar que esse não é o primeiro modelo de IA para vídeos com envolvimento do Google: a Gigante de Mountain View lançou o VideoPoet no final do ano passado, com o objetivo de criar conteúdos mais longos do que as ferramentas convencionais.
Trending no Canaltech:
- Facebook e Instagram bloqueiam envio de DMs de estranhos para menores
- Quem é Griselda Blanco, a rainha do tráfico e estrela da nova série da Netflix?
- Japão publica foto da Lua tirada por seu lander SLIM após pouso
- One UI 6.1 | 12 funções mais legais do Android da Samsung
- Não é o Thanos: Marvel revela nas HQs qual vilão vence os Vingadores
- Quais celulares Galaxy terão 7 anos de Android atualizado?
