O laboratório de inteligência artificial do MIT está prestes a mudar a maneira como os filmes são feitos e visualizados. Dê uma olhada em três novos programas revolucionários que devem ser vistos para se acreditar.
Imagem superior via TED Talks
O Laboratório de Ciência da Computação e Inteligência Artificial do MIT (MIT CSAIL) continua fazendo fazendo um filme manchetes – tanto que precisamos reunir todos os futuros avanços de mudança de setor que eles já fizeram.
Instant VFX – Tocar e mover objetos na publicação
GIF via MIT / Abe Davis
Você já precisou filmar uma árvore ao vento, apenas para sair e atirar em um dia em que o ar está o mais imóvel possível? Com o Vídeo Dinâmico Interativo (IDV), você seria capaz de mover um objeto depois que ele foi filmado. Deixe isso afundar por um minuto.
Você pode atirar na árvore estacionária e, em seguida, pegar as folhas e sacudir a árvore. Esse é um conceito bastante insano a considerar. Bem como um designer de movimento pode manipular camadas de forma como quiserem, os cineastas poderiam fazer o mesmo com os fundos – e potencialmente atores.
GIF via MIT / Abe Davis
Um algoritmo de computador procura incrivelmente todo o videoclipe. pequenas vibrações ou movimentos de um objeto. No vídeo abaixo, você verá como os pesquisadores gravaram um vídeo de cinco segundos de um personagem de estrutura de arame. Ao analisar os movimentos sutis do personagem, o algoritmo cria o Vídeo Dinâmico Interativo – que permite aos usuários empurrar puxar, e interagir com um objeto com o cursor do mouse.
O algoritmo cria “modos de vibração” para determinar movimentos realistas. O algoritmo também preenche o espaço em branco em segundo plano quando um objeto muda de posição. O algoritmo funciona sem ao menos conhecer a forma 3D do objeto.
O estudo foi conduzido por Abe Davis, que anteriormente revelou a IDV em um TED Talk de 2015. Foi lá que ele também falou sobre projetos anteriores, como estudar os efeitos que as ondas sonoras têm no objeto – o Microfone Visual.
Visite o site do Interactive Dynamic Video para ler tudo sobre o trabalho que está sendo feito por Davis e seus colegas.
Efeitos sonoros gerados por IA
GIF via MIT
Em junho de 2016, os primeiros sussurros de O cinema tecnológico do MIT avança surgiu em um artigo do Washington Post sobre design de som de computador. Foi um avanço, incluímos em um artigo intitulado Seis tecnologias preparadas para mudar o futuro do cinema.
Apelidados de sons visualmente indicados, os pesquisadores criaram um algoritmo que poderia prever com precisão o som de um objeto atingindo outro.
No vídeo do MIT abaixo, “[S]Os resultados podem nos dizer como os objetos se comportam quando interagimos fisicamente com eles. Em seguida, pode transmitir se o objeto é duro ou macio, liso ou áspero e rígido ou deformável. ”
Para o estudo, os pesquisadores se registraram usando uma baqueta para acertar vários objetos como passarelas, estantes, vidros e arbustos. Eles então carregaram uma série de sons preditivos em um computador. Quando um filme silencioso de uma pessoa atingindo um objeto com uma baqueta aparece na tela, o algoritmo cria o efeito sonoro apropriado para corresponder à ação.
Neste artigo, propomos a tarefa de prever que som um objeto faz quando atingido como uma maneira de estudar interações físicas dentro de uma cena visual. Apresentamos um algoritmo que sintetiza o som de vídeos silenciosos de pessoas batendo e arranhando objetos com uma baqueta. Esse algoritmo usa uma rede neural recorrente para prever recursos de som de vídeos e, em seguida, produz uma forma de onda a partir desses recursos com um procedimento de síntese baseado em exemplo. Mostramos que os sons previstos pelo nosso modelo são suficientemente realistas para enganar os participantes de um experimento psicofísico “real ou falso” e que transmitem informações significativas sobre propriedades materiais e interações físicas.
Aqui está uma olhada no algoritmo em ação. Você notará como ele correlaciona o movimento e a matéria de que um objeto sendo atingido é composto. É realmente algo que abre os olhos.
Essa tecnologia tem potencial suficiente para se tornar a fonte definitiva para sons foley. Os estúdios seriam capazes de gravar artistas foley realizando uma variedade de tarefas repetitivas, e o computador poderia determinar o melhor e mais realista uso do som – ou potencialmente combinar sons para criar o efeito sonoro perfeito.
Telas de cinema 3D sem óculos
Antes do SIGGRAPH 2016, o MIT anunciou mais um grande avanço – este voltado para o público cinematográfico. O Cinema 3D é um exibição de lente protótipo que projeta imagens 3D em todos os lugares no cinema sem a necessidade de óculos 3D. Trabalhando com o Instituto de Ciência Weizmann de Israel, o último artigo do MIT CSAIL proclamou o feito surpreendente.
Abordagens existentes ao uso de óculos 3-D requerem telas cujos requisitos de resolução são tão grandes que são completamente impraticáveis … Essa é a primeira abordagem técnica que permite a ausência de óculos 3-D em larga escala. – Professor do MIT, Wojciech Matusik
Aqui está uma olhada em como o Cinema 3D funciona.
Você pode ler mais sobre 3D sem óculos no artigo anterior.
Gosta de ler sobre tecnologia futura? Informe-nos se você deseja ver mais artigos como esses.
