Meio Bit » Arquivo » Fotografia » Microsoft transforma vídeos tremidos em suaves obras de arte

Microsoft transforma vídeos tremidos em suaves obras de arte

Projeto do centro Microsoft Research desenvolve método para estabilizar e suavizar vídeos, mesmo aqueles feitos em primeira pessoa que costumeiramente ficam muito tremidos. O resultado é um time-lapse muito interessante.

9 anos e meio atrás

Puck_3

Muita gente faz piadinhas sobre a empresa, mas nunca duvide do fato de que a Microsoft tem hoje programadores que estão entre os melhores do mundo, de capacidade intelectual mais alta entre os profissionais da área.

Só precisa deixar eles criarem… E é pra isso que existe o Microsoft Research, que conta com mais de 1.100 cientistas e engenheiros trabalhando ao redor do mundo em múltiplas áreas de pesquisa.

E se você tem birra com os caras por causa de tela azul do Windows 98 ou porque as coisas são mais bonitas no seu Mac, you know nothing, Jon Snow.

Entre várias coisas legais que eles estão desenvolvendo, trago hoje aqui pra vocês o Hyperlapse em primeira pessoa da Microsoft.

A empresa sabe que já tem bastante gente usando câmeras como GoPro e, futuramente, talvez o Google Glass, para registrar suas atividades à partir da própria perspectiva. Seja uma caminhada no parque, seja a escalada de uma parede rochosa, seja se jogar de 39 km de altitude usando um traje espacial.

Só que vídeos gravados assim se tornam meio enfadonhos depois de poucos minutos. OK, então vamos acelerar esses vídeos, certo? Então… não, porque fica praticamente impossível de se assistir.

E a Microsoft está desenvolvendo uma maneira de corrigir isso. Assista o vídeo abaixo:

First-person Hyperlapse Videos

E como eles fazem isso? Segundo o paper que o centro de pesquisa divulgou (Johannes Kopf, Michael Cohen, Richard Szeliski), primeiro eles analisam e reconstroem o vídeo original, identificando modelos 3D da cena.

Depois eles utilizam algoritmos específicos para achar padrões nestes modelos e excluir frames com imagens que variam muito dentro do mesmo segmento de quadros, além da reconstrução de pontos esparsos.

Com o uso de proxys geométricos, eles conseguem criar um “melhor caminho” para o ponto da câmera, aquele no qual estes padrões se encaixem de uma forma mais suave.

Depois desta estabilização, eles fazem um pré-processamento (feito em duas etapas), com correções de rotação, iluminação e distorção, finalizando com a renderização do time-lase “corrigido”.

O vídeo abaixo explica isso de uma forma mais visual:

First-person Hyperlapse Videos (Technical)

É algo semelhante ao trabalho Photosynth, que também é da Microsoft, com novos quadros misturados para recriar as cenas com transição sem solavancos.

O resultado é um vídeo time-lapse muito mais estável. Claro que ele não é perfeito, com algumas formas e objetos que surgem meio que aleatoriamente no vídeo, mas a maioria dos exemplos apresentados é impressionante.

Aliás, técnicas parecidas com essas foram aplicadas ao Google Street View para produzir um hyperlapse com as fotos das ruas, no ano passado. Vale a pena conferir esse trabalho que também ficou lindo demais:

Google Street View Hyperlapse

Quanto ao projeto da Microsoft, trata-se apenas de uma pesquisa por enquanto, mas os engenheiros prometeram trabalhar duro para criar um app para o Windows o mais rápido possível.

Mãos à obra!

full_height2x_Sunset_Run1

Continuando aqui a metralhadora de links e referências (missigura), pra quem quiser se aventurar pelo mundo de visão computacional, recomendo estudar OpenCV, que é uma biblioteca gratuita e de código aberto, que inclui software com máquina de aprendizado, além de ser bem mantida e suportada pela gigantesca comunidade de usuários.

E estou falando aqui de gente como Google, Yahoo, Intel, IBM, Sony, Honda, Toyota e claro, a Microsoft.

Outro link legal que vale a pena compartilhar, é o tutorial publicado no Make, que ensina como produzir time-lapses com fotos noturnas, do céu e das estrelas. É de tirar o fôlego.

Pra finalizar, mais uma dica para estabilizar vídeos, só que neste caso para computadores com o Linux, usando o Transcode. Este site aqui explica certinho quais pacotes você precisa ter instalado e quais comandos são necessários para obter o efeito do vídeo abaixo:

Demontration of deshaking a cycling movie

Agradecimentos aos amigos Wesley de Souza, Mobi Yabiku Neto e Henrique Ulbrich.

Fonte: Microsoft Research.

relacionados


Comentários