Técnica 3D de Estabilização de Imagem em vídeo

Por: em 15/07/09 na(s) categoria(s): Áudio Vídeo Fotografia, Software

comentários 79

Com a popularização das filmadoras e celulares muito vídeo está sendo produzido, como como todo mundo que já tentou gravar uma sex tape segurando o celular sabe, o vídeo fica MUITO tremido. Mesmo estabilizadores de imagem só conseguem um resultado parcial.

A técnica apresentada na SIGGRAPH 2009 por 4 cientistas da Universidade Wisconsin-Madison e da Adobe usa uma abordagem completamente diferente.

Estabilizar uma imagem em 2D pode funcionar em… 2D, mas e quando você está andando e filmando? Comofas? Pois seus problemas acabaram! A solução é criar uma câmera virtual e movê-la de forma suave e constante. Mapeia-se o ambiente do vídeo em um modelo 3D, transforma-se isso em informação para a câmera virtual, e o resultado é um vídeo estável como se filmado com um dolly ou steadycam.

Digamos assim: Se eu visse em CSI diria “ah qualé!”. Mas chega. Enquanto o pessoal está escrevendo “já tem plugin do GIMP pra isso”, “se não for GPL não presta”, “Microsoft vai copiar” e outras besteiras, veja o vídeo. São 5:33 que você não se arrependerá de gastar.

Mais textos de | Site | Twitter

  • Bill Jobs

    SENSACIONAL… se o resultado for real.

  • http://mafiaairforce.myminicity.com andre_mendesc

    Ficou profissional mesmo, perfeito.
    _______
    AYBABTU

  • ovtbqr

    Eu quero pra shake nos vídeos com dolly, comofas?

    O teste de verdade seria num show de música, com os tios gravando no celular enquanto pulam enlouquecidos. Só colocar os sensores no palco e panz.

  • lucasSouza

    Onde baixa isso!!!11!! :D
    Tipo, se é uma parada pras pessoas que não podem comprar o equipamento de um estúdio de TV, isso aí não pode ser uma ferramenta cara!

  • ovtbqr

    Eu presumo que seja mais caro. Pra estúdios e interiores. Pra shots maquiavélicos em aberto até que vai compensar.

    O que os caras fazem é basicamente colher dados através de motion capture (no cenário, o que é genial) e usar os dados para distorcer a imagem corretamente.

  • http://www.contraditorium.com Carlos Cardoso

    Eventualmente isso chega aos celulares.

    –
    Contraditorium.com

  • http://www.contraditorium.com Carlos Cardoso

    Perfeitamente. Quais são mesmo suas credenciais para questionar a credibilidade de 4 pesquisadores de renome internacional, da Adobe e da maior conferência da área gráfica do mundo?

    –
    Contraditorium.com

  • Rhob

    :jawdrop:

    Só eu não gostei? :?

    Sério, acabaram com a emoção de tentar adivinhar o que o vídeo amador está tentando mostrar…
    Os exemplos de estabilização deles ficaram muito parecidos com filmagem profissional, alguns até melhores…
    :P

    Agora, essa tecnologia só vai pra frente quando o cinema pR0n resolver ensinar aos atores como segurar uma câmera. Aí sim, teremos filmes POV perfeitos… }:)

    __________________________________________________________
    http://www.nvmania.com.br

  • Kenderson Fernandes

    Simplesmente fantástico!
    Quando chegar esse recurso aos celulares será uma loucura … :jawdrop:

  • lookez

    Fiquei pasmo

    agora imaginem se as próximas camcorders ja fizessem isso automaticamente, usando infra-vermelho pra capturar o ambiente

    -

    ONCE YOU GO MAC, YOU NEVER GO BACK.

  • julianotec

    Interessante que essa tecnologia esteja chegando a usuarios comuns pois essa tecnologia nao eh nova.

    A Nasa foi a pioneira com estabelizacao de imagem em um software chamado VISAR.

    Ele foi utilizado no inicio da decada de 90 quando houve uma tentativa de atentado a bomba nas olimpiadas de Atlanta.

    Em meados da decada de 80 ela comecou a ser implementada com a funcao de estabelizar imagens de estrelas (para quem nao conhece, era um monte de borroes nas fotografias)

    Finally, um post bem legal.

    http://www.youtube.com/watch?v=Zo0ui7TIPMw

  • http://raelmaxi.wordpress.com raelmaxi

    Na segunda linha do post tem COMO duas vezes.
    —-
    Se for pra usar algo ruim, que pelo menos seja de graça.

  • http://pietra@hotmail.com Anônimo

    Cara a maneira que eles demarcam os pontos para deixar fixo é impressionante. show de bola mesmo. :jawdrop:
    __________________________________________________________

    “Somente a Beira do Abismo que nos vemos Obrigados a Evoluir”

  • Diavolul

    fantástico. Há previsão de quando será comercializado?
    abcs
    ____________________________________________________________________

    pessoas normais torcem por times de futebol; geeks torcem por sistemas operacionais.

  • mu

    Impressionante. Mas não sei se repararam, só pra reforçar a parte que ele fala que a imagem é fisicamente não exata: no exemplo da parábola, a cerca do lado esquerdo da mulher com o carrinho parece ser feita de elástico.

  • Bill Jobs

    Nenhuma, a não ser as de consumidor além da meus 72 bits e minha insignia meiobit…

    Mas, fora isso, a experiencia nos diz que é comum as apresentações serem melhores que os resultados finais, pelo menos num primeiro momentos. Já vimos isso aqui.

    Espero que no lançamento não tenhamos (nós, os descredenciados produtores independentes e/ou amadores) problemas de renderizações, dropframes nitidos, discrepancias de sincronizaçõa ou mesmo quedas de qualidade notaveis e surgimento de aberrações cromáticas, dentre outros problemas que filtros complexos podem trazer para imagem.

    No mais, acho a notícia boa.

    Credencia?

  • http://www.contraditorium.com Carlos Cardoso

    É uma pena que você não saiba diferenciar um trabalho científico de uma apresentação montada pelo depto de marketing. Meus pêsames.

    –
    Contraditorium.com

  • http://internauta20.blogspot.com brunobca

    Muito f*da! Pelo preço que for, valerá cada centavo, se sair por um preço comprável por uma pessoa física, certamente comprarei!

  • http://www.contraditorium.com Carlos Cardoso

    Eu ia até responder mas quando vi “estabelizar”, ficou claro que seria perda de tempo.

    –
    Contraditorium.com

  • Lem0nHead

    Não entendi como ele sabe qual a “área desejada”. Será que tem que selecionar?

    Por exemplo, em 3:38, como ele sabia que “podia” cortar o topo daquele negócio lá atrás?
    Será que se baseia em todos os frames da mesma cena e tenta inferir qual o objeto principal (o que é muito difícil com cenas em movimento)

  • ppvanzella

    Minha única reclamação é que com tantas gostosas em Madison (grande imigração sueca e dinamarquesa lá naquela região) eles usam um japinha, do sexo masculino, supostamente homem, como modelo.

    Na verdade não é uma técnica muito difícil de ser implementada, nem muito cara em termos computacionais.
    O que é feito, basicamente, é gerar pontos arbitrários por contraste e um algoritmo de track mantém esses pontos em sincronia através dos frames. Depois é só cortar e rotacionar cada frame para alinhá-lo com o anterior. Isso no movimento em linha reta. Os outros exigem mais matemática, mas o conceito é exatamente esse.

    Então podem se animar e esperar isso pra próxima versão do Premiere e talvez até pro iMovie ’11.

    http://www.ppvanzella.com
    E eu sinto uma terrível dor nos meus diodos esquerdos.

  • http://nada-aqui.blogspot.com Marcio Neves

    Caramba! Show de tecnologia, heim?

  • julianotec

    nao seja tonto…

    eu tb li

    [quote]

    uma sex tape

    [/quote]

    usando o genero errado e ainda respondi!!!

    vtnsc tb!

  • lucasSouza

    [quote=Cardoso]como como todo mundo que já tentou gravar uma sex tape[/quote]

    HUAHUHAUUAHHAHUAHUHA
    Se acha o pegador }:)

  • http://www.meadiciona.com/danielsouzat danielsouzat

    Usar “motions vectors”(antigos) foi genial! Pena que o filtro de estabilização diminui o ângulo de visão da filmagem, pelo menos é o que parece. Bom é melhor gastar mais numa lente com uma distância focal menor, do que ter toda aquele trabalho com suportes, que são necessários pra uma filmagem decente. Caso isso dê certo como prometem, Hollywood vai ficar bastante triste, já que isso irá diminuir ainda mais a diferença de qualidade entre os filmes de grande e pequeno orçamento.

  • ovtbqr

    Alguém que entenda disso por favor me corrija se eu estiver errado, mas eu presumo que o computador deduz que o objeto principal é focado no meio da “imagem”.

    Presumo que é o que acontece ou pelo menos deveria acontecer na grossa maioria das vezes.
    E nas que não acontece, dae o usuário terá que “calibrar” manualmente na produção final do vídeo.

  • marsjomm

    Impressionante, agora todas as candidatas a musa do bbb vão poder gravar suas fitas de sexo selvagem e deixar bem visível os rostinhos, para que ninguém tenha dúvida de que são elas (e para aumentar o cachê da playboy, né?);)

  • http://www.autodesklaforum.com/aipod Jeferson Stutz

    Esta tecnologia já existe a uns 10 anos na maioria dos softwares high-end para pós-produção (ex: Combustion). Será que agora eles pensaram em colocar isto embarcado em filmadoras ?

  • http://magno-naval.blogspot.com magno

    O resultado ficou interessante, faltam apenas alguns “fine tunnings” no algoritmo usado na apresentação.

    Posso estar enganado, mas parece que o método ainda assim reduz o campo de visão, porém menos que outros algoritmos similares. Será que dá para fazer uma associação com o Photosynth e produzir uma interpolação no tempo?

  • Rayane

    Muito bacana! Excelente novidade. :)

  • Baroni

    hum, também não sei, neste caso, os cientistas estão bons nesta coisa de marketing ou os propagandeiros estão com jeitinho de cientista?

  • Lem0nHead

    Isso não funciona com interação entre objetos. Por exemplo, se você filma uma grupo de pessoas andando no centro da imagem, ele não vai ter como fazer o track do objeto como um todo… e também não parece muito justo (nesse caso), fazer track só do objeto que está mais próximo ao centro (depois de segmentar os objetos)

  • rafael.lehmkuhl

    Realmente impressionante, a idéia é simples e foi apresentada muito bem.

    O único porém mesmo é que diminui a área de visão, o que é necessário já que na tremida, algumas partes são cortadas fora, mas como disse o “danielsouzat”, melhor investir numa angular maior do que gastar montantes com equipamentos de estabilização.

    Quem sabe numa próxima versão, não utilizem esses pontos referenciais para “pegar” partes que na tremida entram e saem da captura, e “juntá-las” ao seu lugar de origem (utilizando os pontos referenciais), assim daria para aumentar a área de visão.

    Só eu tive essa idéia?(esquece, já patenteei) :D

  • tungah

    UAU! Muito bom o resultado.
    Eu diria até que podemos dizer adeus a estabilizadoras “físicos”, como steadycam. Só que rola um crop nervoso aí de aparentemente uns 30%. Aí é foda pra uso pro.

  • davidkwast

    Um trabalho científico apresentado no CIGGRAPH não é brincadeira. Nomes de pesquisadores, universidades e empresas estão em jogo.

    Não é como a internet onde as pessoas podem se esconder atrás de apelidos e/ou avatares, e sair falando qualquer coisa.

    []s

  • davidkwast

    Já tem celular querendo chegar nos 1Ghz ARM11… Se bobear multi-core.

    Estou sentindo o Atom do meu Netbook ficando bem ultra-passado…

    []s

  • davidkwast

    Até onde eu entendi, o crop depende de quanto a câmera balançou na cena. Não tem mágica…

    Inventar o resto da cena, fica para o próximo ano, hehehe.

    []s

  • _Carlao_

    É isso davidwast e vou mais longe,

    Este tipo de recurso já não é novidade para os usuários do Final Cut Pro há pelo menos 2 anos, chama-se SmoothCam. O conceito é antigo (1998) mas só se tornou viável aos equipamentos de baixo custo graças ao aumento da velocidade de processamento das CPUs, GPUs, memória, etc. Quanto ao CROP que é a “mágica” da estória, a própria funcionalidade (no Final Cut e no Motion 3 pelo menos) permite escolher se quer tarjas pretas ou não, de qualquer forma um zoom na imagem é inevitável por conta do deslocamento no eixo x.

  • Bill Jobs

    Hum… meus pesames por vc saber… Mal.

  • Baroni

    ya, rly! :jawdrop:
    no inferno também, dizem ter ótimas intenções.

  • http://newserrado.com Kosh

    Como imaginei, uma parte do quadro é cortada e quanto mais instável for a filmagem, maior o corte mas, é o preço a pagar.

    Queria aplicar isso em “A Bruxa de Blair” e ver como fica o filme, deve perder todo o impacto que teve na época.

    [Visite o NewsErrado]

  • http://www.contraditorium.com Carlos Cardoso

    Possibilidade 1 – 4 pesquisadores de ponta da área de computação gráfica apresentam um trabalho em 2009 na mais respeitada conferência da área, mas o trabalho nada mais é do que algo tão velho que já existe de 1998 e roda em qualquer Final Cut Pro da vida

    Possibilidade 2 – Você não tem a MENOR idéia do que está falando

    Resposta? Occam sabe.

    –
    Contraditorium.com

  • http://www.contraditorium.com Carlos Cardoso

    Possibilidade 1 – 4 pesquisadores de ponta da área de computação gráfica apresentam um trabalho em 2009 na mais respeitada conferência da área, mas o trabalho nada mais é do que algo tão velho que já existe de 1998 e roda em qualquer Final Cut Pro da vida

    Possibilidade 2 – Você não tem a MENOR idéia do que está falando

    Resposta? Occam sabe.

    –
    Contraditorium.com

  • http://pietra@hotmail.com Anônimo

    Estou percebendo uma certa proliferação nos Salsinhas aqui no Meio-bit
    __________________________________________________________

    “Somente a Beira do Abismo que nos vemos Obrigados a Evoluir”

  • http://pietra@hotmail.com Anônimo

    Rá, os editores do Meio-Bit também são reféns do Maligno Zé Gotinha, integrante da Ku Klux Klan
    __________________________________________________________

    “Somente a Beira do Abismo que nos vemos Obrigados a Evoluir”

  • bond

    Isso seria muito util em um celular!!!

    __________________________________________________________________
    “Talento é quando um atirador atinge um alvo que os outros não conseguem. Gênio é quando um atirador atinge um alvo que os outros nao vêem.”

  • http://www.google.com/profiles/thiagopc thiago_pc

    O resultado é realmente impressionante, valeu cada segundo. Na cena do pier apareceram uns frames em que o mar foi bem distorcido, imagino que o algoritmo se atrapalhou tentando mapear pontos de contraste na água (o que é inútil e induz a erro, já que eles são criados e destruídos a todo instante). Mas todo algoritmo tem alguma limitação, então isso não é nenhum demérito.

    Nota 10! :)

  • http://www.avila.net.br rodrigo.avila

    No vídeo, ao comparar a saída do imovie 09 com a saída deles, dá pra ver que a saída deles é bem mais ‘cortada’ que a do imovie. Se ‘cortar’ a saída do imovie o tanto quanto foi ‘cortada’ a saída deles, vai dar no mesmo.

    Já usei este recurso no imovie, e dá bons resultados.

    Agora… se esta pesquisa estiver sendo feita para aplicar este efeito diretamente na câmera… aí é outra história.

    Rodrigo
    http://www.avila.eti.br

  • leonardokula

    Nota 10 mesmo, isso seria muito interessante pra fazer uns video clipes amadores e tal. Adoraria ter isso no meu cel também!

  • XMAGNUM

    muito legal, ahhh um desse no meu cel :P

  • mendes_lu

    E eu aqui ficando impressionado com a estabilização de algumas câmeras fotográficas vejo algo desse nível. É fantástico! Só espero que eles cheguem a um preço financeiramente viável para pobres mortais.

  • Claudio.Oliveira

    Isso vai ser realmente interessante em celular. Além do algoritmo utilizado para a correção o acelerômetro tambem pode registrar o deslocamento do telefone o que possibilita uma estabilização perfeita da imagem.

    _______________________________________________________________________________________
    Tanto faz o SO eu não sei usar nenhum… mas amo o ubuntu instalado no meu macbook..

  • http://www.contraditorium.com Carlos Cardoso

    Boa idéia!

    –
    Contraditorium.com

  • http://www.contraditorium.com Carlos Cardoso

    Alguém espalhou bosta pelos servidores. Só adubo explicaria essa proliferação.

    –
    Contraditorium.com

  • kadu20es

    Eu gostei mesmo é da música ;) ))

    O Pirata Digital: http://www.opiratadigital.wordpress.com

  • Danskk

    Resultado incrível de estabilidade dessa técnica. A apresentação em vídeo e a trilha ficaram ótimas. :D 8)

  • lookez

    Cara, seu apelido é Bill Jobs.

    nuff’ said.

    -

    ONCE YOU GO MAC, YOU NEVER GO BACK.

  • guicpv

    Cadê aquele plugin do GIMP que faz isso? :jawdrop:

  • http://pietra@hotmail.com Anônimo

    Culpa do Marcellus não estar fazendo as colheitas, da nisso.
    __________________________________________________________

    “Somente a Beira do Abismo que nos vemos Obrigados a Evoluir”

  • http://pietra@hotmail.com Anônimo

    Esse ai prova que leu o POST e assistiu o video ein :D
    __________________________________________________________

    “Somente a Beira do Abismo que nos vemos Obrigados a Evoluir”

  • rafael.lehmkuhl

    Exato, o crop deve ser automático baseado no quanto da cena de encontra sempre na captura.

    E inventar a cena é uma idéia, como disse no meu comentário acima:

    “[...]Quem sabe numa próxima versão, não utilizem esses pontos referenciais para “pegar” partes que na tremida entram e saem da captura, e “juntá-las” ao seu lugar de origem (utilizando os pontos referenciais), assim daria para aumentar a área de visão[...]”

    É só questão de saber implementar, e pelo que eles mostraram no vídeo, ele conseguem .

  • Bill Jobs

    Sabia que tava estranha essa sua provocação.

    Você inventou a insignia de Salsa e me escolheu para estreia!!

    ahuehuaeuhahue…

    Injusto, pois não foi dito não teve salsa alguma aqui… e vou lembrar desse post, quando as reclamações de bugs sobre o novo sistema começarem, após lançamento oficial.

    De qualquer forma, valeu pela insignia… Você devia pegar uma pra você, ela fica ótima no perfil.

  • brunofs

    Muito bacana.

    TODAS as cenas foram ‘cortadas’ em altura no resultado final.
    Estaria relacionado à tecnologia ?

  • freakcode

    Só tem um detalhe: você perde as bordas da imagem, proporcional ao quanto a câmera tremeu. De certa forma, é um processo com perda de informação (lossy).

  • robson.trindade

    E o melhor! Ainda vai me fazer economizar os $10 que usaria pra montar isso daqui: http://www.youtube.com/watch?v=nXB0ncUQLn4 (visto lá no gizmodo).
    Pela primeira vez, me empolguei com algo sobre videos!
    –
    Tudo muda a cada segundo. E uma fotografia?

  • http://nada-aqui.blogspot.com Marcio Neves

    Está relacionado com o quanto a câmera “treme” enquanto se aplica o filtro. Afinal de contas, para ficar uniforme, ele precisa deslocar/ girar/redimensionar os frames de suas posições/rotações/dimensões originais. Senão seria um tal de aparacer/desaparecer bordas pretas, de todos os tipos (horizontais, verticais, inclinadas, etc)

  • davidkwast

    UHhuaa, esse post está muito divertido. Todo mundo desconfiando do SIGGRAPH.

    Só para adicionar mais valor ao post:

    http://www.youtube.com/watch?v=vIFCV2spKtg

    Resize “inteligente” de imagens.

    []s

  • davidkwast

    Da pra sair pelo menos um Mestrado dessa idéia….

    []s

  • davidkwast

    Não tem milagre, precisa trocar o balanço por alguma coisa. Do mesmo modo em que quando se usa o Night-Vision, não tem cores.

    A mídia digital geralmente degrada um pouco da qualidade, mas garante uma maior fidelidade a partir deste ponto. Mídias analógicas geralmente perdem a qualidade com o tempo, interferência ou outros fatores. Ex: CD vs. K7

    []s

  • renrutal

    [quote=robson.trindade]E o melhor! Ainda vai me fazer economizar os $10 que usaria pra montar isso daqui: http://www.youtube.com/watch?v=nXB0ncUQLn4 (visto lá no gizmodo). [/quote]

    Acho melhor gastar os $10 agora, uma técnica dessas deve usar processamento pra caramba. Não é coisa pra ser embutida em câmeras e celulares tão cedo.

    Eu ainda achei o resultado um pouco artificial demais, parecia que estava jogando um FPS, mas isso deve ser corrigido mais pra frente, com ainda mais processamento.

  • http://www.milk-it.net lucaspetes

    é, foi inevitável não lembrar do Photosynth, mas é fantástico. fantástico.

  • kotter

    que bonito! fica muito profissional o resultado, dá uma “textura” bacana pro vídeo.
    só a “área de corte” do vídeo que eu achei bem grandinha. acho que pelo menos uns 25% da informação visual da tela são perdidas.

  • rafael.lehmkuhl

    Tudo depende de quanto se “tremeu” a câmera.

  • YSimonini

    Para mim, foram 5:33 minutos aprazíveis. Uma tecnologia realmente interessantíssima que mal posso esperar para ser colocado nos celulares. Vai ser interessante quando eles começarem a fazer testes norturnos…

    Ou então, seria divertido ver esse processo no “Bruxa de Blair” (mas perderia a graça….)

  • YSimonini

    Ops…
    Desculpe… :?

  • RodrigoCantarino

    Incontestavelmente excelente. A forma como o programa reconhece o ambiente 3D é sensacional, programar isso não deve ter sido nada fácil, mas em contra partida, fazer filmes ficou bem mais fácil.
    Só achei que o corte do vídeo ficou um tanto grande na parte superior+inferior do vídeo. Mas para quem quer usar isso como ferramenta acho que é só fazer umas adptações na hora da filmagem.

  • riccieri

    A perda é por causa da ‘tremida’ da câmera…Não dá pra simplesmente ‘inventar’ o que estaria ali, e não acho que seria legal simplesmente supor que será semelhante à cena anterior…Provavelmente causaria erros bizarros.
    É como quando você pega uma imagem em que o assunto principal está oblíquo, e quer deixa-lo alinhado com a vertical…Ou você deixa bordas pretas na imagem ou corta o que ‘sobra’

  • pingflood

    Eu quero esta tecnologia aplicada no Lost. Assim seria possível assistir as cenas de ação sem ter náuseas.
    (Ou poderiam simplesmente demitir o cinegrafista Parkinson)

  • Baroni

    [quote=Baroni]hum, também não sei, neste caso, os cientistas estão bons nesta coisa de marketing ou os propagandeiros estão com jeitinho de cientista?[/quote]
    …

    é, esqueci que pra usar ironia tem q ter credenciais.