Parece coisa do Hannibal Lecter, mas é da Microsoft Research

Por: em 13/08/08 na(s) categoria(s): Áudio Vídeo Fotografia, Indústria

comentários 50

unwrap1

Sinistra a imagem acima, não é?

Ela faz parte de um projeto da Microsoft Research, chamado Unwrap Mosaics. Ele é obtido analizando um vídeo e criando uma transformação 2D/3D/2D. No paper onde descrevem todo o processo dá pra perceber, pela quantidade de equações a complexidade da coisa.

Imagine você determinar um objeto em um vídeo, o algoritmo gerar um modelo do mesmo em 2D, você editar com um Photoshop ou similar, e o programa voltar a imagem para o vídeo. Em termos de edição multimídia será uma revolução, é possível remover, incluir objetos, tudo. Pense só: Ao invés de editar quadro-a-quadro para remover uma espinha do rosto de uma modelo, você faz a edição em uma única máscara e pronto, resolvido.

Veja um videozinho de demonstração do processo:



 

Depois, se quiser, aqui tem uma versão longa (7 minutos, 117MB) com mais exemplos e aqui o paper completo com imagens extras (PDF, 28MB). Você pode fazer como eu, baixar e fingir que entendeu 1/5 do que estão falando…

Fonte: Galileu Vieira

Mais textos de | Site | Twitter

  • http://melinka.net Rocky

    Deixa eu ajuntar meu queixo que caiu aqui…. :jawdrop:

    _____________________

    IndyCar Brasil tudo sobrea Fórmula Indy!

    Primeiro Pro-Commenter da Blogosfera Brasileira.

    • babatelo

      Me desculpa, mas não achei nada de tão extraordinário nisso. Pra quem estudo computação gráfica isso é simples.
      Vejam esse kit de treinamento sobre texturização no maya:
      http://www.digitaltutors.com/store/product.php?productid=88&cat=52&page=2

      O que fizeram foi algum algoritmo que consegue criar o 3d apartir de um vídeo, e dai simplesmente pintam em cima.

      • MaRKauM

        Pelo que eu entendi, o extraordinário é o fato de isolar um elemento direto de um vídeo, transformar em 2D, editar, aplicar efeitos e tal e ele aplicar diretamente no modelo 3D no vídeo.

        E isso sim é impressionante!

        ___________________________________________________________
        No tears, please! It’s a waste of good suffering!

      • http://www.contraditorium.com Carlos Cardoso

        Facílimo, em qualquer bate-papo do FISL cria-se um desses com cinco minutos e meia-dúzia de comandos em python.

        • babatelo

          Eu não sei que código eles usaram pra fazer isso. Mas entendo perfeitamente o processo. Algum tempo atrás a Microsoft estava desenvolvendo um programa pra gerar 3D apartir de fotos. Deve estar junto nessa bagaça.

        • http://meiobit.pop.com.br/o-que-e-uma-salsinha Salsinha

          Infelizmente ele tem razão. Quem trabalha com CG já viu coisa muito mais impressionante. O vídeo chega a ser tosco: treme o tempo todo e não deixa o usuário ver a diferença (chega a incomodar um pouco quem tenta avaliar ele e parece que foi feito assim de propósito).

          A MS tem inúmeros trabalhos nessa área, principalmente sobre reconstrução 3D a partir de fotos. E isso já não é muita novidade. Existem vários programas que fazem isso (a partir de duas ou três fotos para gerar um modelo 3D). A novidade do artigo é apresentar um método para facilitar a edição de vídeo usando técnicas já conhecidas.

          Eis um exemplo de vídeo (já velho) que achei muito interessante na época (preste atenção a partir dos 2:10):
          http://www.youtube.com/watch?v=pSRA8GpWIrA

          Como falei, o trabalho é bom. Não chega a ser impressionante, mas é bom. O vídeo ficou mau feito. A Microsoft China tem trabalhos muito melhores. Pelo jeito não é só nas olimpíadas que os EUA perdem para a China. :)

          Ah… não se assuste com as fórmulas. Elas estão lá para auxiliar o entendimento do modelo apresentado. Ou seja… para facilitar. ;)

          • garoa

            Me parece que o que impressiona é justamente o fato de se conseguir extrair um modelo 3D texturizado unwrapped a partir de um vídeo mal-feito e tremido. Ou seja, utilizando uma tecnologia extremamente barata e ao alcance de qualquer um. Tirando o software que faz isso, claro, pois a Microsoft sem dúvida vai eventualmente licenciar por uma pequena fortuna para estúdios de Hollywood… :P

            Mas uma hora chega em casa para qualquer PC com webcam… e vem a galera do Blender e implementa a idéia também. ;)

          • http://www.contraditorium.com Carlos Cardoso

            EXATO. No próprio abstract do projeto eles dizem que a tecnologia “is designed to be easy to recover from a priori unseen and uncalibrated footage.”

            Estão comparando com texturização de um modelo 3D escaneado a laser. Isso não tem NADA a ver com CGI feita em um Blender da vida, não tem modelagem envolvida (não pelo usuário). O algoritmo INFERE o modelo.

            Isso é, sim, revolucionário.

          • http://meiobit.pop.com.br/o-que-e-uma-salsinha Salsinha

            [quote=Carlos Cardoso]Isso é, sim, revolucionário. [/quote]

            Como já falei antes… infelizmente NÃO É. Inferir modelo 3D de vídeo e fotos já faz muito tempo que não é novidade.

          • garoa

            Vai ver foi pesquisa dos mesmos caras que a Microsoft tá contratando agora… ;)

          • http://meiobit.pop.com.br/o-que-e-uma-salsinha Salsinha

            Siggraph de 2000 já tinha um trabalho que fazia isso. Quando chegar em casa para qualquer PC com webcam… EU VOU QUERER.

            Imagine poder trocar o rosto de um personagem de um filme. Hollywood sempre quis algo assim. Imagine se morre um ator no meio de uma gravação e eles querem continuar a usá-lo no filme. Coloca um ator e depois coloca o rosto do indivíduo “mais lucrável” (melhor ter o rosto de um famosão que dá mais retorno). Isso já foi feito em Star Wars (na cena de luta entre Yoda e Count Dooku, o amigo do Cardoso): Christopher Lee não podia fazer as cenas de luta, então colocaram um ator e trocaram o rosto do ator pelo do Lee e adicionaram o Yoda.

            Isso abre inúmeras possibilidades.

          • http://flavors.me/naio21 OMGWTFBBQ

            Eu SABIA que alguém iria desmerecer…

            É cultural, não tem jeito!

            [ ]‘s

            ——————–
            http://www.youtube.com/anunciaraquiegratis

          • http://www.contraditorium.com Carlos Cardoso

            Claro, afinal veio do Império do Mal…

          • http://meiobit.pop.com.br/o-que-e-uma-salsinha Salsinha

            Falei que o trabalho é um lixo ou algo assim?

            Disse que NÂO É BOM?

            Só falei que não é impressionante nem inovador. Já vi trabalhos da MS Asia que me deixaram de queixo caído, mas este realmente não é tão espetacular.

            Do Cardoso até imaginaria um “mimimi” ou algo do gênero já que parece não gostar muito quando não elogiam os posts dele. }:)

          • garoa

            Esse OMGWTFBBQ faz juz ao nome. ;)

          • http://flavors.me/naio21 OMGWTFBBQ

            Estou começando a desconfiar que Salsinha, garoa e bigode são tudo o mesmo cara… 8)

            [ ]‘s

            ——————–
            http://www.youtube.com/anunciaraquiegratis

      • laio

        “O que fizeram foi algum algoritmo que consegue criar o 3d apartir de um vídeo, e dai simplesmente pintam em cima.”

        essa é a parte impressionante, e EXTRAORDINARIA! nao só isso, o algoritimo parece criar uma layer virtual tridimensional, coisa que voce teria que fazer a mao no xsi, maya, 3ds, houdini ou seja la o que for, além disso, ele parece reaplicar mudanças em alpha com essa layer por cima do video em tempo real de acordo com os movimentos. tem noção da dificuldade de ser interpretar um movimento com um video tremido sem parametros e sem nenhum guia/marcas apenas com um algoritimo?

        ninguem discute ai a criação de um algoritimo de unfold/unwarp pra soft 3d, nao é o caso.

        no dia que essa tecnologia se tornar um produto conciso, a industria digital vai mudar, aposto que os custos da ILM iriam cair um bocado com algo do genero!

        é tao forte quanto a mudança que zbrush traz na pipeline com um escultor digital com extrema velocidade, e é a mesma coisa.
        nao é impossivel fazer modelos extremamente detalhados e fodas sem zbrush.

        mas se voce pode fazer um trabalho de qualidade igual ou superior, em 5 horas, e nao uma semana, é obvio que é uma tecnologia muito boa.

      • http://melinka.net Rocky

        SE você trabalha com 3D você sabe o trabalho que da mapear um objeto decentemente, esse algoritimo simplesmente faz isso em realtime a partir de um video. Vai ser uma revolução….

        Queria sabe de que mente insana saiu esse código, porque o conceito dele é antigo mas nunca se achou uma forma de torna-lo viável.

        _____________________

        IndyCar Brasil tudo sobrea Fórmula Indy!

        Primeiro Pro-Commenter da Blogosfera Brasileira.

  • neto_antonio

    bem em um futuro próximo as actrizes pornos não terão estria ….

    edit:
    e as japinhas terão um dentição branca e perfeita =).

  • http://alexpopst.blogspot.com/ Alex_popst

    Alguém mais pensou em edição de jogadores em Winning Eleven??

    Poemas open source em Memórias fictícias de Alex Popst

    • http://oxenti.com GuZ

      Pensei no The sims…

      ——————————
      GuZ’s Blog

  • http://geekpobre.com/ GeekPobre

    Com isso ao inves de borrar a cara de alguem irá se colocar bigodes e um nariz batatão :)

    E eu entendi metade do que no PDF, estou feliz por isso… :P
    ————————————
    http://geekpobre.890m.com/
    Acesse, Vale a pena.

  • horphus

    Wow.

  • http://rostinhosbonitos.blogspot.com tnigri

    Não entendemos nadica de nada da explicação, mas que é o máximo, isso é!
    –
    ACESSE O BLOG:
    http://rostinhosbonitos.blogspot.com/
    (mais de 18.000 pessoas já acessaram)

  • ironman_br
  • NewUser

    Quando eu crescer quero trabalhar em algum “research” desses: Google Research, Microsoft Reserach, Sony Entertainment Reasearch :-)

  • http://minhasdicaslinux.blogspot.com/ Karls

    É…é para se respeitar isso ai…poxa vida, impressionou.

    _________________________________________________________________________
    “Desistir da idéia de ganhar antes de começar, equivale a perder sem luta”.

  • Gabriel_Fa

    :jawdrop:
    O sonho de todo programador é fazer um algoritmo desse.
    Simplesmente impressionante, cada dia tenho mais vontade de fazer pesquisa na área de computação.

    “Tendo lógica, você programa até uma pedra”

  • http://www.lsi.usp.br/~cesargm cesargm

    Muito, muito bom mesmo! São coisas que só se vê no SIGGRAPH primeiro :-)

    Aliás, o título do post ficou ótimo.

  • xxpagexx

    Já vi algo parecido em algum outro lugar…não me lembro onde! mas já vi!

    - – - – - – - – - – - – - – - -
    ????s??lo? ? s??lo? áp opun? o
    o mundo dá voltas e voltas. . .
    ?

  • garoa

    Muito interessante mesmo. Basicamente gera um modelo 3D texturizado e já unwrapped a partir de vídeo. Iria facilitar bastante a vida do pessoal técnico de Matrix Reloaded e Revolution se estivesse disponível à época. Eles tiveram que fazer moldes em gesso dos rostos e depois digitalizar esses modelos.

  • Wallacy

    A parte matemática nem é tão difícil, já a parte logica é toda muito bem estruturada, e sim muito complexa! Não é do tipo de coisa que totalmente inovadora, nem totalmente nova, é mais uma excelente aplicação dos conhecimentos já existentes na área.

    Palmas para a MS por gerir esse software, que em conjunto com outras técnicas (como o liquid rescale, esse sim eu diria que é genial) pode revolucionar as artes gráficas computadorizadas (de maneira geral).

    • http://www.lsi.usp.br/~cesargm cesargm

      Eu sou formado em Matemática, e convivo com vários matemáticos na pós. Mas essa é a primeira vez que vejo alguém dizendo que integral de linha, ou funções de Green, não são “tão difíceis” :)

      • http://meiobit.pop.com.br/o-que-e-uma-salsinha Salsinha

        Sabe o que Green falava dos matemáticos? }:)

        • http://www.lsi.usp.br/~cesargm cesargm

          Alguma coisa sobre Green Fields? :-)

          • http://meiobit.pop.com.br/o-que-e-uma-salsinha Salsinha

            Hehehe… acho que está no contexto. Muito boa essa. :)

      • garoa

        O Wallacy está bem acima da média. ;)

      • Wallacy

        Não ser “tão difícil” não quer dizer que é fácil. 8) Ainda mais se analisarmos o contexto de tais equações. O difícil é determinar a função de Green.

        “Eu sou formado em Matemática, e convivo com vários matemáticos na pós. ”

        Meus pêsames! }:) Eu sempre preferi as meninas da área de saúde. Elas também não gostam de integral, porém a companhia é bem mais agradavel! :P

  • http://br.groups.yahoo.com/group/ChannelTI/ JulianaPrado

    Além da complexidade envolvida nesse projeto eu fiquei impressionada por esses softwares conseguir duplicar a imagem em 2d e digamos assim jogar em cima dessa duplicação o 3d e com isso possibilita a mudança que deseja realizar na imagem sem realizar quadro a quadro e criar o efeito da mudança ser efeita instantamente como se aquilo fosse realmente parte da imagem.

    http://alfamundo.wordpress.com
    http://infowd.blogspot.com

    • http://meiobit.pop.com.br/o-que-e-uma-salsinha Salsinha

      Estava até agora tentando entender o que você escreveu. Já dei uma olhada nos trabalhos do Alex Rav-Acha e, apesar do cara ser matemático, parece ser muito mais fácil de entender todo o trabalho dele que isso que você escreveu.

      Sou salsinha mesmo. :(

      • http://icaju.wordpress.com Mamutti

        Já ouviu falar em efeito Halo? ;)

          iCaju
  • http://magno-naval.blogspot.com magno

    Pode ser usado também para fazer texturas foto-realistas. Fico imaginando a aplicação isso no estilo “Running Man”: basta criar uma animação com objetos foto-realistas para permitir a criação de qualquer vídeo para black-mail, manipulação de massas, etc.

    A descrição de uma testemunha pode servir para “filmar” um assassinato e assim conseguir condenação. Nem o próprio assassino poderia dizer que a filmagem é falsa, pois aconteceu.

    –
    “If that’s how you judge a man — by performance — then eventually it’s not about people but upgrades, versions, functionality…” – NSF Terrorist

  • http://www.wallck.com.br/ wallck

    [quote]Você pode fazer como eu, baixar e fingir que entendeu 1/5 do que estão falando…[/quote]

    Feito. :jawdrop:

    Adepto BitZero
    http://www.bitzero.com.br
    wallace@bitzero.com.br

  • http://papodeesquina.wordpress.com †Player Of Dark†

    Quem sabe agora o Irã acerta na hora de editar suas imaagens de testes de misseis… haha

    ———————————————————–
    “É certamente prejudicial para as almas tornar uma heresia acreditar no que é provado.”(Galileu Galilei)

    http://papodeesquina.wordpress.com

    • MaRKauM

      Já pensou que legal? Agora eles podem divulgar vídeos dos mísseis e não apenas fotos!

      ___________________________________________________________
      No tears, please! It’s a waste of good suffering!

  • http://lambdasigma.blogspot.com Jntsonline

    Disso aí poderiamos fazer diversar coisas, não só em vídeos normais mas também em games. tipo se vc tomou uma porrada num game, a marca vai aparecer até nos “trailerzinhos”.

  • Rodrigo8

    to com uma leve desconfiança q os maquiadores e outros do meio estao com os dias contados

    • MaRKauM

      Eu acho que não!

      Sempre existirão paparazzis prontos para capturar a “realidade” e expor ao público!

      ___________________________________________________________
      No tears, please! It’s a waste of good suffering!

  • http://blog.cobline.com Cobalto

    Lembrei dos arquivos dos modelos dos personagens de Quake II :P
    —————————————–

    “Em todo o caso, casai-vos. Se vos couber em sorte uma boa esposa, sereis felizes; se vos calhar uma má, tornar-vos-eis filósofos, o que é excelente para os homens”. – Sócrates