Idol: modelo aberto da Sperid Labs transforma uma única foto em objeto 3D

Eu sempre quis pegar a foto de uma figure da minha estante e virar ela num modelo 3D sem passar horas fotografando de todos os ângulos. Pois a Sperid Labs acabou de liberar um modelo que promete justamente isso, e de graça.

O que é o Idol

O Idol recebe uma única imagem de um objeto, seja foto, render ou imagem gerada, remove o fundo sozinho e cria um Gaussian splat 3D com até cerca de 1 milhão de pontos, salvo num arquivo .ply comum. O mais curioso é que ele inventa também os lados que a foto não mostra.

Os pesos estão no Hugging Face com licença Apache 2.0, o que permite uso comercial, e o código fica num repositório público no GitHub.

Roda no meu PC?

Segundo a página do modelo, o pico de uso é de 7,2 GB de VRAM. A empresa fala em menos de 2 segundos no melhor caso, mas a própria tabela dela mostra uns 19 segundos numa RTX 4090 e uns 46 numa RTX 3080, na configuração padrão. Precisa de placa NVIDIA com CUDA, e antes é preciso aceitar no Hugging Face os termos de dois modelos usados como codificadores, o DINOv3, da Meta, e o VAE do FLUX.2-dev.

Nos testes publicados pela Sperid Labs, o Idol aparece à frente do TRELLIS e do TripoSplat na maioria das métricas. Vale lembrar que os números são da própria empresa.

O que eu acho

Para quem faz cosplay, maquete ou fan art, isso é um brinquedo e tanto: tirar foto de um acessório e ter uma referência 3D para girar na tela ajuda muito. Só não espere um modelo pronto para impressão, porque splat não é malha. Quem quiser testar encontra tudo na página oficial do Idol.