NVIDIA lança Nemotron 3.5 Transcribe, modelo aberto que transcreve e traduz áudio em 40 idiomas

Quem já tentou legendar um vídeo, um podcast ou uma live sabe que transcrever áudio é o trabalho mais chato do mundo. A NVIDIA apresentou nesta quarta-feira o Nemotron 3.5 Transcribe, um modelo de pesos abertos que tenta resolver tudo de uma vez: transcrição, identificação de quem está falando, tradução e até perguntas sobre o conteúdo do áudio, tudo no mesmo modelo.

O que ele faz

Segundo a NVIDIA, o modelo transcreve 40 idiomas, traduz 31 deles de e para o inglês e separa as falas por pessoa em 13 línguas. Ele aguenta gravações de até uma hora, com até oito vozes, e marca o tempo de cada palavra. Por baixo, são 30 bilhões de parâmetros, mas só cerca de 4 bilhões ficam ativos a cada passo, o que deixa o processamento bem mais leve.

Os números divulgados também chamam atenção: primeiro lugar entre os modelos abertos no ranking de reconhecimento de fala em inglês do Hugging Face, com 5,33% de taxa de erro por palavra. Junto com o modelo veio o Granary v2, um conjunto de dados aberto com mais de 463 mil horas de áudio em 48 idiomas.

Por que isso interessa a quem vê anime

Na ficha técnica, o português (do Brasil e de Portugal) aparece no nível mais alto de qualidade, e o japonês como «pronto para produção». A tradução, porém, sempre passa pelo inglês, e o modelo foi feito para áudio gravado, não para transmissões ao vivo. A própria NVIDIA recomenda conferir nomes próprios, e qualquer fã sabe como nomes de personagens e golpes adoram dar errado.

Minha opinião

Como ferramenta para criadores de conteúdo, entrevistas e legendas de vídeos próprios, parece um avanço enorme, ainda mais sendo aberto. Mas legenda de anime boa continua sendo trabalho de tradutor, com contexto e cuidado com cada fala.

Fonte: anúncio oficial da NVIDIA no Hugging Face