produtoprojeto técnico

AudioVizzon

Visualizador de música audio-reativo que roda inteiro no navegador: sobe uma faixa, corta em cenas, escolhe um visual e exporta um MP4 pronto para YouTube, Reels ou Shorts.

Projeto técnico que empurra três fronteiras ao mesmo tempo: áudio em tempo real no navegador, IA aplicada com Claude e exportação de vídeo no cliente. O núcleo do app não usa servidor; a IA é opcional e tem fallback offline.

Prévia do AudioVizzon, com espectro reativo, timeline multi-cena e AI Director

o problema

Áudio precisa virar vídeo, e isso costuma ser caro ou raso.

Produtores, podcasters e criadores precisam publicar áudio onde o consumo é visual: YouTube, Reels, Shorts. Ferramentas profissionais como After Effects são pesadas, têm curva longa e renderização lenta. Geradores online costumam ser rasos: um visual fixo, sem reagir de verdade ao som e sem controle de edição.

Falta um meio-termo: algo que reaja à batida e ao espectro de verdade, deixe montar uma narrativa em cenas e exporte um vídeo pronto, sem instalar nada e sem mandar a faixa para um servidor.

a solução

Um estúdio de visualização que cabe numa aba do navegador.

Você sobe a faixa e o motor de áudio analisa espectro e batida em tempo real: estima BPM, monta a grade de compassos e detecta os drops. O projeto vira uma timeline multi-cena, em que cada cena tem template, paleta, FX e opções próprios, unidas por transições, com auto-corte nos drops detectados.

São 26 templates de visualização, FX reativos com color grade e looks prontos, overlay de letra sincronizada e um modo ao vivo com microfone. O AI Director, movido a Claude, transforma uma descrição de vibe em uma timeline completa usando BPM, drops e energia da faixa; sem chave de API, cai para um matcher offline por gênero.

Na saída, três caminhos: MP4 offline acelerado via WebCodecs, WebM em tempo real via MediaRecorder e gravação ao vivo. A separação de stems (bateria, baixo, voz, outros) roda no próprio navegador, para uma cena reagir a um único instrumento.

o que foi construído

Profundidade técnica, ponta a ponta.

  • 26 templates de visualização e timeline multi-cena com 13 transições, snap à grade musical e desfazer/refazer
  • Detecção de BPM e de drops com auto-corte de cenas nos pontos de energia da faixa
  • AI Director com Claude (tool use estrito) e fallback offline por heurística de gênero
  • Três pipelines de exportação: MP4 offline (WebCodecs + mp4-muxer), WebM em tempo real e gravação ao vivo
  • Motor de áudio Web Audio (arquivo e microfone) com FFT própria e detector de envelope de grave
  • Separação de stems no navegador (HT-Demucs via onnxruntime-web), com cache por hash em IndexedDB
  • Persistência local com migração de schema v1→v6, suíte de testes (Vitest) com render probe e CI verde