o problema
Áudio precisa virar vídeo, e isso costuma ser caro ou raso.
Produtores, podcasters e criadores precisam publicar áudio onde o consumo é visual: YouTube, Reels, Shorts. Ferramentas profissionais como After Effects são pesadas, têm curva longa e renderização lenta. Geradores online costumam ser rasos: um visual fixo, sem reagir de verdade ao som e sem controle de edição.
Falta um meio-termo: algo que reaja à batida e ao espectro de verdade, deixe montar uma narrativa em cenas e exporte um vídeo pronto, sem instalar nada e sem mandar a faixa para um servidor.
a solução
Um estúdio de visualização que cabe numa aba do navegador.
Você sobe a faixa e o motor de áudio analisa espectro e batida em tempo real: estima BPM, monta a grade de compassos e detecta os drops. O projeto vira uma timeline multi-cena, em que cada cena tem template, paleta, FX e opções próprios, unidas por transições, com auto-corte nos drops detectados.
São 26 templates de visualização, FX reativos com color grade e looks prontos, overlay de letra sincronizada e um modo ao vivo com microfone. O AI Director, movido a Claude, transforma uma descrição de vibe em uma timeline completa usando BPM, drops e energia da faixa; sem chave de API, cai para um matcher offline por gênero.
Na saída, três caminhos: MP4 offline acelerado via WebCodecs, WebM em tempo real via MediaRecorder e gravação ao vivo. A separação de stems (bateria, baixo, voz, outros) roda no próprio navegador, para uma cena reagir a um único instrumento.
o que foi construído
Profundidade técnica, ponta a ponta.
- 26 templates de visualização e timeline multi-cena com 13 transições, snap à grade musical e desfazer/refazer
- Detecção de BPM e de drops com auto-corte de cenas nos pontos de energia da faixa
- AI Director com Claude (tool use estrito) e fallback offline por heurística de gênero
- Três pipelines de exportação: MP4 offline (WebCodecs + mp4-muxer), WebM em tempo real e gravação ao vivo
- Motor de áudio Web Audio (arquivo e microfone) com FFT própria e detector de envelope de grave
- Separação de stems no navegador (HT-Demucs via onnxruntime-web), com cache por hash em IndexedDB
- Persistência local com migração de schema v1→v6, suíte de testes (Vitest) com render probe e CI verde