Whisper, Gemini e os LLMs: a tecnologia por trás das suas notas

Construir um ótimo produto de notas não é escolher o modelo mais novo. É orquestrar três modelos na ordem certa e saber quando cada um vence.

Camada 1: Transcrição

Começamos com o Whisper Large v3 (OpenAI) hospedado nas nossas próprias GPUs. Os motivos:

• Multilíngue nativo (mais de 90 idiomas com boa qualidade).
• Robustez a ruído sem equivalente comercial.
• Custo previsível quando somos nós que o executamos.

Para áudios longos (mais de 30 min), pré-segmentamos com VAD (detecção de atividade de voz) para que o modelo não se desvie. Quando há idiomas misturados na mesma reunião, detectamos por trecho e enviamos cada um a uma passada específica.

Camada 2: Diarização + alinhamento

Como contamos no artigo dedicado, essa camada é própria: embeddings + agrupamento + prosódia. O resultado é a transcrição do Whisper enriquecida com rótulos de falante por turno.

Camada 3: Síntese (LLM)

Aqui usamos o Gemini 2.5 Pro como modelo principal por três motivos:

1. Contexto longo: 1M de tokens. Uma reunião de 90 minutos cabe sem truncar.
2. Qualidade em espanhol: nos nossos benchmarks, supera o GPT-4 em resumos de reuniões reais em espanhol.
3. Custo/desempenho: na hora da verdade, faz o que os modelos premium fazem por um custo menor.

Para tarefas específicas (classificação de tarefas, extração de datas) usamos modelos menores e mais baratos: para esse trabalho não é preciso um canhão.

Camada 4: Chat sobre a nota

Esta é a camada de que mais gostamos. Usamos recuperação por embeddings sobre a transcrição + diarização: quando você pergunta algo, recuperamos o trecho exato e o entregamos ao modelo. Isso significa que as respostas têm citações verificáveis (minuto + texto literal).

O princípio

Cada modelo fica onde é melhor, não onde é mais chamativo. A pilha é atualizada quando um modelo novo vence o atual em avaliações reais, não quando sai um anúncio.