Whisper, Gemini y los LLMs: la tecnología detrás de tus notas

Construir un buen producto de notas no es elegir el modelo más nuevo. Es orquestar tres modelos en el orden correcto y saber cuándo cada uno gana.

Capa 1 — Transcripción

Empezamos con Whisper Large v3 (OpenAI) self-hosted en GPUs propias. Razones:

• Multilingüe nativo (>90 idiomas con buena calidad).
• Robustez frente a ruido sin equivalente comercial.
• Coste predecible al ejecutarlo nosotros.

Para audio largo (>30 min), pre-segmentamos con VAD (voice activity detection) para evitar que el modelo se pierda. Para idiomas mixtos en la misma reunión, hacemos detección por chunk y enviamos cada uno a una pasada específica.

Capa 2 — Diarización + alineación

Como contamos en el artículo dedicado, esta capa es propia: embeddings + clustering + prosodia. La salida es la transcripción de Whisper enriquecida con etiquetas de speaker en cada turno.

Capa 3 — Síntesis (LLM)

Aquí usamos Gemini 2.5 Pro como modelo principal por tres razones:

1. Contexto largo: 1M de tokens. Una reunión de 90 minutos cabe sin truncar.
2. Calidad en español: en nuestros benchmarks supera a GPT-4 en resúmenes de reuniones reales en castellano.
3. Coste/rendimiento: a la hora de la verdad, hace lo mismo que modelos premium con menos coste.

Para tareas específicas (clasificación de tareas, extracción de fechas) usamos modelos más pequeños y baratos — no es necesario un cañón para ese trabajo.

Capa 4 — Chat sobre la nota

Esta es la capa que más cariño le tenemos. Usamos retrieval con embeddings sobre la propia transcripción + diarización: cuando preguntas algo, recuperamos el fragmento exacto y se lo damos al modelo. Esto significa que las respuestas tienen citas verificables (timestamp + texto literal).

El principio

Cada modelo está donde es mejor, no donde es más vistoso. El stack se actualiza cuando un modelo nuevo gana en evaluaciones reales contra el actual — no cuando sale un anuncio.