← Zurück zum Blog
KI6 min

Whisper, Gemini und LLMs: die Technik hinter deinen Notizen

Ein großartiges Notizprodukt zu bauen heißt nicht, das neueste Modell zu wählen. Es heißt, drei Modelle in der richtigen Reihenfolge zu orchestrieren und zu wissen, wann welches gewinnt.

Schicht 1: Transkription

Wir beginnen mit Whisper Large v3 (OpenAI), selbst gehostet auf unseren eigenen GPUs. Gründe:

  • Nativ mehrsprachig (mehr als 90 Sprachen in guter Qualität).
  • Robustheit gegen Rauschen ohne kommerzielles Gegenstück.
  • Vorhersehbare Kosten, wenn wir es selbst betreiben.

Bei langem Audio (über 30 Min.) segmentieren wir vorab mit VAD (Voice Activity Detection), damit das Modell nicht abdriftet. Bei gemischten Sprachen im selben Meeting erkennen wir pro Abschnitt und schicken jeden in einen eigenen Durchlauf.

Schicht 2: Diarisierung + Alignment

Wie im eigenen Artikel beschrieben, ist diese Schicht hausgemacht: Embeddings + Clustering + Prosodie. Das Ergebnis ist das Whisper-Transkript, angereichert mit Sprecherlabels pro Redebeitrag.

Schicht 3: Synthese (LLM)

Hier nutzen wir Gemini 2.5 Pro als Hauptmodell, aus drei Gründen:

  1. Langer Kontext: 1 Mio. Token. Ein 90-Minuten-Meeting passt ohne Kürzung hinein.
  2. Qualität auf Spanisch: In unseren Benchmarks schlägt es GPT-4 bei Zusammenfassungen echter spanischer Meetings.
  3. Kosten/Leistung: Wenn es darauf ankommt, leistet es, was Premium-Modelle leisten, zu geringeren Kosten.

Für spezifische Aufgaben (Aufgabenklassifikation, Datumsextraktion) nutzen wir kleinere, günstigere Modelle: Für diese Arbeit braucht man keine Kanone.

Schicht 4: Chat über die Notiz

Das ist die Schicht, die wir am meisten mögen. Wir nutzen Embedding-Retrieval über Transkript + Diarisierung: Wenn du etwas fragst, holen wir das genaue Fragment und geben es dem Modell. Dadurch haben Antworten überprüfbare Quellenangaben (Zeitstempel + wörtlicher Text).

Das Prinzip

Jedes Modell sitzt dort, wo es am besten ist, nicht dort, wo es am glänzendsten ist. Der Stack wird aktualisiert, wenn ein neues Modell in echten Evaluierungen gegen das aktuelle gewinnt, nicht wenn eine Ankündigung erscheint.

Bereit, es auszuprobieren?

Nimm dein nächstes Meeting auf und erhalte in Sekunden eine umsetzbare Zusammenfassung.

Kostenlos starten
Alle ansehen →
KI

Datenschutz bei Aufnahmen: wie AudioMap deine Meetings schützt

Ein Audio zu einem Dienst hochzuladen setzt Vertrauen voraus. Hier steht genau, was wir mit deinem Material tun und was nicht.

5 min
KI

Diarisierung: wie AudioMap versteht, wer was sagt

Stimmen zu erkennen ist schwieriger, als es klingt. So lösen wir es, ohne deine Festplatte mit Embeddings zu fluten.

6 min
KI

KI in Meetings: Mythos und Realität 2026

Was KI heute mit deinen Meetings kann und was nicht, und warum die meisten Versprechen des Marktes heiße Luft sind.

5 min
Anwendungsfälle

Die Vorlesung, die du aufgenommen und nie wieder angehört hast: so fasst du eine aufgezeichnete Vorlesung zusammen

Die Vorlesung aufzunehmen kostet einen Knopfdruck. Sie noch einmal anzuhören kostet neunzig Minuten, die du nicht hast. So wird aus einer anderthalbstündigen Aufnahme ein Skript mit Konzepten, Beispielen, Literaturliste und Mindmap, ohne sie noch einmal zu hören.

8 min
Anwendungsfälle

So bewahrst du ein Familieninterview auf: das Leben deiner Großmutter passt nicht in eine WhatsApp-Sprachnachricht

Du hast deine Großmutter aufgenommen, wie sie von ihrer Kindheit erzählt, und die Datei liegt in einem Chat, der eines Tages gelöscht wird. So wird aus dieser Aufnahme etwas, das man lesen, nach Namen durchsuchen, mit Untertiteln ansehen und mit der Familie teilen kann, ohne die Kontrolle zu verlieren.

8 min
Anwendungsfälle

Der Berater, der aufhörte, fünfzehnmal dieselbe Besprechung zu wiederholen: KI-Vorlage für das steuerliche Quartalsgespräch

Fünfzehn Quartalsgespräche in drei Wochen, alle ähnlich und keines gleich. Das Problem ist nicht, sich zu erinnern, was gesagt wurde: Es ist, sich zu erinnern, wem. So wird jede Sitzung dokumentiert, mit ihrem Rechtshinweis und ihren Daten in Europa.

8 min
Whisper, Gemini und LLMs: die Technik hinter deinen Notizen · AudioMap