Internet aus — und die Suche funktioniert trotzdem
Lokale Modelle auf meinem Mac zum Laufen gebracht: Embeddings so gut wie aus der Cloud, Mistral extrahiert Aufgaben aus Notizen. Privatsphäre wird vom schönen Wort im Pitch zu einem Feature, das sich wirklich bauen lässt.
Von Georg Malahov
Vor anderthalb Wochen habe ich den Markt für Sprachnotizen mit Deep Research untersucht — dem Tiefenrecherche-Modus von OpenAI. Die Erkenntnisse sind ernüchternd: Es gibt viele Konkurrenten, fast alle sind amerikanische Dienste mit Cloud-Speicher. Und genau da liegt unsere mögliche Stärke: Bei den meisten ist die Schwachstelle die Privatsphäre, während wir auf dem deutschen Markt sitzen, wo „wohin gehen meine Daten" die erste Frage ist. Dazu eine zweite Idee, die mir am besten gefällt: Zero Effort — eine App mit einem einzigen Knopf, in die man kreuz und quer alles einspricht, und sie sortiert es von selbst, ohne manuelle Eingaben. Das hat so richtig niemand.
Aber „Privatsphäre" im Pitch bleibt ein schönes Wort, solange Transkription und Analyse in einer fremden Cloud laufen. Heute habe ich geprüft, wie realistisch es ist, das zum Nutzer zu verlagern. Und ich sage es geradeheraus: Ich war baff, was für ein Ökosystem rund um lokale Modelle schon entstanden ist.
Angefangen habe ich mit Embeddings — numerischen Abdrücken der Textbedeutung, auf denen seit Dezember meine Notizsuche läuft. Ich habe ein lokales Modell gestartet, alle meine Notizen in einem lokalen Postgres neu vektorisiert und die Suche mit der aktuellen Cloud-Variante von OpenAI verglichen. Die Ergebnisse sind praktisch identisch — so nah beieinander, dass ich schlicht keinen nennenswerten Unterschied sehe.
Weiter — Textgenerierung. Ich habe Ollama gefunden — ein Tool, das Sprachmodelle fast wie Docker-Images auf den lokalen Rechner holt: ollama pull plus Modellname. Ich habe Mistral installiert; dazu gibt es ein Open-Source-Interface, das aussieht wie ein gewohnter Chat. Und dann das Kontrollexperiment: Internet ausgeschaltet, meine Notizen genommen, sie dem lokalen Modell mit dem Prompt „extrahiere die Aufgaben" übergeben — und es hat die erledigten Aufgaben aus meinem Textstück korrekt formuliert. Alles auf meinem Laptop, ohne eine einzige Anfrage nach draußen. Einfach großartig.
Als Bonus habe ich auf Hugging Face gestöbert — einem Katalog offener Modelle: Bildanalyse, Text-to-Speech und was es nicht alles gibt. Die Qualität jedes einzelnen muss man separat prüfen, aber allein die Tatsache zählt: Daraus lässt sich ein lokaler Frankenstein aus Modellen zusammenbauen, zugeschnitten auf unsere Aufgaben — und der läuft dann wahlweise auf dem eigenen Server oder direkt beim Nutzer.
Für das Projekt ändert das die Lage an zwei Stellen. Experimente sind jetzt schneller und kostenlos — kein Cent-Zählen mehr für jeden API-Aufruf. Und die Privatsphäre wird vom Marketing-Wort zu einer Architekturentscheidung, die sich wirklich bauen lässt.
Meine Begeisterung habe ich sofort mit meinem ersten Mitgründer geteilt — per Sprachnachricht, versteht sich. Die Hauptaufgabe für die Woche: die Kette zusammenbauen, die Aufgaben aus Notizen extrahiert und aktualisiert, und dem Team zeigen, dass lokale Modelle kein Spielzeug sind.