Der Analyse-Agent hat erklärt, warum der Nutzer gegangen ist
Nachts ist ein Nutzer abgesprungen, der den ganzen Funnel durchlaufen hatte: Deepgram ließ ihn nicht aufnehmen, und die Extension zeigte einen rohen technischen Fehler. Beim Aufarbeiten des Falls wurde mir klar, dass der Analyse-Agent, der mir das erklärt hat, selbst ein Produkt sein könnte.
Von Georg Malahov
Nachts gab es einen perfekten und sehr bitteren Fall. Ein Nutzer hat den kompletten Funnel durchlaufen: Demo angeschaut, registriert, bis zur Aufnahme eines Calls gekommen — und dort hat ihn der Transkriptionsdienst (Deepgram) nicht aufnehmen lassen. Und statt eines menschlichen „Sieht so aus, als blockiert Ihr Netzwerk uns — versuchen Sie, das Antivirenprogramm auszuschalten oder eine andere Verbindung zu nehmen“ hat ihm die Extension einen rohen technischen Fehler gezeigt, der überhaupt nichts aussagt. Er hat es noch einmal versucht, aufgegeben und die Extension gelöscht. Zu Recht — ich hätte sie auch gelöscht.
Aufgearbeitet habe ich das nicht von Hand. Ich habe meinen Analyse-Agenten gefragt — eine Claude-Session mit Zugriff auf Supabase, Stripe, das Repository und den Server, das, was man üblicherweise Harness nennt — und hatte nach ein paar Minuten die Antwort: Es liegt fast sicher am Netzwerk des Nutzers, irgendetwas auf seiner Seite lässt keine Tonaufnahme zu. Keine Vermutung aus dem Nichts, sondern eine Auswertung der konkreten Events dieses konkreten Nutzers.
Und dann wurde mir klar, dass ich einen solchen Analyse-Agenten das ganze Jahr benutzt habe — nur schnell zusammengebaut und ohne Namen. Genau so wurde im August der größte Bug des Jahres gefunden: Stripe hatte im März die Signatur der Webhook-Antwort geändert, ich habe keine Credits mehr gutgeschrieben, und der Kunde aus Brasilien, der die Zahlung über seine Bank angefochten hatte, hatte in der Sache seiner Beschwerde recht. Genau so wurden Kohorten und Abwanderung gerechnet. Genau so sind wir zu zweit alle meine Rechnungen durchgegangen und haben knapp 700 Euro Kosten im Jahr gestrichen. Die Hälfte der Entscheidungen dieses Jahres ist mit seiner Hilfe gefallen — ich habe ihn nur nie als eigenes Werkzeug betrachtet.
Und benennen sollte ich es wohl. Wenn ein Produkt mit genug Telemetrie verkabelt ist — was jemand geklickt hat, wo er gestolpert ist, was er bezahlt hat — und man all das zusammen mit dem Code, der es erzeugt, einem ordentlichen Modell gibt, bekommt man kein Dashboard mit Diagrammen, sondern eine echte Analyse. Eine Antwort auf die Frage „Warum ist dieser konkrete Mensch gegangen?“. Das, glaube ich, ist der eigentliche Wert — und er hat nichts mit Call-Transkription zu tun.
Die blinden Flecken sind dabei nicht verschwunden: Nutzer, die das lokale Modell im Browser einschalten, sind in der Analytics kaum zu sehen — solche Sessions muss man sich aus Bruchstücken zusammensetzen. Meine Telemetrie erfasst nur, wie die Funktionen genutzt werden: was geklickt wurde, wo jemand hängen blieb, was bezahlt wurde — die Inhalte der Calls kommen darin nicht vor. Das Land eines Besuchs sehe ich erst seit ein paar Tagen — vorher gab es nur einen IP-Hash. Und er funktioniert nur, weil ich ihm persönlich Zugriff gegeben und ihn an meine Infrastruktur angebunden habe — SSH, Browser, GitHub. So etwas als eigenständiges Produkt zu verkaufen wird schwierig: Jeder Kunde bräuchte seine eigene Konfiguration, und das skaliert schlecht.
Dazu fehlt mir die Infrastruktur, um das im Alltag zu nutzen. Ich habe den Fall morgens auf dem Weg zur Arbeit in Telegram gesehen und konnte bis zum Abend nichts tun. Ich brauche einen Skill: Ich schicke eine Nachricht in eine mobile Session, sie recherchiert selbst, schlägt selbst eine Mail vor, ich schaue drüber und schicke sie ab. Und nebenbei automatisch allen Tokens schenken, die sich gelöscht haben, nachdem sie tief in den Funnel gekommen waren — die sind warm, die haben schon alles verstanden, sie wurden von einem zufälligen Fehler abgeschnitten.
Prüfen lässt sich das auf genau eine Art: Der zurückgekehrte Nutzer muss zu einem zahlenden werden. Dann rechnet sich die direkte Kommunikation mit zwei, drei warmen Leads pro Woche, und der Analyse-Agent, der sie mir findet und erklärt, verdient es, ein eigenes Produkt genannt zu werden. Wenn er nicht konvertiert — dann habe ich bloß eine bequeme Art, mir Misserfolge im Nachhinein schön zu erklären.
Jetzt setze ich mich erst mal hin und repariere die Fehlermeldungen — genau die Kleinigkeit, die mich den Menschen gekostet hat, der bis zum Ende gekommen war.