Ein Review-Agent auf Fable 5 fand alles, was ich nicht geprüft hatte
Für eine Woche wurde Anthropics neues, stärkstes Modell verfügbar — Fable 5 — und als Erstes habe ich damit keinen Code geschrieben, sondern es meine Änderungen reviewen lassen. Es fand eine verblüffende Menge Bugs und erstellte selbst einen Fix-Plan.
Von Georg Malahov
Der gestrige Tag endete mit Ärger. Eine scheinbar einfache Aufgabe — Zurück-Navigation per Swipe in meiner Diktier-App, einer Web-App, in die man Text hineinspricht und ihn sauber zurückbekommt — wurde zur längsten Session aller Zeiten: Der Agent lief fast sieben Stunden, 227 Hintergrund-Subagenten gestartet und zwar etwas gemacht, aber schief. Das Aktualisieren der Seite auf dem Ergebnis-Screen funktioniert immer noch nicht. Ein ganzer Tag voller kleiner, praktisch unsichtbarer Features — und das Gefühl, dass der Tag umsonst war.
Und heute habe ich die Claude-App aktualisiert, und im Abo wurde für eine Woche Anthropics neues, stärkstes Modell verfügbar — Fable 5. Die Limits sind sehr knapp, also habe ich es nicht fürs Codeschreiben ausgegeben. Als Erstes habe ich es Reviews machen lassen.
Zuerst — auf die gestrige Aufgabe in der Diktier-App. Dann — auf alle Änderungen, die ich in den letzten Wochen in Call Copilot, meine Browser-Extension für die Transkription von Calls, eingebracht und nie von Hand geprüft hatte. Das Ergebnis hat mich verblüfft: eine riesige Menge Bugs. Nach Ansicht des Modells funktioniert dort so gut wie gar nichts.
Der Aufbau ist einfach. Der Review-Agent bekommt die Code-Änderungen und geht sie durch wie ein fremder Reviewer, der diesen Code nicht geschrieben hat: Er sucht Bugs, Sicherheitslücken, Mängel. Das Entscheidende aber: Am Ende steht keine Mängelliste, sondern ein detaillierter, präziser Fix-Plan. Diesen Plan lasse ich von Agenten ausführen, dann mache ich wieder ein Review — und so im Kreis. Die Aufgabe in der Diktier-App wurde nach der ersten solchen Iteration deutlich besser: praktisch alles so, wie ich es wollte, der manuelle visuelle Test besteht. Trotzdem hat das Review nach der ersten Iteration weitere Bugs gefunden — gerade starte ich die zweite.
Die Review-Phase gab es in meinem Zyklus auch vorher, aber erst mit diesem Modell funktioniert sie so, dass man den Nutzen sofort spürt — daran, welche Bugs sie findet und wie effizient. Vermutlich lande ich bei dieser Kombination: Den Code schreibt ein normales Modell, Reviews und Pläne macht das stärkste — womöglich sogar auf Bezahlbasis, weil es das wert ist. Wenn die ganze Drecksarbeit — Fehler finden und den Plan machen — vorab vom starken Modell erledigt wird, bleibt nur noch, billig auszuführen und erneut zu prüfen.
Parallel habe ich dem Agenten eine ganz andere Arbeit vorgesetzt: die Rechnungen aus Stripe in die Buchhaltung einzusortieren. Von zweihundertzwei nicht zugeordneten Transaktionen blieben bis zum Abend hundertfünfundachtzig — er hat die Dokumente selbst heruntergeladen, umbenannt, angefangen hochzuladen und Kategorien zu vergeben. Ich selbst war monatelang nicht zu dieser Aufgabe gekommen.
Ich habe eine Woche mit diesem Modell. Der Plan dafür ist einfach: alles reviewen, was ich erreiche — und an der zweiten Iteration in der Diktier-App wird sich zeigen, ob die Liste der Funde auf Kleinkram zusammenläuft oder ob man dieses Review endlos drehen kann.