Auf der KubeCon EU 2026 geht es auffällig oft nicht mehr um die nächste schicke Agenten-Demo, sondern um die Frage, wie man KI-Agenten im Betrieb überhaupt noch im Griff behält. Solo.io stellt dafür „Agentevals“ vor: ein Werkzeug, das Agenten-Workflows bewerten soll – mit Telemetriedaten und speziellen Kennzahlen. Der Subtext ist klar: Generative KI wird in Unternehmen gerade von der Spielwiese in die Produktionsstraße geschoben. Und dort zählen Nachvollziehbarkeit, Qualität und Kosten – nicht Applaus im Konferenzsaal.
Das Problem kennen Produktteams und SREs (Site Reliability Engineers) aus leidvoller Erfahrung: Ein Agent liefert heute brauchbare Antworten, morgen liegt er daneben. Oder er wird plötzlich teuer, weil sich ein Prompt geändert hat, ein anderes Modell dahinter hängt oder eine externe Abhängigkeit langsamer reagiert. In Multi-Agenten-Ketten potenziert sich das. Klassische Observability sieht Latenzen, Requests, Fehlerquoten – aber sie sagt wenig darüber, ob die Entscheidung eines Agenten fachlich richtig war oder ob ein Workflow effizient arbeitet.
Genau diese Lücke will Solo.io schließen: technische Signale (Traces, Metriken, Logs) mit „agentenspezifischen“ Signalen verbinden, damit Teams Qualität und Effizienz eines Workflows bewerten können. Die Firma setzt auf einen Hybridansatz: vorhandene Telemetrie weiterverwenden, um agententaugliche Kennzahlen ergänzen und daraus eine Sicht bauen, mit der sich zwischen Performance, Kosten und Zuverlässigkeit tatsächlich steuern lässt.
Hinter der Ankündigung steckt auch ein Machtwort aus den Chefetagen: „Funktioniert irgendwie“ reicht nicht mehr, wenn Agenten Tickets erstellen, APIs aufrufen, Konfigurationen ändern oder Kunden antworten. Dann wird Observability zur Governance-Frage – nicht zur Bastelstunde der Engineering-Abteilung.
Agentevals: Kennzahlen für Qualität, Regelkonformität und Effizienz
Solo.io beschreibt Agentevals als Evaluationsschicht, die Agenten-Workflows „lesbarer“ machen soll. Statt nur Infrastrukturwerte zu betrachten, sollen agentenorientierte Metriken dazukommen: Output-Qualität, Einhaltung einer Vorgabe, Erfolgsquote bei Aufgaben, Effizienz der Ausführung. Laut Solo.io fließen dafür proprietäre Metriken und Telemetriedaten zusammen, die in modernen Stacks ohnehin anfallen.
Der Knackpunkt bei Agentenarchitekturen: Man verfolgt nicht einfach eine Anfrage, sondern eine verteilte „Denkkette“. Ein Agent plant, ein anderer führt aus, ein dritter prüft – oft in Schleifen. Dazwischen: Tool-Aufrufe, Dokumentenabrufe, API-Calls. Wer so etwas debuggen muss, braucht einen Ariadnefaden: Welches Subsystem hat die Antwort geprägt? Welches Tool wurde genutzt? Wie viel Zeit und wie viele Tokens gingen drauf? Ohne diese Spurensuche bleibt nur Stochern im Nebel – Prompt ändern, nochmal laufen lassen, hoffen.
Agentevals soll diese Ketten auditierbar machen: Scores und reproduzierbare Indikatoren, mit denen sich zwei Versionen eines Workflows gegeneinander testen lassen. Das ist mehr als Kosmetik. Erst wenn man Regressionen und Verbesserungen sauber messen kann, lassen sich Agenten wie Software behandeln – mit Abnahmekriterien statt Bauchgefühl. Genau daran scheitern viele Teams beim Sprung vom Prototyp in die Produktion.
„Qualität“ bleibt dabei ein Minenfeld, weil sie vom Kontext abhängt. Solo.io setzt erkennbar auf Pragmatismus: viele Signale einsammeln, dann die Teams definieren lassen, was zählt. Ein Support-Agent wird anders bewertet als ein Security-Agent oder ein Code-Agent. Die Kunst wird sein, das Werkzeug konfigurierbar zu halten, ohne dass es zur überkomplexen Metriken-Maschine verkommt.
In der Branche ist dieser Schritt längst überfällig: Model-Evaluations („Evals“) wandern aus dem Labor in CI/CD-Pipelines. Agentevals versucht, Evaluation als Teil der täglichen Observability zu etablieren – nicht als gelegentlichen Testlauf.
Telemetrie als Fundament: Traces, Metriken, Logs – plus Semantik
Solo.io baut auf dem, was Cloud-Native-Teams kennen: das Observability-Dreieck aus Traces, Metriken und Logs. Bei Agenten kommt eine semantische Ebene obendrauf. Es reicht nicht zu wissen, dass etwas 800 Millisekunden dauerte. Man muss wissen, welche Entscheidung getroffen wurde, welches Tool beteiligt war und welche Schritte davor lagen. Agentevals will aus den Telemetrie-Strömen den Ablauf eines Workflows rekonstruieren.
Das ist auch ein Zugeständnis an die Realität in Unternehmen: Niemand will Observability „neu erfinden“, wenn ohnehin schon Datensammler, Pipelines und Dashboards laufen. Wer sich an bestehende Telemetrie andockt, senkt die Einstiegshürde – gerade in Kubernetes-Umgebungen, in denen Tool-Stacks ohnehin schnell zur Gerätesammlung werden.
Offen bleibt die Frage der Granularität. Agenten brauchen Events, die klassische Microservices nicht kennen: Start/Ende einer Planungsphase, Tool-Aufruf, Kontextbeschaffung, Validierung einer Antwort, Auslösen einer Aktion. Der Nutzen von Agentevals hängt daran, ob Solo.io solche Ereignisse normalisieren kann, ohne dass Teams ihre Anwendungen komplett umbauen müssen.
Ein weiterer wunder Punkt: Agenten sind oft ein Flickenteppich aus Bibliotheken und Frameworks. Observability muss über viele Grenzen hinweg funktionieren. Agentevals will disparate Signale aggregieren und in Qualitäts- und Effizienzmetriken übersetzen. Genau diese Übersetzung entscheidet über Vertrauen – eine schlecht definierte Metrik führt Teams zuverlässig dazu, das Falsche zu optimieren.
Telemetrie ist dabei nicht nur Diagnose, sondern auch Frühwarnsystem: Wenn ein Modellwechsel die Latenz hochzieht oder eine Stufe häufiger scheitert, kann man alarmieren. Wenn ein Agent plötzlich öfter Tools aufruft, explodieren Kosten. Wer Agenten ernsthaft betreibt, braucht diese Budget-Kontrolle genauso wie die technische Stabilität.
Warum das Thema plötzlich SRE, Produkt und Compliance gleichzeitig betrifft
Agentevals trifft einen Nerv, weil Agenten in vielen Organisationen aus dem Experimentierstatus heraus sind. Und dann zeigt sich: Ein Agent ist kein Modell, sondern ein System – mit Abhängigkeiten, Nebenwirkungen und teils überraschendem Verhalten. SREs wollen Stabilität, Produktteams wollen messbaren Nutzen, Risk & Compliance wollen Audit-Spuren. Observability wird zur gemeinsamen Sprache.
Für SREs ist die Frage brutal konkret: Wie definiert man ein SLO (Service Level Objective) für einen Agenten? „Antwortzeit“ reicht nicht, wenn der Agent schnell Unsinn liefert. „Korrektheit“ reicht nicht, wenn die Kosten pro Vorgang aus dem Ruder laufen. Gesucht sind zusammengesetzte Kennzahlen: Task-Erfolgsquote, Eskalationsrate zum Menschen, Regelkonformität, Stabilität der Ergebnisse über die Zeit. Agentevals zielt genau auf diese Steuerbarkeit.
Produktteams wiederum brauchen Zahlen statt Meinungen. Ein Agent kann die Bearbeitungszeit eines Tickets senken und gleichzeitig die Wiedereröffnungsrate erhöhen, weil Antworten zu ungenau sind. Ohne Messung bleibt das ein Glaubenskrieg. Mit Evaluation lassen sich Trade-offs sichtbar machen: etwas mehr Latenz akzeptieren, wenn die Trefferquote steigt – oder den Workflow abspecken, um ein Kostenlimit einzuhalten.
Compliance legt noch eine Schippe drauf: Wenn Agenten Entscheidungen vorbereiten oder Empfehlungen geben, wollen Organisationen erklären können, wie es dazu kam. Vollständige „Erklärbarkeit“ ist oft Illusion, aber Auditierbarkeit ist machbar: Welche Quellen wurden genutzt? Welche Tools wurden in welcher Reihenfolge aufgerufen? Sauber strukturierte Telemetrie kann ein Ausführungsprotokoll liefern. Agentevals positioniert sich genau zwischen Observability und Governance.
Sicherheit spielt ebenfalls hinein. Agenten sind anfällig für Prompt-Injection und bösartige Inhalte. Auffällige Muster – ungewöhnliche Tool-Aufrufe, abweichende Antwortprofile – sind Signale, die man zumindest sehen sollte. Evaluation ersetzt keine Security-Kontrollen, kann aber Hinweise liefern, wenn Workflows komplex werden.
Solo.io auf der KubeCon: Agenten-Observability als neues Cloud-Native-Spielfeld
Dass Solo.io ausgerechnet auf der KubeCon präsentiert, ist Kalkül. Die Konferenz ist das Schaufenster für alles, was sich in Unternehmens-Stacks rund um Kubernetes festsetzt. Solo.io will Agentenbewertung als natürliche Erweiterung der Cloud-Native-Observability verkaufen – neben Traffic-Management und API-Security.
Der Markt sortiert sich gerade: Generalisten der Observability bauen KI-Funktionen an, Spezialanbieter instrumentieren Agenten, tracken Modellaufrufe und bewerten Outputs. Solo.io, bisher stark in Netzwerk- und Distributed-Systems-Bausteinen, versucht die Kurve zu kriegen: Agenten werden kritische Workloads. Also brauchen sie Produktionswerkzeuge – nicht nur Notebooks und Demo-Skripte.
Ein entscheidender Adoptionsfaktor wird banal sein: weniger Konsolen, weniger Tool-Wildwuchs. Wenn Agenten-Evaluation in bestehende Telemetrie- und Dashboard-Welten passt, steigt die Chance, dass Unternehmen es wirklich nutzen. Ob Solo.io das „ohne Reibung“ hinbekommt, muss sich zeigen – heterogene Umgebungen verzeihen wenig.
Die größte offene Baustelle bleibt Standardisierung. Observability wurde groß, weil es gemeinsame Konventionen für Traces und Metriken gibt. Für Agenten existiert noch kein universelles Vokabular, um Reasoning-Schritte, Aktionen oder Qualitätskriterien zu beschreiben. Agentevals kann hier Praxis prägen – oder an der Vielfalt der Agenten-Frameworks und Modelle zerschellen. Und in diesem Feld ändern sich Architekturen schneller, als viele Anbieter ihre Roadmaps aktualisieren.
Am Ende zählt, ob aus Messwerten Handeln wird: Workflow zurückrollen, Modell wechseln, Guardrails nachschärfen, Budget neu verteilen. Wenn Agentevals das zuverlässig unterstützt, könnte Solo.io in der Produktionskette für Agenten einen Platz besetzen, den viele Unternehmen gerade suchen: weg vom Experiment, hin zur kontrollierten Nutzung.
