Das Problem
Manuelle Prüfung erreicht nur einen kleinen Teil dessen, was am Telefon passiert, und zwei Prüfer bewerten denselben Anruf oft unterschiedlich. Coaching hängt dann davon ab, welche Anrufe zufällig gezogen wurden.
Die Aufnahmen gibt es meist längst, oft in mehreren Systemen. Was fehlt, ist eine einheitliche Auswertung und ein Maß dafür, wie weit dem Ergebnis zu trauen ist.
Für wen es gedacht ist
QA-Verantwortliche: Deutlich mehr Gespräche mit einem einheitlichen Maßstab prüfen.
Contact-Center-Leitung: Sehen, was sich verändert hat und wer Aufmerksamkeit braucht.
Teamleitungen: Coaching anhand konkreter Anrufe, mit der Begründung zu jeder Bewertung.
Teams mit KI-Agenten: KI und Menschen mit denselben Maßstäben messen.
Was es übernimmt
Transkription
Aufnahmen aus Uploads, S3-kompatiblem Speicher, FTP oder SFTP, Google Drive, Links oder der API sowie Anrufe in Kilevel.
Bewertung
Zwölf fertige Metrikpakete oder eigene strukturierte Ausgaben. Bewertungsfelder können eine schriftliche Begründung tragen, die das Gesagte zitiert.
Gemessene Kennzahlen
Redeanteil, Gesprächspausen, Unterbrechungen, Sprechtempo und längster Monolog, direkt aus dem Zeitverlauf der Aufnahme.
Scorecards
Gewichte, Ziele und K.-o.-Kriterien, die als eigene Quote ausgewiesen werden, damit ein schwerer Verstoß nicht im Durchschnitt verschwindet.
Briefings und Warnungen
Eine tägliche Zusammenfassung der Veränderungen und Regeln, die jede Nacht geprüft werden.
So funktioniert es
Gespräche einbringen
Anrufe und Chats in Kilevel sind schon da. Für den Rest richten Sie einen Transkriptionsauftrag auf Ihr Archiv.
Analyse zuordnen
Nutzen Sie ein Metrikpaket oder eigene Felder. Neue Transkriptionsaufträge beginnen mit dem Kernpaket.
Agenten erkennbar machen
Importierte Aufnahmen brauchen Name oder ID des Agenten im Dateinamen, in einer Tabelle oder im API-Aufruf.
Scorecard anpassen
Eine Standard-Scorecard entsteht aus den Kennzahlen Ihres Kontos. Passen Sie die Gewichte an das an, was Ihr Programm wirklich belohnt.
Kalibrieren
Bewerten Sie eine Stichprobe von Hand und vergleichen Sie sie mit dem Modell, bevor Sie sich auf die Zahlen verlassen.
Was Sie brauchen
- Gespräche: Anrufe in Kilevel oder Aufnahmen an einem Ort, den Kilevel lesen kann
- Eine Möglichkeit zu erkennen, welcher Agent welche Aufnahme bearbeitet hat
- Ihre QA-Kriterien oder eine Vorlage als Ausgangspunkt
- Einige Prüfer für die Kalibrierung
- Eine Entscheidung, wie Personen erscheinen sollen, falls ein Betriebsrat beteiligt ist
Womit es sich verbindet
Quellen für Aufnahmen: S3-kompatibler Speicher, FTP und SFTP, Google Drive, öffentliche oder vorsignierte Links und die API.
Ihre Systeme: Ergebnisse kommen über die API und Webhooks zurück.
Jedes Contact Center: Importierte Aufnahmen zählen zusammen mit Gesprächen, die über Kilevel liefen.
Was Sie erwarten können
- Eine einheitliche Auswertung von deutlich mehr Gesprächen, als manuelle Prüfung erreicht.
- Coaching anhand konkreter Anrufe, mit der Begründung zu jeder Bewertung.
- Ein frühes Signal, wenn sich eine Kennzahl bewegt, statt am Ende des Quartals.
- Eine Zahl dafür, wie gut das Modell mit Ihren Prüfern übereinstimmt.
Grenzen
- Bewertungen sind das Urteil eines Modells. Kalibrieren Sie sie mit menschlichen Prüfern, bevor Sie danach handeln.
- Durchschnitte stammen aus den tatsächlich ausgewerteten Gesprächen. Prüfen Sie die Abdeckung, bevor Sie eine Zahl als vollständig lesen.
- Die Transkriptionsqualität hängt vom Audio ab. Eine feste Sprache ist am genauesten, wenn alle Aufnahmen in einer Sprache sind.
- In Betrieben mit Betriebsrat unterliegt die personenbezogene Leistungsmessung der Mitbestimmung. Die Datenschutzmodi unterstützen eine Vereinbarung, ersetzen sie aber nicht.
- Ein Pseudonym ist keine Anonymität: In einem kleinen Team kann es trotzdem jemanden erkennbar machen.
So prüfen Sie es
Einen echten Stapel importieren: Nehmen Sie Aufnahmen, die Sie kennen, auch schwierige.
Zwanzig von Hand bewerten: Rund zwanzig abgeschlossene Prüfungen genügen, damit die Übereinstimmung aussagekräftig wird.
Abweichungen lesen: Ein Kriterium, bei dem man sich uneinig ist, ist meist unklar formuliert. Schreiben Sie es um.
Abdeckung prüfen: Stellen Sie sicher, dass Sie wissen, welchen Teil Ihres Volumens die Zahlen beschreiben.
Fragen
Funktioniert das auch mit Anrufen, die nicht über Kilevel liefen?
Ja. Ein Transkriptionsauftrag nimmt Audio aus Ihrem Archiv und erzeugt Datensätze in derselben Form wie ein Kilevel-Anruf, sodass sie zusammen zählen.
Können wir eigene QA-Kriterien verwenden?
Ja. Scorecards nutzen die Kennzahlen Ihrer Wahl mit Ihren Gewichten und Zielen. Ein Konto beginnt mit einer Standard-Scorecard, die Sie bearbeiten können.
Wie genau sind die Bewertungen?
Nehmen Sie das nicht ungeprüft an. „Review & Calibration“ misst an Ihren eigenen Gesprächen, wie oft Modell und menschlicher Prüfer innerhalb von zehn Punkten liegen.
Werden KI-Agenten und Menschen bewertet?
Beide. Anrufe, Chats und importierte Aufnahmen zählen je Agent, und Sie können nach Quelle und Art des Agenten filtern.
Was ist mit Betriebsräten?
Neben Klarnamen gibt es Pseudonyme oder nur zusammengefasste Werte, Mindestgruppengrößen und ein Protokoll jeder Aufdeckung. Ob das zu Ihrer Vereinbarung passt, entscheiden Sie gemeinsam mit Ihrem Betriebsrat.