LLMO-Reporting ohne Black Box: Methodik, KPIs und Entscheidungslogik

Kurzantwort: Ein transparentes LLMO-Reporting zeigt nicht nur, ob eine Marke erwähnt wird. Es dokumentiert welche Fragen getestet wurden, in welchen Systemen, zu welchem Zeitpunkt, mit welcher Datenquelle und welche Website-Änderung davor live ging. Sichtbarkeit, Richtigkeit, Quellen und Conversion werden getrennt gemessen. Einzelne Screenshots oder ein proprietärer Gesamtscore ohne Rohdaten reichen nicht.

LLMO und GEO betreffen ein schwankendes Messobjekt. Eine Antwort kann sich durch Modellversion, Webzugriff, Region, Sprache, Oberfläche, Zeitpunkt und Gesprächskontext verändern. Genau deshalb braucht das Reporting mehr methodische Disziplin – nicht weniger.

Unser Grundsatz lautet: Jede Kennzahl muss eine Entscheidung ermöglichen. Wenn ein Report nur mehr Diagramme erzeugt, aber nicht zeigt, welche Seite, Quelle oder Aussage als Nächstes bearbeitet werden soll, ist er kein Steuerungsinstrument.

Die fünf Ebenen eines belastbaren Reports

Diese Ebenen dürfen nicht zu einem einzigen Score verschmolzen werden, ohne die Bestandteile zu zeigen. Eine hohe Mention Rate kann wertlos sein, wenn die Marke falsch eingeordnet wird. Eine hohe Citation Rate kann wenig Geschäftswert haben, wenn nur allgemeine Informationsartikel zitiert werden und kaufnahe Seiten fehlen.

1. Vor jeder Optimierung: die Baseline

Eine Baseline hält den Zustand vor der Maßnahme fest. Sie umfasst mehr als einen Startwert im Dashboard.

Zur Baseline gehören

• die vollständige Liste der getesteten Prompts,
• Zuordnung nach Thema, Persona und Funnel-Stufe,
• getestete Systeme und Oberflächen,
• Sprache und regionaler Kontext,
• Datum, Uhrzeit und – soweit sichtbar – Modellversion,
• beobachtete Marken und Wettbewerber,
• gespeicherte Rohantworten oder nachvollziehbare Referenzen,
• aktuelle Website- und Conversion-Daten,
• bekannte externe Ereignisse im Messzeitraum.

Marken-Prompts wie „Was macht Unternehmen X?“ gehören in ein separates Segment. Sie erzeugen naturgemäß häufiger Markennennungen und dürfen generische Kategorie- oder Auswahlfragen nicht schönrechnen.

Ein brauchbares Prompt-Set bildet mehrere Situationen ab:

1. Problem: „Wie löse ich …?“
2. Kategorie: „Welche Arten von Lösungen gibt es?“
3. Vergleich: „Option A oder B – welche passt wann?“
4. Anbieterwahl: „Welche Anbieter erfüllen diese Kriterien?“
5. Kaufnähe: „Worauf sollte ich vor der Beauftragung achten?“
6. Marke: „Was bietet Unternehmen X?“

2. Änderungen werden wie Releases dokumentiert

Ohne Änderungslog lässt sich keine Wirkung seriös einordnen. Für jede relevante Veröffentlichung halten wir fest:

• betroffene URL oder Seitengruppe,
• Art der Änderung,
• fachlich verantwortliche Person,
• Veröffentlichungsdatum,
• erwartete Wirkung und Zielkennzahl,
• technische Abnahme,
• interne Links und Redirects,
• spätere Korrekturen.

Eine Änderung kann beispielsweise lauten: „Drei Monitoring-Artikel auf einen Vergleich konsolidiert, 301-Redirects gesetzt, Entscheidungstabelle ergänzt und CTA zur Monitoring-Leistung eingebaut.“ Das ist wesentlich aussagekräftiger als „Content optimiert“.

3. Die Kern-KPIs für AI Visibility

Brand Mention Rate

Die Mention Rate zeigt, bei welchem Anteil des definierten Prompt-Sets die Marke genannt wird.

Prompts mit Markennennung ÷ alle relevanten Prompts × 100

Sie sollte nach System, Thema und Funnel-Stufe getrennt werden. Eine steigende Gesamtrate kann sonst verdecken, dass kaufnahe Fragen unverändert bleiben.

Citation Rate

Die Citation Rate zeigt, in welchem Anteil der Antworten die eigene Domain oder URL als Quelle erscheint. Dabei ist zu unterscheiden zwischen Antworten mit Quellen und Systemen, die in der jeweiligen Oberfläche keine sichtbaren Quellen ausgeben.

Zusätzlich interessiert:

• Welche eigene URL wird zitiert?
• Welche externen Domains bestätigen die Marke?
• Welche Wettbewerber werden statt der eigenen Domain belegt?
• Ist die Quelle aktuell und fachlich passend?

AI Share of Voice

Share of Voice vergleicht die eigenen Nennungen mit einem vorab festgelegten Wettbewerbsset. Das Wettbewerbsset darf während eines Vergleichszeitraums nicht still verändert werden.

Antwortposition

Bei Listen und Empfehlungen kann erfasst werden, an welcher Stelle die Marke erstmals erscheint. Diese Kennzahl ist nur sinnvoll, wenn die Antwort tatsächlich eine geordnete Liste enthält. Eine künstliche Position aus Fließtext erzeugt Scheingenauigkeit.

Brand Accuracy

Menschen prüfen, ob Kernaussagen zu Angebot, Zielgruppe, Standort, Preislogik und Einschränkungen korrekt sind. Mögliche Kategorien sind:

• korrekt,
• teilweise korrekt,
• veraltet,
• falsch,
• nicht überprüfbar.

Eine Falschaussage kann geschäftlich wichtiger sein als eine fehlende Nennung. Deshalb gehört Accuracy in das Hauptdashboard und nicht in eine Fußnote.

4. Quellen werden auf URL-Ebene analysiert

Generative Antworten greifen je nach System auf unterschiedliche Quellen zurück. Ein Reporting sollte nicht nur Domains zählen, sondern die konkrete URL und ihre Aufgabe untersuchen.

Die Quellenanalyse liefert häufig konkretere Maßnahmen als ein allgemeiner Visibility Score. Wenn ein Wettbewerber regelmäßig über eine Vergleichsseite zitiert wird, fehlt möglicherweise nicht „mehr Autorität“, sondern eine bessere, belegte Antwort auf genau diese Entscheidungsfrage.

5. Verbindung zu SEO, Website und Conversion

LLMO ersetzt Webanalyse und Search Console nicht. Das Reporting verbindet mehrere Datenquellen:

• Search-Console-Impressionen, Klicks, CTR und Suchanfragen,
• Landingpages und organische Einstiege,
• Referrer aus ChatGPT, Perplexity, Gemini und weiteren Systemen,
• Engagement auf den Zielseiten,
• Downloads und relevante CTA-Klicks,
• form_open und form_submit,
• calendar_view und Öffnung der Terminauswahl,
• bestätigte Termine und CRM-Status.

Nicht jeder KI-Touchpoint erzeugt einen sichtbaren Referrer. Nutzer können eine Marke aus einer Antwort übernehmen und später direkt suchen oder die Domain eintippen. Deshalb unterscheiden wir direkte AI Referrals, brandbezogene Nachfrage und unterstützende Conversions. Eine vollständige kausale Zuordnung ist häufig nicht möglich; der Report muss diese Grenze offen benennen.

Wie sieht ein sinnvoller Monatsreport aus?

1. Executive Summary

Eine Seite beantwortet:

• Was wurde veröffentlicht?
• Was hat sich sichtbar verändert?
• Welche Beobachtung ist stabil genug für eine Entscheidung?
• Wo sind Daten noch zu schwach?
• Welche drei Maßnahmen folgen daraus?

2. Datenqualität und Methodik

Änderungen am Prompt-Set, Modellabdeckung, Messausfälle und neue Segmente werden genannt. Ein Vergleich darf nicht so aussehen, als seien zwei methodisch verschiedene Monate identisch erhoben worden.

3. Sichtbarkeit und Qualität

Mention Rate, Citation Rate, Share of Voice und Accuracy werden nach wichtigen Clustern gezeigt. Rohantworten bleiben erreichbar, damit auffällige Werte geprüft werden können.

4. Quellen und Content-Gaps

Der Report zeigt gewonnene und verlorene Quellen, neu auftauchende Domains und konkrete Seitenlücken. Jede größere Beobachtung führt zu einer überprüfbaren Hypothese.

5. Traffic und Geschäft

AI Referrals, organische Entwicklung und Conversion-Schritte werden gemeinsam betrachtet. Kleine absolute Zahlen werden nicht durch große Prozentangaben dramatisiert.

6. Maßnahmenlog

Abgeschlossene, laufende und blockierte Maßnahmen erhalten Eigentümer und nächstes Datum. So bleibt der Report Teil der Umsetzung und nicht nur Rückschau.

Was ein Report ausdrücklich nicht behaupten sollte

Ein transparenter Report vermeidet:

• Kausalität nur aufgrund zeitlicher Nähe,
• Erfolgsprozente ohne Ausgangswert,
• gemischte Prompt-Sets ohne Kennzeichnung,
• Rankings aus einzelnen persönlichen Chats,
• eine „Conversion Rate aus KI“, wenn die Quelle technisch nicht zugeordnet werden kann,
• einen Score ohne Definition und Rohdaten,
• garantierte Modellreaktionen.

Wenn Traffic steigt, können neben einer LLMO-Maßnahme auch Saisonalität, PR, Markenaktivität, Google-Updates, Wettbewerbsänderungen oder andere Releases eine Rolle spielen. Ein guter Report nennt plausible alternative Erklärungen.

Beispiel für eine überprüfbare Hypothese

Beobachtung: Bei kaufnahen Monitoring-Prompts wird die Marke selten genannt, während ein Wettbewerber regelmäßig über eine aktuelle Vergleichsseite zitiert wird.

Hypothese: Der eigenen Domain fehlt eine neutrale, aktuelle Entscheidungshilfe mit klaren Kriterien und Quellen.

Maßnahme: Bestehende Tool-Artikel konsolidieren, Vergleichstabelle aktualisieren, Kriterien offenlegen und mit Monitoring-Leistung sowie KPI-Guide verbinden.

Messung: Vorher und nachher dasselbe Prompt-Set, getrennt nach System; zusätzlich Search-Console-CTR und Conversion-Schritte der Zielseite.

Grenze: Eine Veränderung beweist nicht allein, dass genau diese Seite die Modellantwort verursacht hat. Quellen und zeitliche Muster liefern stärkere oder schwächere Indizien.

Welche Daten erhalten Auftraggeber?

Ein transparentes Projekt sollte mindestens die verwendeten Prompts, KPI-Definitionen, veröffentlichten Maßnahmen und vereinbarten Reports zugänglich machen. Exporte und Nutzungsrechte gehören vor der Beauftragung geklärt. Ein Dashboard, das nach Vertragsende verschwindet und keine Rohdaten ausgibt, erschwert unabhängige Bewertung.

Unsere redaktionellen Richtlinien erklären zusätzlich, wie wir Vergleiche, Daten und Cases kennzeichnen. Die vollständigen KPI-Formeln stehen im Leitfaden LLMO-KPIs 2026.

Wenn Sie für Ihre Domain eine Baseline aufbauen möchten, können Sie über den kostenlosen LLMO-Check Ziel, Website und Engpass vorab einordnen. Der erste sinnvolle Output ist nicht zwingend ein dauerhaftes Dashboard – häufig ist es zunächst ein kleines, sauberes Prompt-Set mit einem nachvollziehbaren Änderungslog.

Primärquellen und Datenlimits

Für organische Suchdaten verwenden wir die Definitionen und Dimensionen der Google Search Console Search Analytics API. Google weist dort selbst darauf hin, dass die API internen Datenlimits unterliegt und nicht zwingend jede Zeile liefert. Deshalb dokumentiert ein Report Zeitraum, Filter, Aggregation und bekannte Lücken, statt eine exportierte Query-Tabelle als vollständige Nachfrage auszugeben.

Für Website-Sessions trennen wir Nutzer-, Session- und Event-Scope. Die offizielle Google-Analytics-Dokumentation zu Traffic-Source-Dimensionen erklärt, welche Herkunft technisch erkannt wird. Ein sichtbarer Referral ist damit belegbar; ein früherer Kontakt ohne Klick bleibt dagegen außerhalb dieser Attribution.

Prompt- und Antwortmessungen werden als Evaluation mit versionierten Fällen behandelt. Die OpenAI Evaluation Best Practices sind dafür eine methodische Referenz. Sie belegen keine Markenwirkung und machen aus einer zeitlichen Korrelation keine Kausalität.

Häufige Fragen zum LLMO-Reporting

Brauchen kleine Unternehmen ein tägliches Dashboard?

Meist nicht. Wenn nur wenige Seiten pro Monat verändert werden, reicht häufig eine wöchentliche Erhebung und monatliche Entscheidungsschleife. Die Messfrequenz sollte nicht höher sein als die Fähigkeit, auf Ergebnisse sinnvoll zu reagieren.

Wie viele Prompts sind ausreichend?

Es gibt keine universelle Zahl. Ein kleines, gut segmentiertes Set realer Entscheidungsfragen ist wertvoller als tausende generische Varianten. Neue Prompts werden versioniert ergänzt und nicht rückwirkend in alte Vergleichswerte gemischt.

Kann man AI Visibility mit Google Analytics messen?

Webanalyse erkennt sichtbare Referrals und Verhalten auf der Website. Sie zeigt aber nicht, bei welchen Prompts eine Marke ohne Klick erwähnt wurde. Dafür sind Antwort- oder Prompt-Monitoring und manuelle Qualitätsprüfung nötig.

Was ist der wichtigste KPI?

Das hängt vom Ziel ab. Für eine unbekannte Marke ist Mention Rate ein sinnvoller Start. Für Publisher kann Citation Rate wichtiger sein. In regulierten Märkten hat Markenrichtigkeit oft höchste Priorität. Für Geschäftsentscheidungen müssen Sichtbarkeit und Conversion zusammengeführt werden.

Wie werden Fehler in KI-Antworten behandelt?

Zuerst wird dokumentiert, welche Aussage falsch ist und welche Quellen sie möglicherweise stützen. Danach werden eigene Faktenseiten, strukturierte Daten und externe Profile geprüft. Ein einzelner Prompt wird erneut getestet, aber nicht als Beweis für eine dauerhafte Korrektur ausgegeben.