← Case Studies

Case StudyEin Großunternehmen

Wie ein Großunternehmen einen Conversion-Bug fand, der nur auf Mobilgeräten auftrat

Ein Lead-Formular sendete weit mehr Conversion-Events, als GA4 anzeigte. In manuellen Tests ließ sich das Problem nie nachstellen. Der Hinweis steckte schon in den Events: eine Property mit demselben Wert auf jedem Duplikat.

Ein GroßunternehmenPlan: Enterprise
5 Min. Lesezeit · 1.153 Wörter

Ein Conversion-Event, das nicht aufging

Auf einer der Landingpages dieses Unternehmens wird Besuchern eine einfache Frage gestellt: Sollen wir Sie zurückrufen? Der Besucher trägt seine Telefonnummer in ein Formular ein, und die Website sendet ein Callback-Event. Dieses Event zählt als Conversion. Es fließt in die Reports, die zeigen, welche Kampagnen Leads bringen, und in die Zahlen, nach denen Budgets verteilt werden.

Auf dieser Landingpage waren sich zwei Tools nicht einig. Trackingplan erfasste weit mehr Callback-Events, als GA4 für dieselbe Seite anzeigte.

Zwei Analytics-Tools stimmen nie exakt überein; kleine Abweichungen sind normal. Diese war nicht klein. Sie war zu groß, um sie zu ignorieren.

Eine solche Lücke lässt zwei Deutungen zu. Entweder verliert ein Tool Events, oder die Website sendet Events, die sie nicht senden sollte. Bevor das Team entscheiden konnte, welcher Zahl es trauen sollte, musste es wissen, welcher der beiden Fälle vorlag.

Duplikate, keine Leads

Die Antwort kam, als das Team die Events einzeln betrachtete statt als Summe.

Die zusätzlichen Events waren keine neuen Anfragen. Es waren Kopien. Dasselbe Callback-Event kam zwei- oder dreimal in einer einzigen Sitzung an. In den schlimmsten Sitzungen kamen extrem viele Kopien an, alle identisch und alle innerhalb derselben Minute gesendet.

Niemand füllt ein Formular so oft in einer Minute aus. Irgendetwas auf der Seite sendete dasselbe Event immer wieder.

Damit änderte sich die Frage. Es ging nicht mehr darum, welches Tool recht hatte. Es ging darum, was auf der Seite ein Conversion-Event auslöste, ohne dass eine neue Conversion dahinterstand.

Tests, die nichts fanden

Das Team tat, was jedes Analytics-Team zuerst tut. Es öffnete die Landingpage und versuchte, das Problem von Hand nachzustellen.

Das Formular funktionierte. Jeder manuelle Test endete gleich: keine Duplikate.

Das ist die schwierigste Art von Tracking-Fehler – einer, der nie vor Ihren Augen auftritt. Die Daten sagen, dass etwas nicht stimmt, und jeder Test sagt, dass alles in Ordnung ist. Dann bleiben einem Team nur zwei schlechte Optionen. Es kann auf gut Glück weitertesten und hoffen, die richtige Kombination zu treffen, oder es erklärt die Daten für falsch und macht weiter.

Warum manuelle Tests solche Bugs übersehen

Ein manueller Test folgt dem Weg, den der Tester im Kopf hat. Seite öffnen, Formular ausfüllen, absenden, prüfen, ob das Event ausgelöst wurde. Für genau diesen Weg wurde die Seite gebaut, also funktioniert er meistens.

Echte Besucher gehen andere Wege. Sie vertippen sich bei der Nummer, schließen ein Fenster mittendrin, kommen zurück, versuchen es erneut – und das alles auf dem Gerät, das sie gerade in der Hand haben. Jeder dieser Wege führt anders durch die Seite, und jeder kann Events senden, die kein Testplan prüft.

Bei einer Single-Page-App gibt es mehr solcher Wege, und sie dauern länger. Die Seite lädt zwischen den Schritten nicht neu, deshalb kann das, was eine Komponente eben noch getan hat, weiterlaufen, wenn sich die nächste öffnet. Ein Listener, der einmal laufen sollte, kann erneut laufen.

Nimmt man Smartphones und Desktops dazu, gibt es mehr mögliche Wege, als irgendein Testplan abdecken kann.

Der Hinweis steckte in den Events

Die Antwort lag schon in den Events, die die Website gesendet hatte. Sie lag nur nicht dort, wo jemand nachgesehen hatte.

Der Agent von Trackingplan wies auf eine Property der duplizierten Events hin. Alles deutete auf einen Fehler in dieser Property: Auf jedem Duplikat gab sie an, dass die Telefonnummer ungültig sei.

Die manuelle Untersuchung war an dieser Property vorbeigegangen. Für sich genommen sah sie nicht fehlerhaft aus. Entscheidend war das Muster: derselbe Wert auf jedem Duplikat.

Damit hatte die Untersuchung eine Richtung. Die Duplikate kamen nicht aus beliebigen Sitzungen, in denen das Formular genutzt wurde. Sie kamen aus Sitzungen, in denen das Formular die Telefonnummer als ungültig markiert hatte. Statt auf gut Glück zu testen, wusste das Team jetzt, nach welchem Zustand es suchen musste.

Eine Schleife, die es nur auf Mobilgeräten gab

Mit diesem Hinweis fand das Team die betroffenen Sitzungen und sah sich an, was diese Besucher getan hatten.

Die Landingpage ist eine Single-Page-App. Auf Mobilgeräten löste das Schließen eines Modals einen Bug in der App aus, der das Callback-Event in eine Schleife schickte. Aus dieser Schleife stammten die Kopien, extrem viele davon in einer einzigen Sitzung.

Auf dem Desktop trat das nie auf.

Deshalb fanden die manuellen Tests nichts. Um den Bug zu sehen, musste ein Tester ein Smartphone nutzen und genau dieses Modal schließen. Ein Test, der nicht genau diesen Weg nimmt, kommt nie dort an.

Was das für die Zahlen bedeutet

Rückrufanfragen sind Leads. Verhält sich das Event, das sie zählt, falsch, gilt das auch für jede Zahl, die darauf aufbaut: Leads pro Kampagne, Conversion-Rate pro Landingpage, Kosten pro Lead.

Das Unternehmen hat nicht beziffert, wie viele Leads betroffen waren, und diese Case Study stellt keine Vermutungen an. Der Fall zeigt aber, wie ein solcher Bug in einem Conversion-Event stecken kann, obwohl er jede übliche Prüfung besteht. Das Formular funktioniert, die Tests laufen durch, und das einzige Anzeichen ist eine Lücke zwischen zwei Tools, die sich leicht wegerklären lässt.

Was der Fall zeigt

Der Bug saß in einem Conversion-Event und schlug deshalb direkt auf die Zahlen durch, auf deren Grundlage entschieden wird.

Die üblichen Prüfungen sahen ihn nicht. Fehlerhaft war nur ein einziger Weg: ein Modal, das auf einem Smartphone geschlossen wird. Solche Wege rutschen leicht durch einen Testplan. Sie zeigen sich im echten Traffic.

Und der Hinweis, der den Fall löste, waren keine neuen Daten. Es war ein Property-Wert, den die Website ohnehin sendete, über alle Duplikate hinweg betrachtet.

Wo Trackingplan ins Spiel kommt

Trackingplan sieht die Events, die Ihre Website tatsächlich sendet, von echten Besuchern, auf jedem Gerät. Das Monitoring vergleicht sie mit dem, was normalerweise passiert – pro Event, pro Property, pro Plattform – und meldet Implementierungsfehler wie fehlende Properties oder doppelt ausgelöste Events, sobald sie im echten Traffic auftauchen.

Wenn etwas falsch aussieht, können Sie den Agenten danach fragen. Er untersucht, bevor er antwortet, arbeitet mit Ihren eigenen Hits und zeigt die Belege hinter seinen Schlüssen. Hier hieß das: auf die eine Property hinweisen, die die Duplikate erklärte. Aus einem Bug, den niemand nachstellen konnte, wurde einer, den das Team finden konnte.

Was Sie auf Ihrer eigenen Website prüfen sollten

Wenn ein Conversion-Event in einem Tool höher aussieht als in einem anderen, prüfen Sie ein paar Dinge, bevor Sie entscheiden, welches Tool falsch liegt.

Suchen Sie nach identischen Events in derselben Sitzung, zeitlich dicht beieinander. Ein Mensch konvertiert nicht zweimal innerhalb weniger Sekunden.

Vergleichen Sie die Property-Werte der zusätzlichen Events mit denen der normalen. Ein Wert, den alle zusätzlichen Events teilen, etwa ein Fehlerzustand, zeigt Ihnen, wo Sie suchen müssen.

Testen Sie auf einem Smartphone, nicht nur im Desktop-Browser, und testen Sie die Wege rund um das Formular: Fehler, Modals, Schließen und Zurückkommen.

Prüfen Sie bei einer Single-Page-App, was mit dem Event passiert, wenn eine Komponente ohne Neuladen der Seite geschlossen und wieder geöffnet wird.

Diese Case Study beruht auf einer oder mehreren realen Kundeninteraktionen. Namen und weitere Angaben wurden aus Datenschutzgründen anonymisiert.

Ein Großunternehmen
Ein Großunternehmen

Weitere Case Studies

Alle Case Studies →

Trackingplan

Alles sehen. Nichts verpassen.

Trackingplan prüft Ihre Implementierungen rund um die Uhr, in Echtzeit und mit den Daten echter Nutzer. Sie erhalten sofort eine Warnung, wenn sich bei Ihren Daten, Kampagnen, Pixeln, beim Datenschutz oder bei der Einwilligung etwas ändert oder ein Fehler auftritt. Die KI meldet Probleme, bevor sie Sie Geld kosten.