Manuelle vs. automatische Kampagnensteuerung

Die theoretischen Vorteile der automatisierten Kampagnensteuerung sind nicht zu leugnen. Doch wie sieht es in der Praxis aus? Wir haben Googles Machine Learning-Algorithmen dem Härtetest
unterzogen, um zu testen, ob sich eine Kampagnenumstellung bereits lohnt.

Die Geschichte

GOOGLES MACHINE LEARNING-ALGORITHMUS IM HÄRTETEST

Smart Shopping Campaigns, Smart Bidding, Machine Learning, Künstliche Intelligenz, Data Driven Attribution – Buzzwords, die häufig fallen, kaum verstanden und häufig mit schwammigen Uplift-Zahlen als Allheilmittel angepriesen werden.
Online-Marketer können sich diesem Trend nicht entziehen und das mit gutem Grund, denn die theoretischen Vorteile der automatisierten Kampagnensteuerung sind nicht zu leugnen.
Wir haben Googles Machine Learning-Algorithmus dem Härtetest unterzogen, um zu testen, ob sich eine Kampagnenumstellung bereits lohnt.

Das Ziel

BESTEHT SMART BIDDING AUCH UNTER BESTIMMTEN KAMPAGNEN-SETUPS?

Für einen unserer langjährigen Kunden aus der Möbelbranche haben wir Googles Target Return On Advertising Spend (tROAS) ausgiebig getestet. Es stellten sich gleich mehrere Herausforderungen: Zum einen ein komplexes Kampagnensetup mit mehreren Hierarchiestufen und Zielen sowie zum anderen lange Post-Conversion-Zeiträume im Möbelsektor, wodurch das Bidding erschwert wurde. Ziel des Tests war dementsprechend herauszufinden, ob der tROAS mit diesen Herausforderungen zurechtkommt und ob die Ziel-KPIs entsprechend einer manuellen Steuerung erreicht werden können.

    Es besteht kein Zweifel: Smart Bidding wird in Zukunft noch smarter werden und in ein paar Jahren aus der Kampagnensteuerung nicht mehr wegzudenken sein - auch in komplexen Setups und Branchen mit langen Kaufentscheidungsprozessen.

    MANUEL INAMA, PDM MANAGER BEI EPROFESSIONAL
    Das Setup - Test 1

    GENERISCHE FOKUSKAMPAGNE

    Der erste Test wurde auf die kleinere, generische Fokuskampagne angewendet (vgl. Grafik 1 Kampagne „Generic/Fokus“), mit der Kosten-Ertrag-Relation (KER) als Primär- und Reichweite als Sekundärziel. Brand-Suchbegriffe waren ausgeschlossen, Local Inventory Ads
    (LIAs) aktiviert. Das Tagesbudget wurde nicht begrenzt. Der Test lief insgesamt 76 Tage, in denen 6,8k Conversions generiert wurden. Die ca. fünfmal größere Generic/Performance-Kampagne (vgl. Grafik 1 Kampagne „Generic/Performance“) wird als Vergleichskampagne
    herangezogen (eCPC aktiviert, s. Glossar). Erträge und Conversions werden nach einem Badewannenmodell (vgl. Grafik 3) im Attributions-Tool Exactag attribuiert. Conversions werden daher an die in der Customer Journey beteiligten Kanäle einflussgerecht verteilt.

    Die Ergebnisse (Tabelle 1) zeigen ein gemischtes Bild. Man sieht einen starken Anstieg der Conversion Rate (CVR), das Average Order Volume sinkt saisonal bedingt über beide Kampagnen, jedoch weniger in der tROAS-Kampagne. Trotz der positiven Entwicklung dieser zwei wichtigen Ertragskennzahlen sinkt der Ertrag im direkten Vergleich leicht (beide Werte sinken saisonbedingt). Erklären lässt sich dies durch das überproportional gesunkene Volumen. Dies bedeutet jedoch keine bessere KER: Die höhere CVR und die AOV-Werte werden durch einen massiv gestiegenen CPC erkauft, was die KER überproportional steigen lässt.

    Entgegen der „Alltagslogik“ bedeutete der gestiegene CPC keinen Volumen- oder Impression Share-Anstieg, sondern einen signifikanten Rückgang. Die Erklärung findet sich in der Gebotsstreuung des Algorithmus. Suchanfragen, die der Algorithmus als wertvoll einstuft,
    werden mit hohen Geboten versehen (bis zu 10 € durchschnittlicher CPC), viele wurden jedoch komplett ignoriert. In den Auktionen wurden dementsprechend hohe Kosten verursacht, durch die gesunkene Anzahl an Auktionen allerdings die Reichweite stark reduziert.

    Die gestiegene CVR lässt sich zu großen Teilen dadurch erklären, dass der Algorithmus das Budget stark auf das traditionell abschlussstärkste Gerät (Desktop; Anstieg Klicks: 60% Anstieg CPC: 100%) verlagert. Durch die Vernachlässigung von Mobilgeräten sinkt die Anzahl der ausgelieferten LIA-Anzeigen. Dies macht natürlich aus reinen Performance-Gesichtspunkten Sinn (LIAs sind abschlussschwächer), aus Gesamtunternehmens- und Online-to-Offline-Perspektive weniger. Allerdings ist dies auch nicht das Versprechen des tROAS.

    Abschließend lässt sich festhalten, dass zwar die Conversion Rate und das Average Order Volume im ersten Test im Vergleich zur generischen Performance-Kampagne gestiegen sind, diese Effizienzgewinne jedoch durch den massiv angestiegenen CPC zunichte gemacht wurden und die Kosten-Ertrags-Relation dadurch schlechter dastand.

    Learnings Test 1: LIAs ausschließen (Ausschluss der O2O-Subventionierung und dadurch relative Stärkung des Mobil Devices in der Customer Journey Attribution); Reichweite als Sekundärziel fallen lassen.

    DAS SETUP - TEST 2

    GENERISCHE PERFORMANCE-KAMPAGNE

    Um den tROAS wirklich im Alltagseinsatz zu testen, haben wir im zweiten Test den Algorithmus auf die 2,5mal größere Generic/Performance-Kampagne eingesetzt. Die Learnings haben wir integriert und dementsprechend die Kampagnenstruktur vor dem Test verändert (siehe Grafik 2).

    Local Inventory Ads (LIAs) wurden aus der großen generischen Kampagne herausgelöst und die Testkampagne eine Prioritätsstufe höhergestellt. Damit die Suchanfragen, die der tROAS ignoriert, nicht in die Brand-Kampagnen laufen, haben wir in der mittleren Prioritätsebene eine Backup-Kampagne eingefügt.

    Der Test lief 42 Tage bei einem Conversion-Volumen von 8,5k.

    In der Tabelle 2 zeigt sich, dass die Anzahl der Klicks der Testperiode im Vergleich zur Vorperiode stark zurückgegangen ist, der CPC ist stark angestiegen und die Conversion Rate verzeichnet eine leichte Steigerung. Die wichtigsten Kennzahlen (Ertrag und Kosten-Ertrag-Relation) entwickeln sich entgegen der gewünschten Richtung. In der Post-Testperiode wurde der Traffic stark nach oben geschraubt, um das Volumen- und Ertragsniveau wieder auf Pre-Test-Level zu heben. Es zeigten sich weiter die gleichen Muster wie im ersten Test: starke Gebotsstreuung, dadurch Volumen- und Impression Share-Rückgang, Budgetshift hin zu Desktop. Dass wir die gleiche Kampagne nach Beendigung des Tests so gut wie linear skalieren konnten, wirft ebenfalls kein gutes Licht auf die Performance des Algorithmus.

    Das Fazit

    SMART BIDDING VERSPRICHT VIEL, KANN ES ABER (NOCH) NICHT HALTEN

    So verlockend die Smart Bidding-Funktion für Online-Marketer scheint, unsere Tests zeigten durchweg schwache Ergebnisse. Neben den nicht zufriedenstellenden Performance-Ergebnissen offenbaren sich einige weitere Schwächen, wie die nötigen, teils tiefgreifenden Änderungen des Kampagnensetups und der geringe Grad der Einflussnahme. So können beispielsweise keine Zeiträume aus der Betrachtung genommen werden, Stichwort Black Friday. In solchen Zeiträumen ändert sich das Kaufverhalten nur temporär stark und sollte dementsprechend nicht in das Bidding vor und nach dem Abschluss des Events einfließen.

    Ein weiterer Nachteil sind die langen Lernzeiten. Jede Zieländerung führte dazu, dass sich der Algorithmus erneut für sieben Tage im Lernmodus befand. Das ist in einem dynamischen Umfeld mit hohem Volumen nicht vertretbar. Nach Empfehlung Googles sollte das Budget einer tROAS-Kampagne nicht nach Tagesbudget gesteuert werden, sondern nach KER (ROAS)-Ziel. Der Gedanke: Je geringer die Ziel-KER, desto weniger gibt der Algorithmus aus. Dies zeigte sich auch bei unseren Tests: Die Budgetbegrenzung per Tagesbudget hat die Performance des Algorithmus deutlich verschlechtert. Problematisch dabei ist jedoch, dass wir unsere Kampagnen häufig nach strikten Budgetvorgaben steuern, die mit Punktlandung erreicht werden müssen. Die Aussteuerung mit KER-Ziel ist zu ungenau und durch die erforderlichen Anpassungen mit erneuten Lernzeiten verbunden.

    Die oben aufgeführten Punkte führten uns letztendlich zu der Entscheidung gegen den tROAS. Dies ist für uns jedoch keine generelle Ablehnung des Algorithmus. Der Erfolg einer Smart-Bidding-Lösung hängt immer von dem Grad der vorherigen Optimierung ab. Wenn das Bidding in einer Kampagne bis zur Einführung wöchentlich vorgenommen wurde, dann kann ein Bidding Algorithmus bereits schnell effizientere Ergebnisse erzielen. Die Gebote unserer Testkampagnen werden jedoch mehrfach wöchentlich optimiert und gleichzeitig auf dem Level von Suchanfragen modifiziert. Der Raum zur Optimierung ist daher natürlicherweise schon sehr gering.

    Smart Bidding wird in Zukunft smarter werden. Wir befinden uns am Anfang der graduellen kompletten Übernahme von Kampagnensteuerung durch Algorithmen. Je mehr Branchen und Anbieter Algorithmen einsetzen, desto besser werden diese. Dies wird sich entsprechend positiv auf die Performance auswirken. Daher werden wir auch in Zukunft weitere Tests durchführen. In anderen Branchen mit kürzeren Conversion-Zeiträumen und Konten mit einfacheren Kampagnen-Setups sehen wir bereits heute durchaus vergleichbare Ergebnisse.

    Produkte

    • Google

    Goals

    • Online Verkäufe steigern

    Branche

    • Brands