Über die Performance von Predictive Models während der Corona-Krise

In der CrossEngage Customer-Prediction-Plattform (CPP) können Marketing-Fachleute und Data Scientists schnell und einfach Prognosemodelle (Predictive Models) erstellen, die zukünftiges Kundenverhalten prognostizieren, um bessere Entscheidungen im Marketing und CRM treffen zu können. In Folge der Corona-Krise kommt nun immer wieder zurecht die Frage auf, wie sich diese Krise auf die Performance der Prognosemodelle auswirkt, die in der Plattform erstellt werden. Diese Frage kann nicht allgemeingültig beantwortet werden, da die Corona-Krise sehr unterschiedliche Auswirkungen auf verschiedene Branchen und Geschäftsmodelle hat.

Um dennoch mögliche Auswirkungen abschätzen zu können, werden im folgenden verschiedene Szenarien und deren Auswirkungen auf die Prognosegüte der Modelle anhand von Beispielen beschrieben. Dabei wird zwischen Auswirkungen während der Krise und Auswirkungen nach der Krise unterschieden. Des Weiteren wird beschrieben, wie mit Hilfe von sogenannten Backtests schnell und einfach Auswirkungen auf die Prognosegüte der Modelle bestimmt werden können.

Alle hier beschriebenen Auswirkungen gelten generell für alle Möglichkeiten der Kundenbewertung. Sowohl für die Verwendung von Machine-Learning-Modellen als auch für die Verwendung von Heuristiken wie zum Beispiel RFM-Modellen.

Während der Krise

Szenario 1: Homogener Effekt auf das gesamte Geschäft

Der Geschäftserfolg, etwa Umsätze, Gewinne, Conversion-Rates, Warenabsätze oder Nachfrage, ist weitestgehend homogen durch die Corona-Krise betroffen – sowohl positiv als auch negativ.

Das bedeutet, dass sich das Kaufverhalten aller Kunden in gleichem Maße über alle Produkte und Vertriebskanäle verändert hat. Einen homogenen Effekt auf das Geschäft haben zum Beispiel einige ausschließlich im E-Commerce tätige Unternehmen erlebt, deren Umsätze über alle Produktgruppen hinweg durch die Schließung stationärer Geschäfte im Lockdown gestiegen sind, da die Nachfrage nach deren Produkten nun ausschließlich online gedeckt werden konnte, wo sie bereits vertreten waren.

Sollte dies der Fall sein, wird die absolute Höhe der Conversion- und Umsatzprognose stärker von den tatsächlichen Werten abweichen (höher oder niedriger), als dies üblicherweise der Fall ist. Allerdings sind die Modelle weiterhin in der Lage, zwischen guten und schlechten Kunden zu differenzieren, sodass bei der Selektion von Kampagnen weiterhin die besten Kunden selektiert werden können.

Szenario 2: Heterogener Effekt auf das gesamte Geschäft

Das Geschäft ist in Abhängigkeit von bestimmten Produktgruppen, Kundengruppen oder Vertriebskanälen unterschiedlich durch die Corona-Krise betroffen.

In diesem Fall wird auch hier die absolute Höhe der Prognose stärker als üblich von den tatsächlichen Werten abweichen. Darüber hinaus kann aber auch die Fähigkeit der Modelle zwischen guten und schlechten Kunden zu differenzieren beeinträchtigt sein. Wie stark dieser Effekt ist, ist davon abhängig, wie heterogen die Veränderung des Konsumverhaltens der Kunden ist.

Beispielsweise haben Online-Versandapotheken und -Drogerien vor allem während des ersten Corona-Lockdowns im Frühling 2020 eine deutliche Zunahme an Neukunden erfahren. Diese Neukunden haben allerdings nur bestimmte Produktgruppen gekauft (zum Beispiel nur Desinfektionsmittel, Masken etc.).

Hier ist das Neukundengeschäft also nur in Abhängigkeit von bestimmten Produktkategorien gewachsen. Diese Neukunden haben möglicherweise kein Interesse an den üblichen Top-Sellern dieser Unternehmen.

Für das Predictive Modelling kann es deshalb wichtig sein, diese Neukunden aus dem Modelltraining auszuschließen, da sie die Mustererkennung möglicherweise zu stark beeinflussen könnten. Solche Schlussfolgerungen sollten aber in jedem Fall vor der Umsetzung geprüft werden, indem man die „normalen“ Modelle mit den angepassten Modellen vergleicht.

Des Weiteren kann es sinnvoll sein, für solche spezifischen Kundengruppen separate Prognosemodelle zu erstellen (abhängig von der Verfügbarkeit ausreichender Datenmengen), um diese Kundschaft gezielt ansprechen zu können.

Nach der Krise

Szenario 3: Rückkehr zum bisherigen Konsumverhalten

Die Kunden kehren nach der turbulenten Phase der Corona-Krise zu ihrem Konsumverhalten zurück und verhalten sich genauso, wie sie es vor der Krise getan haben.

Die Modelle, die vor der Krise erstellt wurden, können wieder wie gewohnt eingesetzt werden. Der Zeitraum der Corona-Krise sollte bei der Erstellung neuer Modelle für die Modellierung ausgeschlossen werden, sodass keine „falschen“ Muster das Training der neuen Modelle verzerren.

Szenario 4: Dauerhafte Veränderung des Konsumverhaltens

Durch die Corona-Krise kommt es zu einer dauerhaften Veränderung des Konsumverhaltens der Kunden. Als Beispiel ist hier der Versandhandel mit Bürobedarf und Büroausstattung zu nennen. Sollte der Trend langfristig beim Remote-Working bleiben, würden sich die Kaufmuster der Kundschaft wahrscheinlich nachhaltig verändern. Es könnte sein, dass mehr Privatpersonen als vorher kaufen und dass andere Produkte Top-Seller sein werden als vor der Krise.

Hier würde also eine langfristige Veränderung des Kaufverhaltens stattfinden. Predictive Models würden hier dementsprechend andere Muster in den Daten erkennen als vor der Krise.

In so einem Fall gilt es zu beachten, im Modelltraining diese Zeiträume, die sich in den Kaufmustern der Kundschaft stark unterscheiden, nicht zusammen in einem Modell zu analysieren. Für bereits bestehende Modelle muss abhängig vom Ausmaß der Veränderung des Kaufverhaltens einzeln geprüft werden, ob diese noch verwendbar sind.

Test der Prognosegüte

Zur Prüfung der Auswirkungen auf die Prognosegüte (Genauigkeit der Prognose und Fähigkeit zwischen guten und schlechten Kunden zu differenzieren) kann ein sogenannter Backtest genutzt werden. Ein Backtest ist ein Prognosemodell, das auf historische Daten angewendet wird. Für eine bestimmte Zeitperiode, die bereits in der Vergangenheit liegt, wird das Kundenverhalten prognostiziert.

Diese „Prognosen“ können anschließend mit den tatsächlichen Ergebnissen verglichen werden. Wenn die Ergebnisse der Prognosen und der Realität ähnlich sind, lautet die Hypothese, dass das Modell, das für die Prognosen eingesetzt wurde, gut definiert und bereit für einen „Live-Einsatz“ ist.

Mit einem Backtest kann man leicht testen, wie das Modell bei einem zukünftigen Einsatz performen wird. Das bietet eine risikofreie Möglichkeit, den Effekt der Corona-Krise auf die Prognosegüte zu bestimmen.

Sollte der Backtest zeigen, dass die Aussagekraft des Modells beeinträchtigt ist, besteht die Möglichkeit, das Modell in mehrere Untermodelle aufzuteilen, um die Prognosegüte der Modelle zu erhöhen. Auch hier kann über Backtests ermittelt werden, ob Prognose und Realität in der Historie übereinstimmten.

Weitere Beobachtungen

Über unsere Kunden hinweg beobachten wir zur Zeit die folgenden Effekte:

• Die Prognosen funktionieren für viele Kunden weiterhin verlässlich, insbesondere in Phasen, wenn nach härteren Restriktionen Lockerungen des Wirtschaftslebens beschlossen werden (zum Beispiel als nach dem ersten Lockdown im Frühjahr 2020 stationäre Geschäfte unter Auflagen wieder öffnen durften).
• Kunden, die besonders stark von der Corona-Krise betroffen sind oder waren, haben es geschafft, durch neue Use Cases und speziell dafür erstellte Modelle Potentiale zu heben, die ohne den Einsatz von Prognosemodellen nur sehr schwer zu identifizieren gewesen wären. Im folgenden möchten wir ein Beispiel für solch einen neuen Use Case geben.

Use Case: Stationäre Kunden zu Online-Käufern konvertieren

Ein Modehaus mit stationären Geschäften und einem Onlineshop war im Frühling 2020 stark von den Corona-bedingten stationären Geschäftsschließungen betroffen. Erhebliche Teile des erwarteten Umsatzes fielen weg. Der Online-Versandhandel legte zwar ordentlich zu, konnte die Umsatzverluste aber nicht auffangen.

Um mehr Kunden, die sonst nur stationär kaufen würden, in dieser Zeit zum Online-Kauf zu bewegen, hat das Modehaus Prognosemodelle in der CPP erstellt, die speziell für die rein stationäre Kundschaft die Wahrscheinlichkeit für einen Online-Kauf bewerten, eine sogenannte „Online-Affinität“. Anschließend erhielten die Kunden, die mit einer hohen Wahrscheinlichkeit für eine Online-Transaktion bewertet wurden, ein Print-Mailing mit einem Verweis auf die Möglichkeiten und Vorteile des Online-Shops.

Die Ergebnisse der Kampagne waren sehr erfreulich. Im Vergleich zur Nullgruppe konnte man in dieser Kampagne einen Lift von 65 % auf die Conversion Rate und einen Lift von 135 % auf den Kontaktwert erreichen. Insgesamt ergab sich für diese Mailing-Kampagne nach Abzug aller Kosten ein Gewinn im mittleren fünfstelligen Bereich.

Eine erneute Auswertung der Kampagne nach der Wiedereröffnung der Filialen zeigte spannende Entwicklungen: Die reinen Filialkunden zeigten auch nach der Öffnung der Filialen erhöhte Umsätze sowohl in den Filialen als auch Folgekäufe im Online-Shop. Ein Indiz dafür, dass diese Kunden zu guten Multichannel-Kunden weiterentwickelt wurden und durch eine stärkere Markenbindung hoffentlich auch langfristig höhere Umsätze realisieren werden.

Fazit

Unser Fazit aus den bisherigen Beobachtungen ist, dass in vielen Fällen die Prognosemodelle weiterhin gut funktionieren und in Bereichen mit starken Veränderungen oftmals Modelle erstellt werden können, die trotz der gegeben Situation eine für den Use Cases notwendige Bewertung der Kunden zulassen bzw. einen neuen Use Case ermöglichen. Wie auch vor der Corona-Krise ist die Identifikation des richtigen Use Cases der wichtigste Erfolgsfaktor beim Einsatz von Machine Learning für Kundenbewertungen.