Wirtschaft – Datenaufbereitung für eine wirkungsvolle Modellierung

Screenshot youtube.com

Die Erstellung von Vorhersagemodellen beginnt nicht erst mit dem Einsatz von Algorithmen, sondern weit vorher, bei der sorgfältigen Aufbereitung der zugrunde liegenden Daten. In einer Zeit, in der Unternehmen aus unzähligen Quellen Informationen sammeln, entscheidet die Qualität der Datenvorbereitung maßgeblich darüber, ob ein Modell verlässliche Ergebnisse liefert oder in die Irre führt. Die folgenden Ausführungen beleuchten die verschiedenen Schritte der Datenaufbereitung, von der ersten Erfassung über die Bereinigung bis hin zur Merkmalsgestaltung und der Aufteilung in Übungs- und Prüfdatensätze. Dabei wird deutlich, dass die Datenaufbereitung keine bloße Vorarbeit ist, sondern das Fundament jeder erfolgreichen Modellierung darstellt. Wer dieses Fundament vernachlässigt, baut auf Sand, unabhängig davon, wie ausgefeilt die verwendeten Algorithmen sein mögen.

Der Ursprung jeder Vorhersage

Jedes erfolgreiche Vorhersagemodell nimmt seinen Anfang lange bevor der erste Algorithmus läuft, nämlich bei den Daten selbst. Saubere, strukturierte und aussagekräftige Daten machen den Unterschied zwischen einem Modell, das informiert, und einem, das in die Irre führt. In meiner Tätigkeit als Leiter von Datenanalyseteams im digitalen Vermarktungsbereich und im Einzelhandel habe ich erlebt, wie brillante Analysten ausgefeilte Modelle entwickelten, die letztendlich scheiterten, nicht weil die Mathematik falsch war, sondern weil die Daten nicht aufbereitet waren. Die Vorhersagekraft beginnt mit der Vorbereitung. Wenn die beschreibende Datenanalyse die Geschichte erzählt und die ursachenbezogene Datenanalyse sie erklärt, sorgt die Datenaufbereitung dafür, dass die Geschichte stimmig, vollständig und modellierungsreif ist.

Die Natur roher Vermarktungsdaten

Rohe Vermarktungsdaten sind von Natur aus ungeordnet. Kampagnen, Kundenverhalten und Transaktionen strömen von zahlreichen Plattformen ein, jede mit eigenem Format, eigener Zeitplanung und eigenen Besonderheiten. Daten für die Modellierung aufzubereiten heißt, Unordnung in Klarheit zu verwandeln, indem Informationen bereinigt, umgewandelt und strukturiert werden, damit Algorithmen sie lesen, ihnen vertrauen und daraus lernen können. Man kann sich das wie das Herrichten einer Bühne vor einer Aufführung vorstellen. Ohne sorgfältige Vorbereitung stolpert selbst das ausgereifteste Modell über Rauschen, Verzerrungen oder fehlenden Kontext.

Datenerfassung und plattformübergreifende Zusammenführung

In einer Welt mit zahlreichen Vermarktungskanälen sind Daten überall verstreut, sei es in Suchmaschinenwerbung, Netzwerkverwaltungen, Kundenverwaltungssoftware, Kundenverwaltungssystemen, Datenbanken des elektronischen Handels oder anderen Quellen. Der erste Schritt zur Modellreife ist die Zusammenführung all dieser Datenströme zu einer einheitlichen Sicht auf die Kundenreise. Aus meiner Erfahrung im Einzelhandelsvertrieb weiß ich, dass keine einzelne Quelle jemals die ganze Geschichte erzählt. Soziale Netzwerke erfassen vielleicht die Beteiligung, Netzwerkanalysen verfolgen die Kaufabsicht, und Kassensysteme bilden das tatsächliche Kaufverhalten ab. Echte Erkenntnisse entstehen erst, wenn man alles zusammenführt.

Die Rolle der Programmierschnittstellen und der menschlichen Kontrolle

Programmierschnittstellen und Werkzeuge zur Datenzusammenführung machen die Integration möglich, doch erst menschliche Kontrolle sichert die Stimmigkeit. Datumsbereiche müssen abgeglichen, Kampagnenkennungen angeglichen und Messgrößendefinitionen plattformübergreifend geprüft werden. Ein guter Integrationsprozess konsolidiert nicht nur Daten, sondern vereinheitlicht auch die Sprache. Was ein System als Auswahl bezeichnet, heißt bei einem anderen vielleicht Sitzung, und unter dem Begriff Umwandlung versteht jede Arbeitsgruppe etwas anderes. Die Datenvereinheitlichung schafft ein gemeinsames Vokabular, das jedes Modell versteht.

Die ungeschminkte Wahrheit der Datenintegration

Die Datenintegration gleicht dem Hüten einer Herde eigenwilliger Tiere, nur dass die Tiere hier Tabellenkalkulationen, Anzeigenübersichtstafeln und Kundenverwaltungsexporte sind, die alle darauf bestehen, die wichtigsten zu sein. Man denkt, alles sei zusammengeführt, und entdeckt dann, dass eine Datei die pazifische Zeitzone verwendete, eine andere die koordinierte Weltzeit, und die Wochenzusammenfassung stillschweigend Sonntage übersprang. Das ist nicht glamourös, aber entscheidend. Denn wer mit der Modellierung beginnt, bevor die Daten abgeglichen sind, gewinnt keine Erkenntnisse, sondern baut eine Illusion mit einem sehr teuren Algorithmus.

Detektivarbeit bei der Zusammenführung

Die besten Arbeitsgruppen, mit denen ich gearbeitet habe, behandeln die Integration wie Detektivarbeit. Sie verbinden Plattformen nicht einfach, sondern befragen sie. Sie fragen, ob diese Quelle eindeutige Kennungen hat, ob Nutzer über elektronische Post und soziale Netzwerke doppelt gezählt werden, und ob Zeitstempel stimmig sind. Das Ziel ist eine einheitliche Kundensicht, die mehr ist als eine zusammengestückelte Tabelle, nämlich ein lebendiger Datensatz, der die echte Kundenreise widerspiegelt, nicht nur Fragmente davon.

Empfehlungen für eine gelungene Datenintegration

Es empfiehlt sich, die Grundstruktur der Daten frühzeitig zu vereinheitlichen und sich auf Spaltennamen und Definitionen zu einigen, bevor die Datenflut beginnt. Zudem sollte man so viel wie möglich automatisieren, aber dennoch alles überprüfen, denn Programmierschnittstellen sparen zwar Zeit, benötigen aber trotzdem menschliche Qualitätssicherung. Ebenso wichtig ist es, die Verknüpfungen und Zusammenführungen zu dokumentieren und festzuhalten, was kombiniert, gefiltert oder verworfen wird, denn man wird es sich später danken. Ein gemeinsames Glossar verhindert Übersetzungsfehler zwischen den Arbeitsgruppen, und bei doppelten Erfolgsmeldungen sollte man vorsichtig sein, denn wenn zwei Systeme dieselbe Umwandlung für sich beanspruchen, sagt nur eines die Wahrheit, und zwar wahrscheinlich das mit den Belegen. Bei der Integration von Vermarktungsdaten geht es nicht darum, eine größere Tabelle zu erstellen, sondern Vertrauen aufzubauen, und jedes erfolgreiche Vorhersagemodell hängt von diesem Fundament ab.

Die Bereinigung der Daten

Sobald die Daten integriert sind, müssen sie bereinigt werden. Das ist der Teil der Datenanalyse, den die meisten unterschätzen, und bei dem ich Projekte habe scheitern oder gelingen sehen. Fehlende Werte, doppelte Datensätze und Ausreißer können die Genauigkeit eines Modells unbemerkt sabotieren, wenn man sie nicht behebt. Bei der Datenbereinigung geht es nicht nur darum, fehlerhafte Zeilen zu löschen, sondern zu verstehen, warum Daten fehlen oder extreme Werte aufweisen.

Ursachen für fehlende Werte und Extremwerte

Es stellt sich die Frage, ob ein Systemfehler, eine Kampagnenpause oder ein gültiges, aber seltenes Kundenverhalten vorliegt. Jedes Szenario erfordert einen anderen Ansatz. Manchmal ergänzen wir fehlende Werte mit dem Mittelwert, dem Zentralwert oder mit vorhersagenden Methoden. In anderen Fällen schließen wir Daten aus, die Lernmuster verzerren könnten. Die Kunst liegt darin, die richtige Balance zwischen Bereinigung und Bewahrung zu finden.

Empfehlungen für die Datenbereinigung

Es ist ratsam, mit einer Datenprofilierung zu beginnen, um fehlende Werte, Anomalien und Verteilungsformen zu quantifizieren. Dabei sollte man systematisch vorgehen und eine konsistente Bereinigungslogik auf alle Datensätze anwenden, um die Integrität zu wahren. Wichtig ist auch, geänderte oder ergänzte Daten zu markieren statt sie zu löschen, um Transparenz zu gewährleisten. Extremwerte verdienen besondere Aufmerksamkeit, denn Ausreißer können Fehler aufdecken oder verborgene Erkenntnisse liefern, die eine separate Modellierung verdienen.

Schmutzige Daten als strategische Signale

Bei meiner Arbeit in der Datenanalyse des elektronischen Handels war eine der aufschlussreichsten Lektionen, dass sogenannte schmutzige Daten oft strategische Wahrheiten enthielten. Hochwertige Bestellungen, die Durchschnittswerte verzerrten, waren nicht immer Fehler, sondern Signale von besonders wichtigen Kunden oder einmaligen Spitzenereignissen. Daten bereinigen heißt nicht, die Geschichte zu glätten, sondern sie zu schärfen. Die Datenbereinigung ist wie ein Frühjahrsputz in der Garage, bei dem man anfängt, nur ein paar Dinge zu ordnen, und Stunden später knietief in vergessenen Variablen steckt und sich fragt, wer um alles in der Welt eine Spalte mit einem chaotischen Namen erstellt hat.

Datenbereinigung als Detektivarbeit

Die besten Analysten betrachten die Datenbereinigung nicht als lästige Pflichtaufgabe, sondern als Detektivarbeit. Sie verfolgen Spuren, überprüfen Annahmen und decken dabei manchmal operative Probleme auf, die der Vermarktung nie aufgefallen sind, wie defekte Verfolgungsbildpunkte, doppelte Kennungen oder Zeitzonenabweichungen, die monatelang unbemerkt die Umwandlungen verzerrt haben. Die Datenbereinigung ist in vielerlei Hinsicht der erste Akt analytischer Führungskompetenz, hier treffen Neugier und Verantwortungsbewusstsein aufeinander. Jedes Mal, wenn man einen Datensatz richtig bereinigt, beseitigt man nicht nur Unordnung, sondern schafft Vertrauen.

Ausreißer und ihre Bedeutung

Die meisten Datenpunkte konzentrieren sich im zentralen Bereich und zeigen normales Kampagnenverhalten mit stetigen Erträgen bei moderater Anzeigenexposition. Die markierten Ausreißer in der oberen rechten Ecke heben sich jedoch deutlich ab und sind als Anomalien gekennzeichnet, die näher untersucht werden sollten. Es stellt sich die Frage, ob es sich um Gelegenheitskunden oder sporadische Geschäftsaktivitäten handelt. Diese Punkte könnten Systemfehler darstellen, etwa überhöhte Einblendungszahlen, oder wertvolle Ausnahmen wie hochwertige Kunden, die ungewöhnlich gut auf wiederholte Anzeigenkontakte reagieren. Die Visualisierung verdeutlicht eine wichtige analytische Grundhaltung, denn nicht jede Anomalie ist bloßes Rauschen, manche Ausreißer bergen Erkenntnisse, die die Zielgruppenansprache verfeinern, die Ausgaben optimieren und Segmente aufdecken können, die eine tiefere Analyse verdienen.

Zusätzliche Hinweise zur Bereinigung aus der Praxis

Es empfiehlt sich, Prüfungen zu automatisieren, aber manuell zu kontrollieren, denn Skripte erkennen Muster, während Menschen den Kontext erkennen. Visuelle Datenprofile wie Kastendiagramme und Häufigkeitsdiagramme decken Ausreißer schneller auf als Formeln. Ein Bereinigungsprotokoll hilft, Änderungen zu dokumentieren, damit das künftige Modellierungsteam weiß, was es übernimmt. Die Ergänzung fehlender Werte sollte als Schätzung betrachtet werden, nicht als Zauberei, denn jeder ergänzte Wert ist eine fundierte Vermutung, mit der man behutsam umgehen sollte. Schließlich ist es wichtig zu wissen, wann Schluss ist, denn übertriebene Bereinigung kann aussagekräftige Streuung entfernen, die Modelle zum Lernen brauchen.

Die Merkmalsgestaltung

Bei der Merkmalsgestaltung werden Rohdaten zu intelligentem Eingangsmaterial. Es ist die Kunst und Wissenschaft, grundlegende Messgrößen in Variablen zu verwandeln, die Verhalten sichtbar machen. In der Vermarktungsanalyse bedeutet das, Vorhersagemerkmale zu entwickeln, die Kundenabsicht, Loyalität und Beteiligungstiefe erfassen. Anstatt beispielsweise nur Auswahlen oder Käufe zu modellieren, können wir Merkmale ableiten, die das Verhalten der Kunden besser beschreiben. Richtig angewandt, verwandelt die Merkmalsgestaltung Oberflächendaten in strategische Intelligenz.

Beispiele für abgeleitete Merkmale

Ein bewährtes Verfahren ist die Berechnung von Frische-, Häufigkeits- und Umsatzwerten zur Messung der Kundenloyalität. Die Beteiligungsgeschwindigkeit, also die Rate der Interaktionen über die Zeit, zeigt das Momentum eines Kunden. Die kanalübergreifende Vielfalt, also die Anzahl unterschiedlicher Berührungspunkte pro Kunde, gibt Aufschluss über die Breite der Kundenbeziehung. Die Aktionsempfindlichkeit, also die Häufigkeit von Käufen während Rabattperioden, hilft dabei, preissensible Kunden zu identifizieren. Hier treffen Vermarktungsverständnis und mathematische Präzision aufeinander, und der Schlüssel liegt darin, Intuition mit Experimentieren zu verbinden.

Merkmalsgestaltung in der Anzeigenwerbung und im elektronischen Handel

In einem Umfeld bezahlter Anzeigen könnte man beispielsweise Anzeigeninteraktionsprotokolle in die Umwandlungsverzögerungszeit umwandeln, also die Anzahl der Stunden zwischen erstem Kontakt und Kauf, um die Entscheidungsgeschwindigkeit der Kunden zu modellieren. Im elektronischen Handel könnte man die Warenkorbwertschwankung berechnen, also wie stark die Bestellgröße eines Kunden schwankt, um inkonsistente oder experimentierfreudige Käufer zu identifizieren. Jedes entwickelte Merkmal wird zu einer Linse, die Modellen hilft, subtile Verhaltenssignale zu erkennen, die reine Kennzahlen schlicht übersehen. Man füttert Modelle nicht mit Rohdaten, sondern mit Bedeutung.

Merkmalsgestaltung bei elektronischer Post und im Onlinehandel

Im Bereich der elektronischen Post kann das Öffnungs-zu-Abschluss-Verhältnis gemessen werden, das nicht nur Öffnungen erfasst, sondern echtes Engagement jenseits bloßer Neugier. Die Versandzeitstimmigkeit, also Häufigkeit und Zeitplanung von Interaktionen, weist auf optimale Zustellfenster hin. Ein Untätigkeitszeiger, der die Tage seit der letzten Beteiligung misst, zeigt Reaktivierungspotenzial auf. Im elektronischen Handel kann ein Produktverbundenheitswert erstellt werden, der auf der Häufigkeit von Seitenaufrufen und Wunschlisteneinträgen innerhalb von Kategorien basiert. Die Rabattempfindlichkeit misst, wie sich die Kaufwahrscheinlichkeit bei unterschiedlichen Rabattstufen verändert, und die Besuchsintensität, also die durchschnittliche Anzahl angesehener Seiten pro Besuch, ist hoch bei Planern und niedrig bei Impulskäufern.

Merkmalsgestaltung in sozialen Netzwerken und bei Mietsoftware

In sozialen Netzwerken kann die Beteiligungsgeschwindigkeit gemessen werden, also die Rate, mit der Zustimmungen und Kommentare in den ersten Stunden eingehen. Das Stimmungsverhältnis, also positives gegenüber negativem Feedback über alle Beiträge hinweg, misst die Publikumsstimmung. Der plattformübergreifende Übertrag zeigt, ob Beteiligung auf einer Plattform die Beteiligung auf einer anderen vorhersagt. Bei Mietsoftware oder Abonnements kann die Anmeldeschwundrate gemessen werden, also wie schnell die Nutzeranmeldungen mit der Zeit zurückgehen. Der Funktionsnutzungsmix, also der Anteil der verfügbaren Werkzeuge oder Inhalte, die aktiv genutzt werden, und das Betreuungsanfragenverlängerungsverhältnis, also die Anzahl der Betreuungsanfragen vor der Verlängerung, geben Aufschluss über mögliche Frustration und Abwanderungsrisiken.

Die richtigen Merkmale finden

Das Ziel ist nicht, zahlreiche Variablen zu bauen, sondern die richtigen. Gute Merkmalsgestaltung bringt Sparsamkeit und Aussagekraft in Einklang. Man will Variablen, die Muster erfassen, keinen Ballast. Die besten Merkmale machen das Modell intelligenter und das Unternehmen klüger. Hier liegt eine gewisse Ironie, denn die meisten Modelle scheitern nicht am falschen Algorithmus, sondern an bedeutungsarmen Daten.

Die Bedeutung besserer Beschreiber

Ich habe Analysten erlebt, die tagelang Steuerparameter optimierten, obwohl sie eigentlich nur ein neues Merkmal brauchten, ein Verhältnis, eine Zeitverzögerung oder ein Kundensegmentkennzeichen, das die Modellgenauigkeit über Nacht verwandelte. Das Geheimnis liegt nicht in mehr Daten, sondern in besseren Beschreibern. Gute Merkmalsgestaltung ist Geschichtenerzählen in Zahlenform. So bringt man Modellen bei, wie loyal, interessiert oder gefährdet aussieht. Macht man es richtig, wird das Modell nicht nur Ergebnisse vorhersagen, sondern Kunden verstehen.

Empfehlungen für die Merkmalsgestaltung

Es empfiehlt sich, mit der Geschäftsfrage zu beginnen und Variablen zu entwickeln, die direkt auf strategische Ziele einzahlen. Dabei sollte man zeitliche, verhaltensbezogene und eigenschaftsbezogene Merkmale kombinieren und Aktualität und Häufigkeit mit qualitativen Merkmalen in Einklang bringen. Regelmäßiges Testen und Ausdünnen ist wichtig, denn man sollte die Merkmalwichtigkeit regelmäßig bewerten und redundante oder verrauschte Vorhersagemerkmale entfernen. Die Logik hinter den Merkmalen sollte dokumentiert werden, indem Formeln, Schwellenwerte und Definitionen transparent festgehalten werden. Schließlich sollte man schrittweise arbeiten, denn mit neuen Kampagnen und Verhaltensweisen sollten auch neue Merkmale entstehen.

Kodierung und Skalierung

Nicht alle Daten sprechen dieselbe Sprache. Algorithmen brauchen Zahlen, doch Vermarktungsdaten liegen oft als Kategorien vor, wie Regionen, Kampagnentypen oder Geräteplattformen. Die Kodierung übersetzt diese Kategorien in maschinenlesbare Form, während die Skalierung verhindert, dass einzelne Variablen allein durch ihre Größenordnung dominieren. Die Einheitskodierung wandelt eigenschaftsbezogene Variablen in zweistufige Indikatoren um, während die Etikettenkodierung Kategorien numerische Werte zuweist, wenn die Beziehungen rangbezogen sind. Die Normierung zentriert numerische Variablen um den Nullpunkt für Algorithmen, die empfindlich auf Größenordnungen reagieren, und die Vereinheitlichung skaliert Merkmale auf einen festen Bereich für ein konsistentes Eingabeverhalten.

Die stille Heldentat der Kodierung und Skalierung

Im vorhersagenden Vermarktungsbereich sind Skalierung und Kodierung stille Helden. Sie machen keine Schlagzeilen, aber sie machen Modelle stabil. Ich habe erlebt, wie ganze Vorhersageabläufe zusammenbrachen, weil eine unskalierte Umsatzvariable jedes andere Signal überschattete. Präzision bei der Vorverarbeitung schützt die Genauigkeit im weiteren Verlauf. Kodierung und Skalierung sind wie die Übersetzer und Bühnenarbeiter der Datenanalyse, sie stehen nicht im Rampenlicht, aber ohne sie bricht die Vorstellung zusammen.

Kodierung als strategische Entscheidung

Ein Modell kann nicht verstehen, dass Mobil, Schreibtischrechner und Tablet Kategorien sind und keine algebraischen Größen. Genauso wenig kann es Werbeausgaben in Geldeinheiten mit Beteiligungswerten von null bis eins vergleichen, ohne sie auf dieselbe Skala zu bringen. Ich habe einmal an einem Modell gearbeitet, bei dem die Spalte Kampagnenbudget in sehr großen Einheiten belassen wurde, während alle anderen Variablen vereinheitlicht waren. Der Algorithmus verehrte diese Spalte regelrecht und ignorierte den Rest. Das ist die Gefahr, wenn man die Vorverarbeitung vernachlässigt, denn die lauteste Variable gewinnt, nicht die wichtigste.

Kodierungslogik als Geschäftslogik

Gute Kodierung folgt auch einer Strategie. Sie ist nicht nur eine Datenübung, sondern eine Frage der Vermarktungsinterpretation. Es stellt sich die Frage, ob man Region als eigenschaftsbezogen oder rangbezogen behandeln sollte, und ob der Gerätetyp zweistufig sein sollte oder nach Beteiligungsrate gewichtet. Diese Entscheidungen prägen subtil, wie das Modell Beziehungen wahrnimmt. Die Kodierungslogik, die man heute anwendet, wird zur Geschäftslogik, die das Modell morgen lernt.

Empfehlungen für Kodierung und Skalierung

Es empfiehlt sich, Kodierungen zu wählen, die Bedeutung widerspiegeln, also Einheitskodierung für unabhängige Gruppen und Etikettenkodierung für geordnete. Dabei sollte man die Kardinalität im Blick behalten, denn zu viele Einheitsvariablen können die Dimensionen des Datensatzes explodieren lassen. Die Skalierung sollte immer nach der Kodierung angewendet werden, nicht davor. Zudem ist es wichtig, auf einheitliche Größenordnungen zu achten und sicherzustellen, dass alle numerischen Variablen vergleichbare Größenordnungen aufweisen. Schließlich sollten Transformationen dokumentiert werden, indem Skalierungsparameter wie Mittelwert und Standardabweichung festgehalten werden, um sie konsistent auf neue Daten anwenden zu können.

Die Aufteilung der Daten

Bevor ein Modell lernt, muss es herausgefordert werden. Die Aufteilung der Daten in Übungs-, Prüf- und Überprüfungsdatensätze stellt sicher, dass das Modell Muster nicht nur auswendig lernt, sondern verallgemeinert. In den meisten Vermarktungsanalyseprojekten verwenden wir etwa 70 Prozent der Daten für das Üben, 20 Prozent für Prüfungen und 10 Prozent für die Überprüfung. Der Übungsdatensatz lehrt das Modell Zusammenhänge, der Prüfdatensatz prüft die Leistung an neuen Daten, und der Überprüfungsdatensatz dient der Parameteroptimierung vor dem Einsatz.

Die Gefahr der Überanpassung

Es ist verlockend, jede Datenzeile zu nutzen, um die Genauigkeit zu maximieren, aber das ist eine Falle. Ohne saubere Trennung neigen Modelle zur Überanpassung. Sie funktionieren perfekt mit historischen Daten, versagen aber bei neuen. Wenn ein Modell die Antworten zu gut kennt, schummelt es wahrscheinlich. Die Aufteilung der Daten ist daher kein technisches Detail, sondern eine grundlegende Voraussetzung für verlässliche Vorhersagen.

Das Klassenzimmer als Vergleich

Man kann sich die Datenaufteilung wie ein Klassenzimmer vorstellen. Der Übungsdatensatz entspricht den Hausaufgaben, der Prüfdatensatz der Abschlussprüfung und der Überprüfungsdatensatz einem Übungstest vor der echten Prüfung. Man würde einen Schüler nicht anhand von Fragen bewerten, die er bereits kennt, sondern prüfen, wie gut er das Gelernte auf Neues anwendet. Bei Modellen ist das nicht anders. Ein gut aufgeteilter Datensatz verrät, ob ein Modell wirklich lernt oder nur Rauschen auswendig lernt, das sich als Wissen tarnt.