Lukas Vermeer spricht beim Marketing Festival 2016

JADS @ Booking.com

Philosophen und Teleskope

Auch ohne Unterkünfte muss Booking.com als eines der weltweit größten Reiseunternehmen kaum vorgestellt werden. Durch die effektive Kombination von Data Science mit Kundenorientierung ist Booking.com zum Marktführer geworden. Die Wissenschaft ist im Allgemeinen ein Schlüsselfaktor für ihren Erfolg und wird im Unternehmen hoch geschätzt. Einer der Hauptakteure in diesem wissenschaftlichen Umfeld ist Lukas Vermeer. Lukas hat einen akademischen Hintergrund in Informatik und maschinellem Lernen und ist Senior Data Scientist bei Booking.com und verantwortlich für kontrollierte Experimente. Jasper Lanters und ich haben ihn idyllisch an einem Kanal in Amsterdam in ihrem Hauptquartier interviewt. Er erzählt begeistert von Experimenten bei Booking.com und der Zukunft der Datenwissenschaft: Philosophen und Teleskopbauer.

Zweck und Fallstricke von A / B-Tests

Wie führen Sie als Unternehmen, das Wissenschaft hoch schätzt, Experimente durch?

Wir nutzen Experimente in der Produktentwicklung, um das Kundenerlebnis auf zwei Arten zu verbessern: Zum einen, um zu verhindern, dass sich das Kundenerlebnis unerwartet verschlechtert, und zum anderen, um zu lernen, was Kunden im positiven Sinne wollen. Die Vermeidung von Degradation ist die einfachere Herausforderung. Es gibt bestimmte Kundensegmente, die relativ klein und anfällig sind und die bei der Entwicklung neuer Funktionen für unsere Kunden leicht übersehen werden. Zum Beispiel Länder, in denen von rechts nach links gelesen wird, oder Menschen, die Screenreader-Software verwenden. Es kann sehr gut sein, dass eine neue Funktion auf der Website für diese Gruppen nicht richtig funktioniert. Dies sind typische Randfälle. Wann immer wir eine Änderung einführen, verwenden wir A / B-Tests, um deren Auswirkungen zu ermitteln. Das Auffinden großer negativer Effekte ist einfacher und erfordert kleinere Stichprobengrößen im Vergleich zu geringfügigen Optimierungen des Kundenerlebnisses. Daher verbringe ich den größten Teil meiner Zeit mit letzteren.

„Wenn Probleme effektiv gelöst sind, werden Kunden zu Ihnen kommen und die KPIs steigen. Nicht umgekehrt."

Natürlich verlassen wir uns nicht nur auf kontrollierte Experimente; Wir wenden sowohl quantitative als auch qualitative Methoden an. Booking verfügt über ein eigenes Labor, in dem qualitative Untersuchungen durchgeführt werden. Dort laden wir Menschen zu einem Kaffee ein und bitten sie, eine Unterkunft zu buchen. Wir beobachten, was sie tun, hören ihnen zu, stellen Fragen. Ideen, die wir aus diesen qualitativen Studien erhalten, zum Beispiel Leute, die ein gutes Frühstück zu schätzen wissen, werden zu Funktionen auf unserer Website, die wir dann durch A / B-Tests validieren. Dies ist für uns das zweite Ziel von A / B-Tests: zu überprüfen, ob eine Lösung den Benutzern hilft, ein bestimmtes Problem zu lösen oder nicht. Dieser Validierungs- und Lösungsfokus ist sehr wichtig und wird oft vergessen. Wenn Sie sich Unternehmen ansehen, die viele A / B-Tests durchführen, besteht die ständige Gefahr darin, dass sie versuchen, den KPI zu optimieren, anstatt die tatsächlichen Probleme für die Benutzer zu lösen. Meiner Ansicht nach besteht das Ziel der A / B-Tests darin, zu überprüfen, ob ein hypothetisches Problem effektiv gelöst ist. Und das ist es! Wenn Probleme effektiv gelöst werden, kommen Kunden zu Ihnen und die KPIs steigen. Nicht umgekehrt.

Wie verhält sich Data Science dazu?

Es hilft zu verstehen, was die Leute wollen, und Funktionen zu erstellen und Empfehlungen zu finden, die ihnen helfen, das zu finden, was sie brauchen. Viele Menschen wissen nicht genau, wonach sie suchen. Booking.com bietet mehr Unterkunftsmöglichkeiten als jedes andere Unternehmen. Theoretisch sollte also für jeden etwas dabei sein. Die Herausforderung besteht darin, den Menschen zu helfen, jedes Mal den richtigen Ort für sie zu finden.

Wenn es um Empfehlungen geht, empfehlen wir manchmal Optionen, die für die genaue Benutzerabfrage irrelevant erscheinen, z. B. alternative Daten für eine bestimmte Unterkunft. Menschen, die nicht wissen, was sie wollen, sollte ein Erkundungsfenster geboten werden, damit sie die Möglichkeit haben, ihre Suche zu erweitern und nicht zu sehr einzugrenzen.

Darüber hinaus sind einige Menschen flexibel, andere nicht. Data Science kann auch dabei helfen, vorherzusagen, welche Personen flexibel sind und welche nicht. Können wir vorhersagen, welche Daten interessant sind? Für welche Leute? Dies ist sehr wichtig, da das Ärgerlichste bei der Suche nach einer bestimmten Woche ein Rabatt von 50% für die folgende Woche ist.

Welche Art von Daten verwenden Sie als Modelleingabe?

Wir haben kaum Benutzerprofildaten zur Verfügung, was meiner Meinung nach eine der großen Fehleinschätzungen ist. Wenn Sie auf unserer Website landen, erhalten wir nur Ihren Cookie, Ihre IP-Adresse und wir wissen, welchen Browser Sie verwenden. Das ist alles. Wir wissen jedoch, was Sie tun. Das ist einer der Gründe, warum wir Ihnen gerade am Anfang so viele irrelevante Dinge zeigen müssen. Wenn wir nichts über einen Kunden wissen, sollten wir davon ausgehen, dass er zu allen Profilen passt. Wir zeigen Signale unterschiedlicher Art und interpretieren ihre Reaktionen. Dies ist sehr herausfordernd, da es sehr schwierig ist, die Grundwahrheit zu erhalten. Ist dieser Kunde wirklich flexibel? Oder reagiert er nur zufällig? Alles hängt viel vom unbeaufsichtigten Lernen ab.

"Wir haben kaum Benutzerprofildaten zur Verfügung, was meiner Meinung nach eine der großen Fehleinschätzungen ist."

Leben bei Booking.com

Und jetzt zu etwas ganz anderem: Reisen Sie viel selbst?

Früher hatte ich Kinder, haha! Jetzt habe ich drei kleine Mädchen und es ist viel schwieriger, die Welt zu erkunden. Das Schöne an Booking.com ist, dass wir hier im Büro mehr als 100 Nationalitäten haben, so dass ich immer noch Leute aus der ganzen Welt treffe, ohne selbst reisen zu müssen! Diese kulturelle Vielfalt ist uns sehr wichtig. Für ein Reiseunternehmen, das Menschen aus aller Welt bedient, ist es wichtig, unser Produkt aus möglichst vielen Perspektiven zu verstehen. Vielfalt gibt uns Kraft.

Wie sieht Ihre Organisation aus?

Booking.com ist ein bisschen anders organisiert als die meisten anderen Unternehmen, und das war anfangs einer der Gründe, warum ich für Booking.com arbeiten wollte. In meinen Beratungsjahren habe ich viele Unternehmen mit völlig isolierten Abteilungen gesehen, die nach internen Verantwortlichkeiten gegliedert waren: IT, Marketing, Vertrieb usw. Hier sind die Abteilungen stattdessen nach Kundenerfahrungen und Produkten gegliedert. Wir arbeiten mit multidisziplinären Teams zusammen, die für einen bestimmten Teil unseres Produkts verantwortlich und so befugt und unabhängig wie möglich sind. Beispielsweise könnte ein Team von 8 Mitarbeitern, darunter Entwickler, Designer, Texter und Produktbesitzer, für ein Tool verantwortlich sein, mit dem Benutzer ihre Reservierungen verwalten können. Sie recherchieren selbst, bauen ihre eigenen Funktionen auf und treffen ihre eigenen Entscheidungen über ihr Produkt, ohne dass die Führung stark eingreift.

Wie wird Wissen im gesamten Unternehmen geteilt?

Obwohl wir interne soziale Netzwerke haben, ist der beste Weg, Wissen zu teilen, sich persönlich zu treffen, eine Tasse Kaffee zu trinken und über Dinge zu reden. Weil die Menschen fast immer in der Nähe der Menschen sind, die sie brauchen, kann die Kommunikation organisch fließen. Wir wechseln auch die Mitarbeiter und die Teams, um den Bedürfnissen der Benutzer gerecht zu werden. Dadurch lernen die Mitarbeiter sehr schnell viele Kollegen und verschiedene Bereiche unserer Organisation kennen.

Wenn Sie auch gerne Kaffee trinken und eine intimere Sicht auf das Leben bei Booking.com wünschen, schauen Sie doch mal vorbei!

Philosophen, Teleskope und die Zukunft der Datenwissenschaft

Wie verändert sich Data Science in Zukunft?

Ich denke, und das ist wahrscheinlich nicht das, was die Leute hören wollen, dass der prestigeträchtige Teil der Analytik; Modellierung, Implementierung neuronaler Netze, logistische Regression oder was auch immer Sie haben, ist am einfachsten zu automatisieren und wird daher zuerst automatisiert. Die Ebenen direkt vor der Black Box sind schwerer zu automatisieren, daher sind Dinge wie Datenerfassung, Feature-Engineering, Ausgabemodellierung, Entscheidungsfindung und kausale Inferenz die Fähigkeiten, die entscheidend bleiben. Jedes Modell kann nur so gut sein wie alles, was Sie in es setzen und wie es Ihnen etwas zurückgibt. Ich bezeichne Leute, die an diesen äußeren Schichten arbeiten, oft als "Philosophen" und "Teleskopbauer". Philosophen denken über das gesamte System und die Welt nach, in der es arbeitet, während sich die Teleskopbauer auf die technischeren Aspekte konzentrieren, um die Welt um sie herum genau zu messen. Letztendlich denke ich, dass diese Jobs bleiben werden.

„Ich denke, dass der prestigeträchtige Teil der Analytik; Das Modellieren, Implementieren neuronaler Netze oder was auch immer ist am einfachsten zu automatisieren und wird daher zuerst automatisiert. “

Bist du ein Philosoph oder ein Teleskopbauer?

Ich denke, ich bin beides, aber ich philosophiere am liebsten. Nachdenken über Konzepte; das System. Ich habe tatsächlich angefangen, Informatik zu studieren, weil ich gut in Biologie war. Bei der Abiturprüfung stellte sich folgende Frage: Ein Patient hat Proteine ​​im Urin, was könnte falsch sein? Ich habe es geliebt, diese Art von Problemen zu lösen, und ich denke, das ist dem Debuggen von Code sehr ähnlich. Die Software gibt einen Fehler aus, was hat ihn verursacht? Es gibt dieses riesige komplexe System wie einen menschlichen Körper, in dem viele Teile miteinander kommunizieren und wir auf die eine oder andere Weise nicht die gewünschte Leistung erzielen. Das Lösen dieser Rätsel ist das, was ich wirklich liebe.

Im folgenden anregenden Vortrag geht Lukas auf diese beiden Phänomene ein: Sauerkraut und vieles mehr.

Studium der Data Science, Himbeeren und Katzen

Worauf sollten sich Ihrer Meinung nach datenwissenschaftliche Studien konzentrieren?

Eigentlich habe ich es schon gesagt: Über die Erziehung von Philosophen und Teleskopbauern. Von außen sehe ich, dass der Fokus häufig auf der Anwendung bestimmter Modelle oder Technologien, der Zahlenberechnung, der Vorhersage, Hadoop usw. liegt. Ich würde mir wünschen, dass die Bewertung der Zuverlässigkeit von Messungen und Schlussfolgerungen an erster Stelle steht. Fragen stellen wie: Wie kann ich meine Funktionen so konfigurieren, dass sie die perfekte Eingabe für die Maschine sind? Wie kann ich die Ausgabe verwenden, um die besten Entscheidungen zu treffen? Was sind die internen und externen Bedrohungen für die Gültigkeit? Konzentrieren Sie sich nicht nur auf die Analyse selbst, sondern auch auf das Vorher und Nachher. In der Datenwissenschaft geht es nicht nur um die Analyse oder das Modell, sondern auch sehr viel um den Kontext, in dem sie verwendet werden.

Die Katze

Das kannst du selbst üben! Kaufen Sie einfach einen Raspberry Pi, ein USB-Thermometer und messen Sie die Temperatur in Ihrem Haus. Schreiben Sie ein kleines Skript, das jede Minute eine Messung aufzeichnet, und Sie werden bald einen Datensatz haben. Angenommen, Sie möchten die Temperatur in Ihrem Haus anhand der Außentemperatur mithilfe eines einfachen Vorhersagemodells vorhersagen. Können Sie Wege finden, auf denen dies schief gehen kann? Was sind die Bedrohungen für das Modell und die Daten, die Sie verwenden? Es kann zu einem Stromausfall kommen, Ihre Katze saß auf dem Thermometer, Ihre Schwiegermutter kam vorbei und erhöhte die Heizung. Viele unerwartete Dinge können passieren. Eine einfache Herausforderung wie diese kann Ihnen dabei helfen, mögliche Fehler in Ihren Daten vorauszusehen und zu erfahren, wie Sie es schaffen können, immer noch genaue Vorhersagen zu treffen, oder zumindest zu wissen, wann Sie dies nicht können.

Ich denke, wenn Sie ein Problem wie dieses angehen, ist der am wenigsten interessante Teil, welches spezifische Modell Sie für die Vorhersage verwenden werden. Ob es sich um ein neuronales Netzwerk, eine lineare Regression oder was auch immer handelt. Das ist der einfachste Teil! Der schwierige Teil ist: Meine Katze hat auf dem Thermometer gesessen und ich weiß nicht genau wann! Wie kann ich meine Daten bereinigen, damit sie für genaue Vorhersagen geeignet sind? Vielleicht findest du sogar ein Muster und es stellt sich heraus, dass die Katze jeden Morgen um 7 Uhr morgens dort sitzt. Dann kannst du deine Katze in das Modell aufnehmen, haha! Aber keine Witze, Leute, darum geht es bei Data Science. Dies sind schließlich Probleme, mit denen Sie auch in der realen Welt konfrontiert sein werden.

„Was Sie brauchen, ist ein Datenwissenschaftler, der in der Lage ist, die Gesundheit zu überprüfen. Jemand, der Daten von 2024 sieht und denkt: "Aber es ist noch nicht 2024!"

Die Katze ist natürlich ein albernes Beispiel, aber es gibt viele Ähnlichkeiten mit den Dingen, mit denen wir in der Praxis zu kämpfen haben. Kennen Sie diese Handyspiele, bei denen ein Spieler einen weiteren Tag warten soll, um mehr Münzen zu erhalten? Weißt du, was die Leute oft machen? Sie setzen ihr Telefondatum einfach einen Tag vor, denn dann müssen sie nicht einen ganzen Tag warten! Und sie machen es immer wieder. Und dann öffnen sie die Buchungs-App. Wenn wir die Daten abrufen, heißt es in der App: Glückwunsch, diese Person hat morgen auf Ihren Link geklickt. Nun, wie genau wird mein Modell wohl sein, wenn ich diese Daten verwende? Selbst die intelligentesten Modelle werden so etwas nicht finden! Was Sie brauchen, ist ein Datenwissenschaftler, der in der Lage ist, die Gesundheit zu überprüfen. Jemand, der nicht weiß, wie man ein Modell herstellt, ohne vorher die Daten zu überprüfen. Jemand, der Daten von 2024 sieht und denkt: "Aber es ist noch nicht 2024!" Diese Leute sind die Leute, die wir brauchen.

Nachdem Jasper und ich zum Mittagessen eingeladen worden waren und über Lukas 'vorherigen Ehrgeiz diskutiert hatten, die gesamten IMDb-Top 250 zu sehen, blieben wir im Zweifel, obwohl wir begeistert waren. Während ich mein Telefon etwas beschämt auf das aktuelle Datum zurücksetzte, fragten wir uns, ob wir Philosophen oder Teleskopbauer sein wollten. Obwohl ich meine Natur kenne, kann es durchaus wertvolle Kombinationen zwischen den beiden Profilen geben. Einer von ihnen ist sicher Lukas Vermeer.