Das LinkedIn-Feed-KI-Team gibt einen interessanten Einblick in die Bewertungskriterien des LinkedIn News Feed Algorithmus. Spannend einerseits, welche Tests gemacht wurden und spannend andererseits, wie die Verweildauer eine wesentlich höhere Gewichtung erhält, als beispielsweise die reine Interaktion.
Der LinkedIn-Feed ist der Eckpfeiler der Erfahrung der Mitglieder. Hier stellen die LinkedIn-Mitglieder Ideen, Karrierenachrichten, Fragen und Stellenangebote in einer Reihe von Formaten ein. Darunter zählen kurze Texte, Artikel in Langform, Bilder und Videos. Die Aufgabe des LinkedIn Feed-KI-Teams besteht darin, den LinkedIn-Mitgliedern zu helfen, die wichtigsten Gespräche und Inhalte in ihrem Feed zu entdecken, um produktiver und erfolgreicher zu sein. In diesem Beitrag werden Erkenntnisse des LinkedIn-Feed-KI Teams dargestellt. Das Verständnis der Zeit, welches die Mitglieder für die Verteilung des Feeds aufgewendet haben, hat LinkedIn geholfen, die Algorithmen zu verbessern, mit welchen die Inhalte sortiert werden.
Für die Erklärung des LinkedIn Feed Rankings verwenden wir ein Beispiel: Wenn das Mitglied Alice LinkedIn besucht, gibt es Zehntausende von Beitragskandidaten oder Aktualisierungen, die möglicherweise im Feed von Alice auftauchen könnten. Eine erste Ebene zur Generierung der Beitragskandidaten wendet einen effizienten und leichtgewichtigen Ranking-Algorithmus an, um die besten Aktualisierungen zu identifizieren, die ihr angezeigt werden könnten. Aber wie wird unter diesen Spitzenkandidaten die Rangfolge fein abgestimmt, um die endgültige Reihenfolge zu bestimmen? Wenn Alices Verbindungsperson Bob kürzlich einen interessanten Artikel veröffentlicht hat, was bestimmt, wo Bobs Beitrag in Alices Feed erscheint?
Es wird mit der Annahme begonnen, dass Alice, wenn sie Bobs Beitrag sehen und für relevant halten würde, auf ihn klickt, um sich mit dem Inhalt, dem Autor oder dem Gespräch zu befassen. Konkret kann sie reagieren (“Gefällt mir”, “Feiern” usw.), kommentieren oder den Beitrag erneut teilen. Diese drei Optionen bezeichnet LinkedIn als “virale Aktionen”, weil sie abwärts- und/oder aufwärtsgerichtete Netzwerkeffekte haben können. Zum Beispiel wird bei einer erneuten Verbreitung der Artikel stromabwärts propagiert, da die Verbindungen (d.h. Follower) von Alice den Artikel in ihrem Feed sehen. Andererseits wird ein Kommentar von Alice einen Upstream-Effekt haben, da er dem Verfasser (Bob) wertvolles Feedback liefert, welches ihn ermutigen kann, öfters zu posten. Daher muss LinkedIn bei jedem Kandidaten-Update sowohl Alices Wahrscheinlichkeit eines Engagements, als auch die sich daraus ergebenden potenziellen Auswirkungen auf ihr Netzwerk in Down- und Upstream-Richtung berücksichtigen.
Um dies zu erreichen, trainiert LinkedIn die maschinellen Lernmodelle so, dass sie für jeden möglichen Klick und jede mögliche virale Aktion (Klicken, Reagieren, Kommentieren, Teilen) mehrere Grössen vorhersagen können:
Die Ergebnisse dieser Modelle werden dann, unter Verwendung einer gewichteten Linearkombination, zu einer einzigen Punktzahl synthetisiert, wobei die Gewichte so abgestimmt werden, dass sichergestellt ist, dass alle drei Komponenten angemessen ausgewogen sind, um ein gesundes Feed-Ökosystem zu erhalten. Schliesslich wird diese Bewertung dazu verwendet, eine punktweise Einstufung aller Aktualisierungen der Kandidaten vorzunehmen.
Die ML-Modelle, die oben zur Generierung des Endergebnisses für jede Aktualisierung verwendet werden, werden bei jedem Feed-Aufruf durchgeführt und konzentrieren sich in erster Linie auf die Vorhersage klick- und viralbezogenen Grössen. Dieser Ansatz hat mehrere Unzulänglichkeiten:
Um einige dieser Unzulänglichkeiten auszugleichen, hat LinkedIn die aggregierte Verweildauer pro Update untersucht, um zu sehen, ob sie helfen könnte, die Rangfolge der Feeds zu verbessern. Auf einer hohen Ebene erzeugt jede Aktualisierung, die auf dem Feed angezeigt wird, zwei Arten von Verweildauer. Erstens gibt es eine Verweildauer “auf dem Feed”, die gemessen wird, wenn mindestens die Hälfte einer Feed-Aktualisierung sichtbar ist, während ein Mitglied durch seinen Feed scrollt. Zweitens gibt es eine Verweildauer “nach dem Klicken”, d.h. die Zeit, die nach dem Klicken auf eine Aktualisierung im Feed mit dem Inhalt verbracht wird.
Abgesehen von einigen wenigen bemerkenswerten Ausnahmen, geht LinkedIn davon aus, dass die Mitglieder ihre Zeit sinnvoll einsetzen und sie angemessen für Feed-Inhalte aufwenden werden, die sie interessieren. Mit dieser Annahme im Hinterkopf hat die Verweildauer folgende Vorteile, gegenüber der alleinigen Betrachtung von Klick- und viralen Aktionen:
| Klick / Virale Aktion | Verweildauer |
| Nicht immer messbar | immer messbar |
| Binärer Indikator für Engagement | Reales Mass für das Engagement |
| Rauschender Indikator für Engagement | Kann ein zuverlässigerer Indikator für Engagement sein |
| Positive Signale sind eher spärlich | Kein Signal-Mangel |
Angesichts dieser Vorteile untersuchte LinkedIn mehrere verschiedene Methoden, um die Verweildauer in dieser Modellierung einzubeziehen. Im Folgenden tauchen wir tief in ein Beispiel ein, bei dem die Analyse der Verweilzeitdaten LinkedIn dazu veranlasst hat, ein neues maschinelles Lernmodell hinzuzufügen, das erhebliche Verbesserungen beim Feed-Ranking brachte.
LinkedIn analysiert die Verweildauer der Mitglieder auf dem Feed, indem die empirischen CDFs (kumulative Verteilungsfunktionen) der Verweildauer pro Update während des mobilen Einsatzes berechnet werden. Wie erwartet, konnte beobachtet werden, dass die Mitglieder dazu neigen, mehr Zeit damit zu verbringen, die Aktualisierungen anzusehen, für die sie sich zu einer viralen Aktion entschliessen.
Empirische CDFs der Verweildauer pro Update auf dem LinkedIn-Feed (mobile Anwendung) (Quelle: LinkedIn)
LinkedIn konnte auch eine Kategorie von Aktualisierungen beobachten, die von den Mitgliedern für kurze Zeit angesehen werden, ohne dass sie darauf klicken oder eine virale Aktion durchführen (wie durch die grüne Kurve in der obigen Grafik dargestellt). In gewisser Weise ist dies nicht besonders überraschend, da es die typische Art und Weise widerspiegelt, in der Feed-Inhalte auf den Mobilgeräten konsumiert werden – bei jeder Aktualisierung, die wir sehen, treffen wir oft eine schnelle (manchmal unbewusste) Entscheidung darüber, ob wir an den Inhalten interessiert sind. In einigen Fällen entscheiden wir uns, keine zusätzliche Zeit mit der Anzeige eines Updates zu verbringen und überspringen es, um weiter zu scrollen.
Um den Begriff des “übersprungenen Updates” zu konkretisieren, suchte LinkedIn nach einem Schwellenwert (Tskip), der es erlaubt, Updates, die weniger als Tskip-Sekunden angesehen werden, als vom Mitglied “übersprungen” einzustufen.
Insbesondere wollte LinkedIn P(klick/virale Aktion auf Update | Verweildauer = T) schätzen und untersuchen, ob es einen natürlichen Schwellenwert Tskip gibt, unterhalb dessen diese Wahrscheinlichkeit nahe 0 liegt. Obwohl diese Wahrscheinlichkeit für eine bestimmte Verweildauer = T schwer genau zu schätzen ist, approximierte LinkedIn sie innerhalb bestimmter Zeitintervalle unter Verwendung des Bayes’schen Theorems und den empirischen CDFs:
dwell-Formel (Quelle: LinkedIn)
Wobei F(T) = P(Verweilzeit < T). LinkedIn hat dabei festgestellt, dass es einen solchen natürlichen Schwellenwert Tskip gibt, was darauf hindeutet, dass Aktualisierungen, die für weniger als diese Zeitspanne angesehen werden, nicht besonders ansprechend sind und von den Mitgliedern schnell “übersprungen” werden.
dwell Time T (normalisierte Einheiten) (Quelle: LinkedIn)
Der Schwellenwert Tskip für die Einstufung einer Aktualisierung als “übersprungen” wird als Wert T übergeben, wobei die blaue Kurve P(Aktion bei Aktualisierung | Verweilzeit = T) beginnt, ungleich Null zu werden. Interessanterweise konnte LinkedIn feststellen, dass der Wert von Tskip eine gute Wahl als Schwellenwert für alle heterogenen Arten von Feed-Updates (Textbeiträge, Bilder, Videos usw.) war. Mit anderen Worten: Auch wenn die Mitglieder, wenn sie mehr Zeit mit der Betrachtung verschiedener Arten von Aktualisierungen verbringen, ein unterschiedliches Mass an Engagement an den Tag legen. So scheint es, dass sie in der Lage sind, unabhängig von der Aktualisierungsart innerhalb von Tskip-Sekunden eine Entscheidung “überspringen oder nicht” zu treffen.
Tskip-Grafik (Quelle: Linkedin)
Eine einzige Wahl des Schwellenwerts Tskip funktioniert gut für alle heterogenen Aktualisierungstypen.
Basierend auf den wertvollen Erkenntnissen, die LinkedIn aus dem Verweilzeitverhalten der Mitglieder gewonnen hat, wurde ein neues “P(skip)”-Ziel in die Feed-Wert-Funktion aufgenommen, das die Wahrscheinlichkeit vorhersagt, dass das Mitglied eine Aktualisierung “überspringt”:
P(skip) = P(Verweilzeit des Mitglieds bei dieser Aktualisierung < Tskip secs)
Ähnlich wie die bestehenden Modelle zur Vorhersage von Klick- und Viralaktionen, ist das P(skip)-Modell ein logistisches Regressionsmodell, das sowohl rohe Merkmale als auch “Interaktions”-Merkmale verwendet, die durch das Training eines verstärkten Entscheidungsbaummodells automatisch gelernt werden.
Zu den vom Modell verwendeten Merkmalen auf hoher Ebene gehören:
Da LinkedIn ein Mitglied, das eine Aktualisierung überspringt, als negatives Ergebnis betrachtet, wurde das neue Modell in die endgültige Rangfunktion aufgenommen, indem die Bewertung aller Aktualisierungen um einen Betrag proportional zum vorhergesagten P(skip)-Wert reduziert wurde.
LinkedIn hat auch geprüft, ob Verweildauersignale der Mitglieder als Merkmale in die Modellierungspipeline aufgenommen werden können. Durch zahlreiche Experimente stellte LinkedIn fest, dass eine Kombination von Funktionen zur Aktualisierung der Mitglieder (die Schätzung das Interesse eines Mitglieds an Inhalten eines bestimmten Typs auf der Grundlage der Anzahl der nicht übersprungenen Aktualisierungen), zusammen mit Funktionen auf der Aktualisierungsseite (die Schätzung die Popularität der Aktualisierung durch eine ähnliche Anzahl nicht übersprungener Aktualisierungen), die meisten Offline-Metriken des P(skip)-Modells lieferte, wodurch die Fläche unter der ROC-Kurve des Modells über mehrere Trainings hinweg kontinuierlich um bis zu 10% vergrössert wurde.
Um die Auswirkungen des neuen P(skip)-Modells und seiner Funktionen zu messen, führte LinkedIn mehrere Online-A/B-Experimente an einem kleinen Prozentsatz der LinkedIn-Mitglieder durch. Insgesamt fand das LinkedIn-Feed-KI-Team die Ergebnisse sehr positiv. Sie stellten einen starken Rückgang der übersprungenen Aktualisierungen fest und beobachteten, dass die Mitglieder viel mehr mit ihren Feed-Aktualisierungen durch Klicks und virale Aktionen interagierten. Darüber hinaus verbrachten die Mitglieder merklich mehr Zeit damit, sich mit dem Feed zu beschäftigen, was weitgehend auf das Hinzufügen der oben erwähnten verweilzeitbasierten Funktionen zurückzuführen ist.
Diese signifikanten metrischen Gewinne deuten darauf hin, dass die Einführung des P(skip)-Modells und der verweilzeitbasierten Funktionen zu einer signifikanten Verbesserung der Qualität der im Feed angezeigten Inhalte und folglich zu einer besseren Feed-Erfahrung für die LinkedIn-Mitglieder geführt hat. Auf der Grundlage der Ergebnisse der A/B-Experimente und anderer positiver Indikatoren hat LinkedIn das neue Ranking-Modell allen Mitgliedern zur Verfügung gestellt.
Wie das obige Beispiel zeigt, führte die Analyse der Verweildauer der Mitglieder zu nützlichen Erkenntnissen, die es ermöglichten, die Platzierung im LinkedIn-Feed direkt zu verbessern. Die in diesem Beitrag beschriebene Arbeit ist jedoch nur eine Komponente einer umfassenderen Strategie zur Einbeziehung der Verweildauer in die KI-Modellierung von LinkedIn.
LinkedIn gewährt einen Überblick über einige anderen Bemühungen in diesem Bereich:
Während das LinkedIn-Feed-KI-Team diese Bereiche untersucht, bleibt dem Team aber bewusst, dass sie die Verweildauer der Mitglieder für den Feed nicht blind erhöhen wollen. Sie sind der festen Überzeugung, dass gut verbrachte Zeit besser ist als mehr verbrachte Zeit. Insgesamt wird LinkedIn auch weiterhin daran arbeiten, die Verweildauer der Mitglieder zu verstehen und die Erkenntnisse einfliessen zu lassen, um die alltäglichen Erfahrungen der LinkedIn-Mitglieder mit dem Feed zu verbessern.
Das LinkedIn-Feed-KI-Team gibt tiefe Einblicke über den Aufbau des Feed Algorithmus. Ähnliche Erkenntnisse hat auch Facebook bei der Bewertungen des News Feed Algorithmus gewonnen und entsprechend den Algorithmus darauf ausgerichtet. Verweildauer ist ein deutlicher Indikator für die Akzeptanz von Inhalten. Die reine Interaktion mit Beiträgen ist zwar ein Indiz für Interesse, trotzdem kommen die alten 90-9-1 Regeln von Social Media auch hier immer wieder zur Anwendung. Während Interaktionen zwar ein Interesse zeigen, können Interaktionen auch gezielt provoziert werden, was wiederum bedeutet, dass Interaktionen kein deutliches Signal für wirklich wertvolle Inhalte bietet.
Ein kürzlich auf LinkedIn durchgeführtes Experiment von Thomas Hutter zeigt deutlich, dass “alte” Mechaniken aus Social Media auch heute noch nach wie vor sehr gut funktionieren.
Autor: Belinda Weibel | 53 Posts
Belinda Weibel war bis November 2022 Consultant Digital Marketing bei der Hutter Consult AG.
Comments are closed.
Vielen Dank für diese hilfreiche Übersetzung!