19.05.2020 LinkedIn

LinkedIn: Ein Blick in den LinkedIn-Feed Algorithmus und wie der Faktor Verweildauer “dwell time” das Feed-Ranking verbesserte

Das LinkedIn-Feed-KI-Team gibt einen interessanten Einblick in die Bewertungskriterien des LinkedIn News Feed Algorithmus. Spannend einerseits, welche Tests gemacht wurden und spannend andererseits, wie die Verweildauer eine wesentlich höhere Gewichtung erhält, als beispielsweise die reine Interaktion.

Belinda Weibel
11 Min. Lesezeit
1 Kommentar

Der LinkedIn-Feed ist der Eckpfeiler der Erfahrung der Mitglieder. Hier stellen die LinkedIn-Mitglieder Ideen, Karrierenachrichten, Fragen und Stellenangebote in einer Reihe von Formaten ein. Darunter zählen kurze Texte, Artikel in Langform, Bilder und Videos. Die Aufgabe des LinkedIn Feed-KI-Teams besteht darin, den LinkedIn-Mitgliedern zu helfen, die wichtigsten Gespräche und Inhalte in ihrem Feed zu entdecken, um produktiver und erfolgreicher zu sein. In diesem Beitrag werden Erkenntnisse des LinkedIn-Feed-KI Teams dargestellt. Das Verständnis der Zeit, welches die Mitglieder für die Verteilung des Feeds aufgewendet haben, hat LinkedIn geholfen, die Algorithmen zu verbessern, mit welchen die Inhalte sortiert werden.

Überblick über das LinkedIn-Feed-Ranking

Für die Erklärung des LinkedIn Feed Rankings verwenden wir ein Beispiel: Wenn das Mitglied Alice LinkedIn besucht, gibt es Zehntausende von Beitragskandidaten oder Aktualisierungen, die möglicherweise im Feed von Alice auftauchen könnten. Eine erste Ebene zur Generierung der Beitragskandidaten wendet einen effizienten und leichtgewichtigen Ranking-Algorithmus an, um die besten Aktualisierungen zu identifizieren, die ihr angezeigt werden könnten. Aber wie wird unter diesen Spitzenkandidaten die Rangfolge fein abgestimmt, um die endgültige Reihenfolge zu bestimmen? Wenn Alices Verbindungsperson Bob kürzlich einen interessanten Artikel veröffentlicht hat, was bestimmt, wo Bobs Beitrag in Alices Feed erscheint?

Es wird mit der Annahme begonnen, dass Alice, wenn sie Bobs Beitrag sehen und für relevant halten würde, auf ihn klickt, um sich mit dem Inhalt, dem Autor oder dem Gespräch zu befassen. Konkret kann sie reagieren (“Gefällt mir”, “Feiern” usw.), kommentieren oder den Beitrag erneut teilen. Diese drei Optionen bezeichnet LinkedIn als “virale Aktionen”, weil sie abwärts- und/oder aufwärtsgerichtete Netzwerkeffekte haben können. Zum Beispiel wird bei einer erneuten Verbreitung der Artikel stromabwärts propagiert, da die Verbindungen (d.h. Follower) von Alice den Artikel in ihrem Feed sehen. Andererseits wird ein Kommentar von Alice einen Upstream-Effekt haben, da er dem Verfasser (Bob) wertvolles Feedback liefert, welches ihn ermutigen kann, öfters zu posten. Daher muss LinkedIn bei jedem Kandidaten-Update sowohl Alices Wahrscheinlichkeit eines Engagements, als auch die sich daraus ergebenden potenziellen Auswirkungen auf ihr Netzwerk in Down- und Upstream-Richtung berücksichtigen.

Um dies zu erreichen, trainiert LinkedIn die maschinellen Lernmodelle so, dass sie für jeden möglichen Klick und jede mögliche virale Aktion (Klicken, Reagieren, Kommentieren, Teilen) mehrere Grössen vorhersagen können:

  • P(Aktion) = Wahrscheinlichkeit, dass Alice diese Aktion bei der Aktualisierung durchführt.
  • E[Downstream-Klicks/Viral | Aktion] = Erwartete Downstream-Klicks/Viral, wenn Alice diese Aktion ausführt.
  • E[Upstream-Wert | Aktion] = Erwarteter Upstream-Wert für Bob, wenn Alice diese Aktion durchführt.

Die Ergebnisse dieser Modelle werden dann, unter Verwendung einer gewichteten Linearkombination, zu einer einzigen Punktzahl synthetisiert, wobei die Gewichte so abgestimmt werden, dass sichergestellt ist, dass alle drei Komponenten angemessen ausgewogen sind, um ein gesundes Feed-Ökosystem zu erhalten. Schliesslich wird diese Bewertung dazu verwendet, eine punktweise Einstufung aller Aktualisierungen der Kandidaten vorzunehmen.

Warum die Verweildauer “dwell time” wichtig ist

Die ML-Modelle, die oben zur Generierung des Endergebnisses für jede Aktualisierung verwendet werden, werden bei jedem Feed-Aufruf durchgeführt und konzentrieren sich in erster Linie auf die Vorhersage klick- und viralbezogenen Grössen. Dieser Ansatz hat mehrere Unzulänglichkeiten:

  1. Klick- und virale Aktionen können selten sein, insbesondere für passive Konsumenten des Feeds. Auch wenn diese Mitglieder den Feed häufig besuchen und in den Updates, die sie sehen, einen wertvollen Beitrag finden, schrecken sie möglicherweise vor Klick- und Viral-Aktionen zurück.
  2. Klick- und Viral-Aktionen sind in erster Linie binäre Indikatoren für Engagement – entweder die Aktion wird ausgeführt oder nicht. Bei Aktionen, die sich auf das Teilen von Inhalten beziehen, kann der Text, der mit einem Kommentar oder einer erneuten Weitergabe (falls verfügbar) verbunden ist, ein reichhaltigeres Signal liefern. Auch wenn dieses Signal schwieriger zu interpretieren sein kann.
  3. Klicks sind rauschende Indikatoren für Engagement. Beispielsweise kann ein Mitglied auf einen Artikel klicken, diesen aber schnell schliessen, da es erkennt, dass er nicht relevant ist, und innerhalb weniger Sekunden zum Feed zurückkehrt. LinkedIn nennt dies “Click-Bounces”.

Um einige dieser Unzulänglichkeiten auszugleichen, hat LinkedIn die aggregierte Verweildauer pro Update untersucht, um zu sehen, ob sie helfen könnte, die Rangfolge der Feeds zu verbessern. Auf einer hohen Ebene erzeugt jede Aktualisierung, die auf dem Feed angezeigt wird, zwei Arten von Verweildauer. Erstens gibt es eine Verweildauer “auf dem Feed”, die gemessen wird, wenn mindestens die Hälfte einer Feed-Aktualisierung sichtbar ist, während ein Mitglied durch seinen Feed scrollt. Zweitens gibt es eine Verweildauer “nach dem Klicken”, d.h. die Zeit, die nach dem Klicken auf eine Aktualisierung im Feed mit dem Inhalt verbracht wird.

Abgesehen von einigen wenigen bemerkenswerten Ausnahmen, geht LinkedIn davon aus, dass die Mitglieder ihre Zeit sinnvoll einsetzen und sie angemessen für Feed-Inhalte aufwenden werden, die sie interessieren. Mit dieser Annahme im Hinterkopf hat die Verweildauer folgende Vorteile, gegenüber der alleinigen Betrachtung von Klick- und viralen Aktionen:

 

Klick / Virale Aktion Verweildauer
Nicht immer messbar immer messbar
Binärer Indikator für Engagement Reales Mass für das Engagement
Rauschender Indikator für Engagement Kann ein zuverlässigerer Indikator für Engagement sein
Positive Signale sind eher spärlich Kein Signal-Mangel

 

Angesichts dieser Vorteile untersuchte LinkedIn mehrere verschiedene Methoden, um die Verweildauer in dieser Modellierung einzubeziehen. Im Folgenden tauchen wir tief in ein Beispiel ein, bei dem die Analyse der Verweilzeitdaten LinkedIn dazu veranlasst hat, ein neues maschinelles Lernmodell hinzuzufügen, das erhebliche Verbesserungen beim Feed-Ranking brachte.

Deep Dive: Definition eines neuen Konzepts der “übersprungenen Aktualisierungen”

LinkedIn analysiert die Verweildauer der Mitglieder auf dem Feed, indem die empirischen CDFs (kumulative Verteilungsfunktionen) der Verweildauer pro Update während des mobilen Einsatzes berechnet werden. Wie erwartet, konnte beobachtet werden, dass die Mitglieder dazu neigen, mehr Zeit damit zu verbringen, die Aktualisierungen anzusehen, für die sie sich zu einer viralen Aktion entschliessen.

Empirische CDFs der Verweildauer pro Update auf dem LinkedIn-Feed (mobile Anwendung)

Empirische CDFs der Verweildauer pro Update auf dem LinkedIn-Feed (mobile Anwendung) (Quelle: LinkedIn)

LinkedIn konnte auch eine Kategorie von Aktualisierungen beobachten, die von den Mitgliedern für kurze Zeit angesehen werden, ohne dass sie darauf klicken oder eine virale Aktion durchführen (wie durch die grüne Kurve in der obigen Grafik dargestellt). In gewisser Weise ist dies nicht besonders überraschend, da es die typische Art und Weise widerspiegelt, in der Feed-Inhalte auf den Mobilgeräten konsumiert werden – bei jeder Aktualisierung, die wir sehen, treffen wir oft eine schnelle (manchmal unbewusste) Entscheidung darüber, ob wir an den Inhalten interessiert sind. In einigen Fällen entscheiden wir uns, keine zusätzliche Zeit mit der Anzeige eines Updates zu verbringen und überspringen es, um weiter zu scrollen.

Um den Begriff des “übersprungenen Updates” zu konkretisieren, suchte LinkedIn nach einem Schwellenwert (Tskip), der es erlaubt, Updates, die weniger als Tskip-Sekunden angesehen werden, als vom Mitglied “übersprungen” einzustufen.

Insbesondere wollte LinkedIn P(klick/virale Aktion auf Update | Verweildauer = T) schätzen und untersuchen, ob es einen natürlichen Schwellenwert Tskip gibt, unterhalb dessen diese Wahrscheinlichkeit nahe 0 liegt. Obwohl diese Wahrscheinlichkeit für eine bestimmte Verweildauer = T schwer genau zu schätzen ist, approximierte LinkedIn sie innerhalb bestimmter Zeitintervalle unter Verwendung des Bayes’schen Theorems und den empirischen CDFs:

 

dell-Formel (Quelle: LinkedIn)

dwell-Formel (Quelle: LinkedIn)

 

Wobei F(T) = P(Verweilzeit < T). LinkedIn hat dabei festgestellt, dass es einen solchen natürlichen Schwellenwert Tskip gibt, was darauf hindeutet, dass Aktualisierungen, die für weniger als diese Zeitspanne angesehen werden, nicht besonders ansprechend sind und von den Mitgliedern schnell “übersprungen” werden.

dwell Time T (normalisierte Einheiten) (Quelle: LinkedIn)

dwell Time T (normalisierte Einheiten) (Quelle: LinkedIn)

Der Schwellenwert Tskip für die Einstufung einer Aktualisierung als “übersprungen” wird als Wert T übergeben, wobei die blaue Kurve P(Aktion bei Aktualisierung | Verweilzeit = T) beginnt, ungleich Null zu werden. Interessanterweise konnte LinkedIn feststellen, dass der Wert von Tskip eine gute Wahl als Schwellenwert für alle heterogenen Arten von Feed-Updates (Textbeiträge, Bilder, Videos usw.) war. Mit anderen Worten: Auch wenn die Mitglieder, wenn sie mehr Zeit mit der Betrachtung verschiedener Arten von Aktualisierungen verbringen, ein unterschiedliches Mass an Engagement an den Tag legen. So scheint es, dass sie in der Lage sind, unabhängig von der Aktualisierungsart innerhalb von Tskip-Sekunden eine Entscheidung “überspringen oder nicht” zu treffen.

Tskip-Grafik (Quelle: Linkedin)

Tskip-Grafik (Quelle: Linkedin)

Eine einzige Wahl des Schwellenwerts Tskip funktioniert gut für alle heterogenen Aktualisierungstypen.

Aufnahme eines neuen P(skip)-Modells in die Feed-Rangliste

Basierend auf den wertvollen Erkenntnissen, die LinkedIn aus dem Verweilzeitverhalten der Mitglieder gewonnen hat, wurde ein neues “P(skip)”-Ziel in die Feed-Wert-Funktion aufgenommen, das die Wahrscheinlichkeit vorhersagt, dass das Mitglied eine Aktualisierung “überspringt”:

P(skip) = P(Verweilzeit des Mitglieds bei dieser Aktualisierung < Tskip secs)

Ähnlich wie die bestehenden Modelle zur Vorhersage von Klick- und Viralaktionen, ist das P(skip)-Modell ein logistisches Regressionsmodell, das sowohl rohe Merkmale als auch “Interaktions”-Merkmale verwendet, die durch das Training eines verstärkten Entscheidungsbaummodells automatisch gelernt werden.

Zu den vom Modell verwendeten Merkmalen auf hoher Ebene gehören:

  • Mitglieder-seitige Merkmale (z.B. Profildaten der Mitglieder)
  • Update-seitige Features (z.B. Anzahl der globalen Klicks und viralen Aktionen auf dieses Update)
  • Mitglieder-Update-Merkmale (z.B. die historische Affinität der Mitglieder zu Beiträgen desselben Autors)
  • Andere kontextbezogene Merkmale (z.B. Tageszeit)

Da LinkedIn ein Mitglied, das eine Aktualisierung überspringt, als negatives Ergebnis betrachtet, wurde das neue Modell in die endgültige Rangfunktion aufgenommen, indem die Bewertung aller Aktualisierungen um einen Betrag proportional zum vorhergesagten P(skip)-Wert reduziert wurde.

LinkedIn hat auch geprüft, ob Verweildauersignale der Mitglieder als Merkmale in die Modellierungspipeline aufgenommen werden können. Durch zahlreiche Experimente stellte LinkedIn fest, dass eine Kombination von Funktionen zur Aktualisierung der Mitglieder (die Schätzung das Interesse eines Mitglieds an Inhalten eines bestimmten Typs auf der Grundlage der Anzahl der nicht übersprungenen Aktualisierungen), zusammen mit Funktionen auf der Aktualisierungsseite (die Schätzung die Popularität der Aktualisierung durch eine ähnliche Anzahl nicht übersprungener Aktualisierungen), die meisten Offline-Metriken des P(skip)-Modells lieferte, wodurch die Fläche unter der ROC-Kurve des Modells über mehrere Trainings hinweg kontinuierlich um bis zu 10% vergrössert wurde.

Um die Auswirkungen des neuen P(skip)-Modells und seiner Funktionen zu messen, führte LinkedIn mehrere Online-A/B-Experimente an einem kleinen Prozentsatz der LinkedIn-Mitglieder durch. Insgesamt fand das LinkedIn-Feed-KI-Team die Ergebnisse sehr positiv. Sie stellten einen starken Rückgang der übersprungenen Aktualisierungen fest und beobachteten, dass die Mitglieder viel mehr mit ihren Feed-Aktualisierungen durch Klicks und virale Aktionen interagierten. Darüber hinaus verbrachten die Mitglieder merklich mehr Zeit damit, sich mit dem Feed zu beschäftigen, was weitgehend auf das Hinzufügen der oben erwähnten verweilzeitbasierten Funktionen zurückzuführen ist.

Diese signifikanten metrischen Gewinne deuten darauf hin, dass die Einführung des P(skip)-Modells und der verweilzeitbasierten Funktionen zu einer signifikanten Verbesserung der Qualität der im Feed angezeigten Inhalte und folglich zu einer besseren Feed-Erfahrung für die LinkedIn-Mitglieder geführt hat. Auf der Grundlage der Ergebnisse der A/B-Experimente und anderer positiver Indikatoren hat LinkedIn das neue Ranking-Modell allen Mitgliedern zur Verfügung gestellt.

Wie geht es weiter?

Wie das obige Beispiel zeigt, führte die Analyse der Verweildauer der Mitglieder zu nützlichen Erkenntnissen, die es ermöglichten, die Platzierung im LinkedIn-Feed direkt zu verbessern. Die in diesem Beitrag beschriebene Arbeit ist jedoch nur eine Komponente einer umfassenderen Strategie zur Einbeziehung der Verweildauer in die KI-Modellierung von LinkedIn.

LinkedIn gewährt einen Überblick über einige anderen Bemühungen in diesem Bereich:

  • Modelle
    Ähnlich wie bei P(skip) experimentiert Linkedin mit neuen Modellen, die die Feed-Wert-Funktion verbessern können. Wie beispielsweise P(“long dwell”) = P(dwell time on update > T) und Regressionsmodelle, die die erwartete Verweildauer pro Update direkt vorhersagen. Darüber hinaus experimentiert LinkedIn mit Methoden, wie GLMix-Modelle (Generalized Linear Mixed Effect), die es ermöglichen, effektiv ein anderes P(skip)-Modell für jedes einzelne Mitglied oder jede Aktualisierung zu personalisieren.
  • Merkmale
    LinkedIn arbeitet an der Entwicklung anderer neuer Funktionen im Zusammenhang mit der Verweildauer, wie z.B. Lern-Einbettungen für Mitglieder und Aktualisierungen auf der Grundlage der Verweildauer.
  • Daten
    LinkedIn kann die Verweildauer eines Mitglieds bei einer Aktualisierung verwenden, um das Gewicht und/oder die Beschriftung der Schulungsdatenpunkte zu ändern, was die Datenqualität verbessern und dazu beitragen kann, die Modelle so auszurichten, dass sie für Ziele im Zusammenhang mit der Verweildauer optimiert werden.

Während das LinkedIn-Feed-KI-Team diese Bereiche untersucht, bleibt dem Team aber bewusst, dass sie die Verweildauer der Mitglieder für den Feed nicht blind erhöhen wollen. Sie sind der festen Überzeugung, dass gut verbrachte Zeit besser ist als mehr verbrachte Zeit. Insgesamt wird LinkedIn auch weiterhin daran arbeiten, die Verweildauer der Mitglieder zu verstehen und die Erkenntnisse einfliessen zu lassen, um die alltäglichen Erfahrungen der LinkedIn-Mitglieder mit dem Feed zu verbessern.

Fazit

Das LinkedIn-Feed-KI-Team gibt tiefe Einblicke über den Aufbau des Feed Algorithmus. Ähnliche Erkenntnisse hat auch Facebook bei der Bewertungen des News Feed Algorithmus gewonnen und entsprechend den Algorithmus darauf ausgerichtet. Verweildauer ist ein deutlicher Indikator für die Akzeptanz von Inhalten. Die reine Interaktion mit Beiträgen ist zwar ein Indiz für Interesse, trotzdem kommen die alten 90-9-1 Regeln von Social Media auch hier immer wieder zur Anwendung. Während Interaktionen zwar ein Interesse zeigen, können Interaktionen auch gezielt provoziert werden, was wiederum bedeutet, dass Interaktionen kein deutliches Signal für wirklich wertvolle Inhalte bietet.

Lesetipp

Ein kürzlich auf LinkedIn durchgeführtes Experiment von Thomas Hutter zeigt deutlich, dass “alte” Mechaniken aus Social Media auch heute noch nach wie vor sehr gut funktionieren.

Facebook Instagram Twitter LinkedIn Xing

Kommentar via Facebook

Bitte akzeptieren Sie die Cookies um die Facebook Kommentare zu nutzen.

Schreib uns einen Kommentar

  1. c.koettnitz@gmail.com' Christopher sagt:

    Vielen Dank für diese hilfreiche Übersetzung!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Kennst Du schon unsere wöchentlichen Newsletter?

Facebook & Instagram   LinkedIn