Vom Redirect-Mapping in Windeseile

Wenn die Zeit drängt: effizientes Redirect-Mapping mit Vektor-Embeddings Ein Kunde stand kürzlich vor einer Herausforderung: Eine Domainmigration musste innerhalb kürzester Zeit abgeschlossen werden, es fehlten jedoch die personellen Ressourcen für das aufwendige Redirect-Mapping. Gleichzeitig sollte natürlich unter allen Umständen vermieden werden, dass es infolge der Migration zu Ranking- und Traffic-Verlusten kommt. Es musste also eine effiziente, aber gleichzeitig zuverlässige Lösung her, um die Weiterleitungen zu erstellen: Bühne frei für das Redirect-Mapping mit Vektor-Embeddings. Doch was sind Vektor-Embeddings überhaupt? Vektor-Embeddings sind mathematische Repräsentationen, die Wörter, Sätze oder Dokumente in numerische Vektoren umwandeln, um ihre Bedeutungen zu erfassen. Diese Vektoren werden in einem mehrdimensionalen Raum so angeordnet, dass semantisch ähnliche Begriffe nahe beieinanderliegen. Ihr könnt euch Vektor-Embeddings wie ein ausgeklügeltes Bibliothekskatalogsystem vorstellen. In dieser Bibliothek werden Bücher nicht nur nach ihrem Titel oder Genre sortiert, sondern nach dem inhaltlichen Zusammenhang ihrer Themen. Bücher, die sich mit ähnlichen Themen beschäftigen, werden in den gleichen Regalen oder nebeneinander platziert, unabhängig davon, ob ihre Titel oder Autoren ähnlich sind. Vektor-Embeddings ermöglichen in der natürlichen Sprachverarbeitung (NLP) und in modernen Suchalgorithmen eine präzisere Erfassung und Analyse von Bedeutungen. Sie unterstützen Suchmaschinen dabei, die semantische Bedeutung von Suchanfragen und Dokumenten zu erfassen. Dadurch können sie nicht nur Treffer basierend auf Wortübereinstimmungen ausliefern, sondern auch auf Basis von inhaltlicher Ähnlichkeit (Stichwort: semantische Suche). Ein Beispiel: Google erkennt, dass die Begriffe „Auto“ und „Fahrzeug“ eine ähnliche Bedeutung haben und gibt bei der Suche nach „Auto“ auch relevante Dokumente zu „Fahrzeug“ aus. Da Vektor-Embeddings dabei helfen, die semantische Bedeutung von Inhalten zu verstehen, lässt sich diese Technik für das Redirect-Mapping nutzen. Dadurch können Weiterleitungen erstellt werden, die auf tiefergehenden inhaltlichen Verbindungen basieren – was präzisere und relevantere Redirects ermöglicht. Redirect-Mapping mit Vektor-Embeddings: ein praktischer Leitfaden Das allseits bekannte SEO-Tool Screaming Frog bietet seit Version 20.0 mannigfaltige neue Analysemöglichkeiten. Ausdrücklich hervorheben möchte ich an dieser Stelle die Custom-JavaScript-Funktionalität. Diese versetzt uns in die Lage, spezifische JS-Funktionen auf Websites während des Crawls auszuführen und externe Datenquellen einzubinden. Mit diesem Feature lassen sich Vektor-Embeddings direkt über eine Anbindung an die OpenAI-Embeddings-API für meine zu crawlenden URLs erzeugen. Das machen wir uns für unser Redirect-Mapping zunutze. Zuerst benötigen wir einen OpenAI-API-Key. Wenn dieser vorliegt, öffnen wir die neue Custom-JavaScript-Funktion und wählen „Add from Library“ aus. Abbildung 1: Die Custom-JavaScript-Maske in der Crawl-Konfiguration Screaming Frog bietet bereits eine Reihe von Vorlagen, darunter eine für das Berechnen von Embeddings während des Crawlings durch Anbindung der OpenAI-API. Abbildung 2: Auflistung der von Screaming Frog bereitgestellten Skripte Als Nächstes muss der im ersten Schritt erzeugte API-Key im JavaScript-Code ergänzt werden. Hier ist wichtig, dass JavaScript Rendering aktiv ist, bevor der Crawl gestartet wird. Nur dann kann das JavaScript ausgeführt und die Embeddings können erzeugt werden. Ein Tipp an dieser Stelle: Lasst beim initialen Crawl mit Screaming Frog ein zusätzliches Skript laufen, das erkenntlich macht, welche Seiteninhalte vom Crawler erfasst und zur Berechnung der Vektor-Embeddings herangezogen werden. In einem anderen Fall führte die unvollständige Erfassung des Main Contents nämlich zu einer „falschen“ Embedding-Berechnung und in der Folge zu extrem ungenauen Analyseergebnissen. Als Ergebnis erhalten wir für jede URL (Typ text/html) eine Reihe von Dezimalzahlen – unsere Embeddings. Abbildung 3: Custom-JavaScript-Tab mit den erzeugten Embeddings für die gecrawlten URLs Die URL-Embedding-Paare exportieren wir nun als Excel-File. Die zu migrierende Seite wurde ebenfalls gecrawlt und die Embeddings erzeugt, sodass am Ende zwei Excel-Files für die Weiterverarbeitung vorliegen. Der nächste Schritt besteht darin, die Dateien mit den URL-Embedding-Paaren für die bestehende und die zu migrierende Domain in ein von Michael King zur Verfügung gestelltes Colab hochzuladen. Vielen Dank an dieser Stelle für die super Vorarbeit! Hier der Link zum Colab: einfach.st/colab63. Das Herzstück des Redirect-Mappings mit Vektor-Embeddings besteht in der „Nachbarsuche“. Hierbei werden die Vektor-Embeddings, die aus den zu migrierenden Seiten generiert wurden, mit den Vektoren der bestehenden Seite abgeglichen, um den „nächsten Nachbarn“ zu finden. Anders ausgedrückt: Das Modell sucht nach dem besten Match für jede der zu migrierenden URLs, indem es die semantische Ähnlichkeit zwischen den Vektoren zugrunde legt. Für jede der zu migrierenden URLs wird so die thematisch am stärksten verwandte URL der bestehenden Domain ermittelt. Diese stellen die Weiterleitungsziele dar. Nach dem Export der Ergebnisse führen wir einen stichprobenartigen Check der Redirect-Mapping-Datei durch. Abbildung 4: Auszug aus der Redirect-Mapping- Datei. In der Spalte „Adresse“ befinden sich die weiterzuleitenden URLs, in der Spalte „MigrationTargetSuggestions“ die Weiterleitungsempfehlungen Ergebnis: Große Begeisterung auf Kundenseite und bei mir ob der Qualität des Outputs und der Verfahrenseffizienz! Bei aller Automatisierung ist der prüfende Blick des Menschen nicht zu vernachlässigen und unbedingt zu empfehlen. Vektor-Embeddings: der Gamechanger für deine SEO Das Redirect-Mapping auf Basis von Vektor-Embeddings hat sich im vorliegenden Fall als effizientes Werkzeug erwiesen, um Nutzer auf relevante URLs weiterzuleiten und Soft-404-Fehler zu vermeiden. Zukünftig wollen wir noch einen „Nähe-Schwellenwert“ im Code implementieren, damit nur bei ausreichender semantischer Nähe Weiterleitungsziele vorgeschlagen werden. Durch diese Maßnahme sollen noch präzisere Ergebnisse erreicht werden. SEO-Experten müssen die technische Berechnung der Embeddings nicht im Detail verstehen, sollten sie aber fortan in ihre Analysen und Strategien einbinden. Neben dem Redirect-Mapping eröffnet sich hier eine Vielzahl an weiteren Anwendungsmöglichkeiten wie zum Beispiel bei der Optimierung der internen Verlinkung. Also: Nutzt Vektor-Embedding-Analysen, um eure SEO auf das nächste Level zu heben.