Interview mit den Google Spamfighters

Website Boosting: Könntet ihr vielleicht mal für unsere Leser, die mit dem internen Aufbau bei Google nicht so vertraut sind, ganz allgemein beschreiben, was die sog. „Spamfighter“ bei Google eigentlich machen und was nicht? Seid ihr auch für AdWords-/Adsense-Verstöße zuständig oder nur für den organischen Index?

Uli: Wir bei Google möchten unseren Nutzern die relevantesten und besten Suchergebnisse in möglichst kurzer Zeit liefern. Oberstes Ziel unseres Teams ist es, die Google-Nutzer vor schlechten und irrelevanten Sucherergebnissen wie z. B. gehackten Seiten, die keinen Mehrwert bieten, zu schützen. Unser Team ist global aufgestellt und wir streben möglichst automatisierte Lösungen an, behalten uns aber vor, manuelle Eingriffe vorzunehmen, sofern die Integrität unserer Suchergebnisse dies erfordert.
Ein wichtiger Punkt ist dabei die Transparenz und Kommunikation mit Webmastern. Beispielsweise unterstützen wir unsere Nutzer mit hilfreichen Tipps durch regelmäßige Beiträge auf unserem Blog für Webmaster. Außerdem führen wir ein umfangreiches Help-Center sowie ein Forum und es gibt natürlich auch noch die Webmaster-Tools. All dies bietet Webmastern jede Menge nützliche Informationen über Crawling, Indexierung und Ranking ihrer Website, zu finden auf google.de/webmasters.
Um den zweiten Teil der Frage zu beantworten: Nein, unser Team beschäftigt sich ausschließlich mit der Qualität der organischen Websuche. AdWords und AdSense sind von der organischen Suche getrennt und haben ihre eigenen Richtlinien.

Welche Arten von „Strafen“ gibt es denn überhaupt?

Dominik: Manchmal versuchen Webmaster, das Ranking zu manipulieren, und wenden dazu Techniken an, die nicht im Einklang mit unseren Richtlinien für Webmaster (http://einfach.st/grfw) stehen. Wir sind sehr bemüht, dem entgegenzusteuern, sei es durch Anpassungen im Algorithmus oder durch manuelle Maßnahmen. Wir setzen oft algorithmische Lösungen ein, um zum Beispiel gehackte Webseiten so weit wie möglich aus unseren Suchergebnissen auszuschließen.
Um ein Beispiel für eine mögliche manuelle Abstrafung (“penalty”) zu geben: Wenn wir einen Spam-Report dazu erhalten, dass eine Website versucht, durch massenhaft automatisch produzierte Spam-Seiten unsere Suchergebnisse zu manipulieren, dann behalten wir uns vor, diese für einen gewissen Zeitraum aus unseren Suchergebnissen zu entfernen.
Wir bemühen uns dabei, Webmaster in solchen Fällen über unsere Webmaster-Tools zu benachrichtigen. Das ist etwas, was wir zurzeit ausbauen, und wir schicken noch häufiger Nachrichten über unsere Webmaster-Tools an Website-Besitzer, wenn deren Seite kompromittiert wurde oder nicht im Einklang mit unseren Richtlinien für Webmaster ist.
Ein paar weitere konkrete Beispiele, in denen wir manchmal die Website-Besitzer benachrichtigen, sind etwa Cloaking (also wenn man Suchmaschinen andere Inhalte zeigt als Usern, um die Suchmaschinen zu täuschen), wenn Webseiten sogenannte Doorway-Pages (Brückenseiten) verwenden, gehackt wurden oder sehr unnatürliche Links aufweisen.
In diesem Zusammenhang möchte ich allen Webmastern ans Herz legen, die E-Mail-Weiterleitung von Webmaster-Tools-Nachrichten (Hilfe dazu unter einfach.st/gwmt1) zu aktivieren. 

Dadurch bleibt ihr auf dem neuesten Stand, falls wir irgendwelche Probleme mit der Seite feststellen.

Uli: Hierzu noch eine wichtige Sache, die man nicht vergessen sollte: Nicht alle Abstürze im Ranking sind durch manuelle Maßnahmen begründet, ganz im Gegenteil! Über 200 Faktoren fließen in das Ranking ein, und es ist ein höchst komplexer Prozess, der jedes Jahr Hunderte Mal geändert wird, und neue Websites kommen und gehen jeden Tag, sodass die Rankings ständig fluktuieren. Deshalb denken sich manche Leute: „Hey, gestern stand meine Seite noch auf Platz 3, heute steht sie auf Platz 5, die wurde abgestraft!”, obwohl es sich in Wirklichkeit um eine ganz normale Fluktuation handelt.

Es geht hartnäckig das Gerücht, dass Google nur sehr wenige Domains manuell bestraft. Ist da etwas dran? Kann man denn ganz grob sagen, ab wann ihr tatsächlich manuell eingreift?

Dominik: Das ist in der Tat wahr! Man muss sich nur mal die Größe des Internets vor Augen führen. Wir vertrauen sehr stark auf skalierbare, algorithmische Lösungen. Unsere Classifier sind sehr gut, aber ab und zu schafft’s eine Spam-Seite mal, diese zu umgehen. Da wir versuchen, unseren Usern die besten und relevantesten Suchergebnisse (siehe hierzu auch das Posting von Google unter einfach.st/gwz1) zu liefern, behalten wir uns das Recht vor, manuell einzugreifen, um die Qualität unserer Suchergebnisse sicherzustellen, wenn eine klare Verletzung unserer Richtlinien für Webmaster (http://einfach.st/grfw) vorliegt.

Einmal abgesehen von Fällen, wo rechtliche oder Sicherheitsgründe vorliegen, ist die Frage, ab wann wir manuell eingreifen, schwer zu beantworten. Wenn man sich den Abschnitt über die Qualitätsrichtlinien in unseren Richtlinien für Webmaster durchliest, bekommt man einen guten Eindruck.

Habt ihr Tipps, woran ein durchschnittlicher Webmaster oder Shopbetreiber erkennen kann, dass er ein Problem mit den Richtlinien bekommen hat bzw. das Ranking vielleicht nicht dem entspricht, was er ohne eine Strafe erhalten hätte?

Uli: Wenn man sich Sorgen macht, dass die eigene Website abgestraft wurde, sind die Webmaster-Tools eine sehr gute erste Anlaufstelle. Über das Nachrichten-Center versuchen wir, Website-Besitzer zu informieren, wenn ihre Seite nicht im Einklang mit unseren Richtlinien für Webmaster steht oder gehackt wurde. Und wenn man sein Webmaster-Tools-Konto schon mal offen hat, kann man auch gleich noch eventuelle Fehler beim Crawling überprüfen und die robots.txt testen, da diese auch der Grund für eine niedrigere Sichtbarkeit in den SERPS sein könnten. Es gibt noch ein paar weitere Sachen, bei denen es sich in diesem Zusammenhang lohnt, in den Webmaster-Tools nachzuschauen: Rankt meine Website auf einmal für themenfremde Begriffe wie Poker oder Viagra? Wenn ja, dann wurde die Seite eventuell gehackt. Auch die Backlink-Struktur einer Website kann interessant sein, vor allem, wenn man aktives Linkbuilding betreibt.
Überhaupt, woher kommt der Gedanke, dass die Website abgestraft wurde? Wie ich vorher schon erwähnt habe, werden nur Websites abgestraft, die die Richtlinien für Webmaster verletzen. Es lohnt sich also, diese Richtlinien aufmerksam durchzulesen und zu überprüfen, ob die Website sie eventuell verletzt oder in der Vergangenheit verletzt hat. Wenn ja, würde ich dies schnellstmöglich beheben und dann einen Antrag auf erneute Überprüfung stellen.
Man sollte in diesem Zusammenhang auch nicht vergessen, dass das Ranking ein sehr komplexer Prozess mit vielen Variablen ist, der sich ständig verändert. Die daraus resultierenden Fluktuationen werden oft als Abstrafungen fehlinterpretiert. In diesem Zusammenhang lohnt es sich auch zu überlegen, ob man selbst oder ob jemand anderes in letzter Zeit größere Veränderungen an der Website durchgeführt hat, die die Änderungen im Ranking hervorgerufen haben könnten. Weiterführend hierzu haben wir in unserer Hilfe für Webmaster einen Artikel, der weitere gute Ansatzpunkte bietet für den Fall, dass die Website wenig erfolgreich in der Suche ist (Video und Hilfe unter einfach.st/gprob).

Inwiefern fließt denn eure Arbeit in Dublin in Algorithmus-Updates in der Zentrale in Mountain View ein? 

Dominik: Google ist ein globales Unternehmen und unser Team arbeitet sehr eng mit allen Kollegen an den unterschiedlichen Standorten zusammen. Auf gewisse Weise kann das Web je nach Region und Sprache sehr unterschiedlich sein, und das Team in Dublin hat sehr spezifisches Wissen zu den Marktgegebenheiten in Europa. Wir kommunizieren mit unseren Kollegen an anderen Standorten wie z. B. der Firmenzentrale in Mountain View, um sicherzustellen, dass den regionalen Besonderheiten Rechnung getragen wird.

In den Webmaster-Tools von Google kann ja jeder via Spamreport Sites melden, die gegen die Richtlinien verstoßen. Bei Google wird ja viel automatisiert erledigt, aber angeblich sehen sich bei Euch tatsächlich immer Menschen solche Meldungen an und gehen diesen dann direkt nach bzw. recherchieren deswegen. Umgekehrt kann man aber auch sehen, dass gemeldete Sites mit offensichtlichen Verstößen trotzdem noch eine relativ lange Zeit im Index gefunden werden. Warum ist das so? Wie lange dauert es denn normalerweise, bis eine Meldung bearbeitet werden kann und bis man eine „Reaktion“ erkennen kann?

Uli: Zuerst einmal möchte ich sagen, dass diese Spam-Reports sehr wertvoll für uns sind. Sie helfen uns, Spamtrends und generelle Probleme zu erkennen. Wir schauen uns auch individuelle Reports an und ergreifen dann Maßnahmen, sofern ein Verstoß gegen unsere Richtlinien vorliegt.
Wir priorisieren diese Reports unterschiedlich, beispielsweise basierend auf deren Auswirkung. Deswegen ist es schwierig, einen genauen Zeitrahmen zu nennen. Ich möchte auch noch anmerken, dass nicht jeder manuelle Eingriff unsererseits unmittelbar für den Nutzer sichtbar sein muss.

Einer unserer Leser fragt, was Google denn künftig gegen offensichtlich „geklaute“ Inhalte machen  will. Als Beispiel führt er eine Personensuchmaschine an, deren Sichtbarkeit wohl schon reduziert wurde, wo man aber immer noch genügend Personenprofile in den Suchergebnissen findet – was wohl viele ärgert. Er schreibt, er hätte die Seite sogar auf seine Blackliste hinzugefügt, würde sie aber immer noch sehen. 

Dominik: Webinhalte können häufig über mehrere URLs erreicht werden, manchmal auf der gleichen Domain, manchmal auf unterschiedlichen. Viele Website-Inhaber haben ihre Inhalte zur Syndizierung freigegeben, aber manchmal benutzen andere Websites eventuell die Inhalte ohne Erlaubnis des Publishers. Es lässt sich auf automatisierte Weise nicht zuverlässig feststellen, ob Inhalte im Netz ohne Erlaubnis dupliziert wurden. Wenn man glaubt, dass eine andere Website den eigenen Content dupliziert und damit Urheberrechte verletzt, kann man den im Impressum der Seite genannten Webseitenbetreiber kontaktieren, um eine Änderung bzw. Entfernung zu beantragen. Zusätzlich kann man gemäß des US-amerikanischen Urheberrechtsgesetzes (Digital Millennium Copyright Act) einen DMCA-Antrag auf Entfernung des mutmaßlich rechtswidrigen Materiales bei der Google Inc. stellen (unter einfach.st/dmca). Die Google Inc. prüft sodann, ob die gemeldete(n) Seite(n) aus den Suchergebnissen entfernt werden. Wir haben Formulare für diesen und andere Anträge, um die Entfernung mutmaßlich rechtswidriger Inhalte zu beantragen. Diese kann man unter google.de/support/go/legal finden.

Uli: Auch wenn es nur indirekt damit zusammenhängt, würde ich an dieser Stelle noch gerne das authorship markup (http://einfach.st/gamu, engl.) erwähnen. Wir unterstützen dies seit Mitte des letzten Jahres und es ist eine tolle Möglichkeit, Autoren und Inhalte zu verbinden. Derzeit unterstützen wir dieses Mark-up nur in unseren englischen Suchergebnissen, aber es kann ja nie schaden, schon einen Schritt voraus zu sein.
Der zweite Teil der Frage bezieht sich auf die Möglichkeit, im Rahmen der personalisierten Suche Websites zu blockieren (http://einfach.st/block), sodass sie in den eigenen Suchergebnissen nicht mehr auftauchen. Wir arbeiten im Moment daran, dieses Feature auch bei “Search plus your world” (noch nicht auf Deutsch verfügbar) hinzuzufügen. Wenn der Leser also “Search plus your world” verwendet hat, kann es sein, dass ihm seine gesperrten Seiten noch nicht angezeigt wurden.

Dazu passt vielleicht auch noch eine andere Anmerkung eines Lesers, die eigentlich keine Frage war. Er schrieb, er würde sich wünschen, dass die ganzen Preisvergleiche und Bewertungsportale an Gewichtung verlieren mögen. Sobald man einen Produktnamen eingibt, findet man fast ausnahmslos solche Portale. Dazu eine Frage von uns: Es ist klar, dass auch in den Suchergebnissen der „freie Wettbewerb“ herrscht. Aber ist es nicht in diesem Fall eher eine Art „Duplicate Content“, denn viele dieser Portale erzeugen die Inhalte automatisiert und für den Suchenden bringt der Klick auf Portal 2 und 3 und 4 meist keine wirklich neuen, nützlichen Informationen. Man möchte ja meist eher lieber unterschiedliche Informationen als ständig die gleichen. Und wir müssen unserem Leser hier auch wirklich recht geben, mit Produktnamen zu suchen, bringt immer weniger wirklich nützliche Treffer, weil die großen Portale alles „zudecken“ und eben leider oft zu wenig echte Informationen – unique – bieten. Sieht man dies bei Google auch als Problem an oder steht man eher auf dem Standpunkt, dass die Algorithmen das genauso behandeln sollen wie alle anderen Bereiche auch?

Dominik: Einige Websites bieten sehr wenig eigenen Mehrwert, der über den aggregierten Content hinausgeht, aber es gibt auch solche, die über eine Liste aggregierter Produkte hinaus erheblichen, einzigartigen Mehrwert bieten. Unsere Algorithmen versuchen im Allgemeinen, eine Balance zu finden und den Usern vielfältige Suchergebnisse zu bieten. Wir verwenden jedoch Hunderte von Faktoren, um diese Suchergebnisse zu erstellen, es ist also nicht so, dass wir diese Websites immer oder nie zeigen – es gibt ein weites Spektrum dazwischen. Den Lesern, deren Websites Inhalte aggregieren, würde ich empfehlen sicherzustellen, dass ihre Websites den Usern immer einen wirklichen Mehrwert bieten. Und wenn ihr in den Suchergebnissen Spam findet (egal, ob Aggregator oder nicht), gibt es die Möglichkeit, einen Spam-Bericht einzureichen, damit die Website genauer untersucht wird.
In Fällen, in denen die Suchergebnisse zwar keinen Spam enthalten, man aber trotzdem unzufrieden mit den Ergebnissen für eine bestimmte Suchanfrage ist, gibt es die Möglichkeit, über ein Formular, das am Ende jeder Suchergebnisseite verlinkt ist, Feedback zu geben.

Ein anderer Leser fragt, was gegen den Rich-Snippet-Spam unternommen wird und ob es Informationen von Google darüber gibt, was genau erlaubt ist und was nicht. Kann man das überhaupt erkennen, ob z. B. Sternchen-Bewertungen gefälscht oder manipuliert sind? Für Suchende bedeuten ja solche Sternchen einen gewissen Vertrauensvorschuss – insofern besteht doch eine gewisse hohe Motivation für Seitenbetreiber, hier „nachzuhelfen“.

Uli: Ich persönlich mag Rich-Snippets sehr gerne, sie bieten zusätzliche Informationen für User und helfen Webmastern, ihre Site in den Suchergebnissen optisch hervorzuheben. Wir haben Nutzungsrichtlinien für Rich-Snippets (siehe einfach.st/snipricht), und ich würde allen Webmastern, die ihre Daten dementsprechend auszeichnen wollen, empfehlen, sich diese Richtlinien anzuschauen.
Rich-Snippets werden allgemein algorithmisch generiert, aber wir behalten uns das Recht vor, manuell einzugreifen und zum Beispiel Rich-Snippets für eine bestimmte Seite zu deaktivieren, wenn wir Missbrauch, Irreführung oder andere Verstöße feststellen, welche die Suchergebnisse für unsere User negativ beeinflussen würden. Wenn ihr solche Rich-Snippets bemerkt, die die Qualität der Suchergebnisse negativ beeinflussen, könnt ihr diese durch einen Spam-Bericht für Rich-Snippets melden. Das Formular dazu findet ihr in unserem Help-Center unter einfach.st/snipspam.

Eine Detailfrage zum Stichwort „Parameter Handling“ – was ist besser: Soll man besser URL mit Parametern crawlen lassen und das Handling dann in den Webmaster-Tools einstellen oder soll man solche URL via noindex und/oder robots.txt erst gar nicht crawlen lassen?  

Dominik: Zuerst möchte ich in diesem Zusammenhang erwähnen, dass wir duplizierte Inhalte (Duplicate Content) auf Websites im Allgemeinen ziemlich gut erkennen und in den meisten Fällen die Kanonisierung (siehe dazu und zu den Empfehlungen einfach.st/kanon) automatisch auf unser Seite vorgenommen wird, ohne dass ihr irgendwas unternehmen müsst.
Wir empfehlen es nicht, den Crawler-Zugang zu duplizierten Inhalten auf einer Website mit robots.txt oder anderen Methoden zu blockieren. Die bessere Lösung ist es, diese Inhalte crawlen zu lassen und dabei eine unserer empfohlenen Methoden zur Kanonisierung (wie zum Beispiel den Gebrauch von rel=”canonical”) zu verwenden, um mit potenziellen duplizierten Inhalten umzugehen. Wenn wir Seiten nicht crawlen können, können wir auch nicht feststellen, ob sie Duplikate sind, und ihre angesammelten Rankingsignale werden nicht der kanonischen URL zugeordnet und gehen dadurch praktisch verloren.
Bezüglich des Gebauchs von “noindex”: Für eine URL, von der man weiß, dass man sie nicht indexieren will, um Duplikate Content zu vermeiden, kann man sehr gut den rel=canonical verwenden. Das ist für uns ein besseres Zeichen, um die Absicht des Webmasters zu erkennen, wie Suchmaschinen diese URL behandeln sollten.
In Fällen, in denen ihr aus irgendwelchen Gründen keine der von uns empfohlenen Methoden verwenden könnt, kann das URL-Parameter-Tool hilfreich sein: Damit kann man unserem Algorithmen helfen, die Parameter besser zu verstehen.
Das URL-Parameter-Tool sollte aber mit Bedacht und nur von fortgeschrittenen Benutzern eingesetzt werden, da eine falsche Anwendung durchaus zu Problemen führen kann. Deshalb sollte man immer genau überlegen, ob Google einen speziellen Parameter wirklich ignorieren soll und ob die URLs ohne diesen Parameter noch funktionieren!

Was immer wieder und seit Jahren hochkommt, ist das sicher nicht einfach zu lösende Problem des lokalen Rankings. Man hat eine deutschsprachige Site, die für D, A und CH Inhalte bereithält. Prinzipiell kann man ja nur eine .de-Domain verwenden, die aber oft in Österreich und der Schweiz nicht so gut rankt. Legt man den Content auch auf je einer .at- und .ch-Domain ab, entsteht ein Problem mit Duplicate Content. Gibt es von Google Tipps, wie man hier idealerweise vorgeht? Für einen Site- oder Shopbetreiber ist das ja eine hoch strategische Frage.

Uli: Ja, das ist eine beliebte Frage. Für alle, die sich in dieser Situation befinden, haben wir gute Nachrichten: Es gibt seit Kurzem das noch ziemlich unbekannte Link-Element rel=”alternate” hreflang, welches Webmastern erlaubt, den User auf die landesspezifische Version der Seite zu schicken. Genauere Informationen zu diesem Thema findet ihr auf unserem Blog, wir haben im Dezember einen ausführlichen Post unter einfach.st/hreflang dazu geschrieben.