3.7/5 - (4 votes)

Im Zeitraum 05.04.2021 bis 19.04.2021 beschäftigte ein mysteriöser Google-Bug die SEO-Welt und brachte einige betroffene Webmaster und SEOs ins Grübeln. Da eines unserer Kunden-Projekte als Folge mit einem massiven Sichtbarkeitseinbruch der Desktop-Suche betroffen war möchte ich nachfolgend auf den Verlauf und unsere Maßnahmen, dem auf die Spur zu kommen, eingehen.

Eine Chronologie der Ereignisse rund um den Soft 404 Bug

Dienstag, 05.04.2021: Direkt nach den Osterfeiertagen mussten wir uns mit einem deutlichen Sichtbarkeits-Rückgang bei Sistrix (ca. 10%) auseinandersetzen. Die ersten Gedanken, die uns in den Kopf gekommen sind waren:

  1. Gab es ein Core Update seitens Google?
  2. Ist es eine natürliche Negativ-Schwankung der Rankings, die sich schnell wieder erholt?
  3. Ist es ein Bug bei Sistrix?

Zur ersten Frage gab es keine Meldungen. Für eine natürliche Schwankung sind 10% schon eine ganze Menge. Die normalen Schwankungen bei der Sichtbarkeit bewegen sich in der Regel bei <5%. Ein Blick in ahrefs zeigte ein ähnliches Bild. Zudem konnte man feststellen, dass bei manuellen Abfragen wichtiger Keywords, die Rankings massiv eingebrochen und teilweise sogar ganz aus den Top 100 verschwunden waren, obwohl sie bis dato auf Seite 1 der SERPs zu finden waren. Wenn Rankings noch vorhanden waren wechselte die URL. Also fand eine komplette Deindexierung der betroffenen URLs statt.

Die nächste Überlegung war, ob wir in irgendeiner Form von thematischer Abstrafung oder E-A-T-Abwertung betroffen sind. Das Link-Profil der Domain war großteils sauber, keine Auffälligkeiten in den Linkquellen und Ankertexten im Verlauf der letzten 60 Tage. Zudem stellten wir fest, dass die Verluste keine thematischen Muster aufwiesen oder nur auf einen bestimmte(n) Seitenbereich(e) zutreffen. Es war eine globale Angelegenheit, die die komplette Domain, bis auf einige wenige unwichtigere Seitenbereiche betraf.

Die mobile Sichtbarkeit ging leicht zurück, aber deutlicher die Desktop-Sichtbarkeit.

Wir stocherten komplett im Dunkeln und warteten ab, wie die Entwicklung weitergeht. In der Folge verloren wir nach und nach weitere für das Unternehmen wichtige URLs aus dem Index, was mit weiteren deutlichen Sichtbarkeitsverlusten einherging. Während die mobile Sichtbarkeit wieder leicht anstieg, stürzte die Desktop-Sichtbarkeit ins Bodenlose. Sie ging pro Tag bis zu 13% zurück, was bei einer solch großen Sichtbarkeit wie Rossmann auch im organischen Traffic maßgebliche Verluste brachte.

 

 

Ein weiterer Ansatz-Punkt war ein CMS-Update, dass Mitte März durchgeführt wurde. Zudem haben wir alle umgesetzten IT-Tickets der vergangenen Wochen unter die Lupe genommen. Wir hatten inzwischen auch einen Screaming-Frog-Crawl-Back-Up aus dem März mit einem aktuellen Crawl verglichen, um Veränderungen an SEO-relevanten Punkten zu identifizieren. Fehlanzeige!

Im Februar hatten wir für Rossmann ein Page-Experience-Audit durchgeführt und der IT einige Handlungsempfehlungen mitgegeben, die zum Teil bereits umgesetzt waren. Zwei umgesetzte IT-Tickets, die aufgrund des Page Experience Audit entstanden waren nahmen wir als mögliche Ursache in Betracht.

Die erste wirklich konkrete Spur entdeckten wir am Donnerstag den 08.04.2021. Bei der Prüfung einiger der betroffenen URLs über die Google Search Console entdeckten wir einen Soft 404 Fehler aufgrund nicht geladener Ressourcen bei der Live URL Abfrage, die sich aber nur für den Google Desktop Bot reproduzieren ließen. Da die Rossmann.de, aber schon lange auf Mobile First umgestellt war und der Dektop Bot laut GSC nur noch etwa 21% der Domain crawlt greift auch nur jeder fünfte Live-URL-Test auf den Desktop-Bot zu.

 

Live URL-Abfrage über den Mobile Bot in der GSC

Live URL-Abfrage über den Desktop Bot in der GSC

Daraufhin postete ich einen Tweet an John Müller, wo ich unser Problem beschrieb, worauf leider aber keine Antwort bekam.

Zudem kam ich via Twitter und LinkedIn mit einigen SEOs aus dem englischsprachigen Raum in Kontakt, die ähnliche Probleme bzw. Symptome beobachteten.

 

Die Möglichkeit, dass wir es ggf. mit einem Google-seitigen Problem zu tun haben konnte also in Erwägung gezogen werden.

Ein weiterer Facebook Post von mir und Gespräche mit externen SEO-Kollegen gab einige weitere Ansätze, wieso nur der Google Desktop Bot die Probleme hatte und demnach nur die Desktop-Rankings betroffen waren.

z.B. Probleme mit Einstellungen

  • im CDN
  • bei einer User-Agent-/IP-Weiche
  • bei einem A/B-Testing Tool

Zu diesem Zeitpunkt war klar, dass wir es mit einem technischen Problem zu tun haben. Aber ob es sich um ein technisches Problem bei uns oder bei Google handelt war immer noch unklar. Es fühlte sich an wie die Suche nach der berühmten Nadel im Heuhaufen.

Nachdem am Donnerstag der Absturz der Sichtbarkeit stagnierte, verlor die Domain am Freitag den 09.04. noch einmal deutlich an Sichtbarkeit. Ich hatte mir bereits Tage zuvor den Google Webmaster Hangout an dem Tag in den Kalender eingetragen, um Google in Form von John Müller direkt mit dem Problem zu konfrontieren.

Hier gab es die nächste heisse Spur. John erklärte auf die Beschreibung unseres Problems hin, dass verschieden Webmaster ähnliche Probleme gemeldet hätten und Google gerade Beispiel-URLs prüft, da es wohl kürzlich eine Finetuning der Soft 404-Erkennung durch den Google-Bot gegeben habe. Er gab auch zu, dass sie unerklärliche Dinge feststellen, aber noch mehr Beispiele benötigen. Daraufhin schickte ich noch vor dem Wochenende Beispiele betroffener URLs per Mail.

Über das Wochende hinweg meldeten sich bei mir aufgrund meines Tweets und des Webmaster Hangouts diverse SEOs, die ähnliche Probleme hatten. Dadurch war klar, dass diese Umstellung seitens Google maßgeblich zu dem Problem beiträgt.

Die großen Fragen waren jetzt:

  • Wie schnell erkennt und beseitigt Google das Problem?
  • Welchen Einfluss hat unser Setting auf das Problem?

Nach und nach griffen immer mehr Medien das Problem auf wie z.B. SEOsuedwest, Search Engine Round Table und Search Engine Journal. Wir hofften, dass das den Druck auf Google erhöht das Problem schnell zu beseitigen.

Die Situation hatte sich inzwischen so zugespitzt, dass selbst die Homepage von Rossmann aus der Desktop-Suche deindexiert wurde und eine eigentlich per 301 weitergeleitete Version der Homepage bei der Brand-Suche, allerdings ohne Sitelinks rankte.

Wir konnten bzw. wollten nicht warten bis Google das Problem von sich aus löst, sondern recherchierten und analysierten zusammen mit den Rossmann-Kollegen weiter. Durch einen Forums-Thread zu dem Thema im Google Webmaster Forum stießen wir auf einen Tipp, wie man mit dem Rich Result Testing Tool von Google den User Agent für einen URL-Test aktiv auswählen kann und somit eine URL für den Desktop Bot analysieren lassen kann.

Dabei sind wir bei betroffenen URLs wieder auf einen Soft 404-Fehler gestoßen, der einen Hinweis auf einen nicht geladene Seitenressource gab. Das eingesetzte A/B-Testing Tool arbeitet mit Frames und führt zu einer kaputten Weiterleitung. Das war am Dienstag den 13.04.2021.

Es gab einige Test seitens Rossmann, ob bei Deaktivierung des Tools die Soft404-Fehler verschwinden, was aber nicht der Fall war, woraufhin entschieden wurde das A/B-Testing weiter laufen zu lassen. Die Desktop-Sichtbarkeit war bis dato  bis auf ca. 60% der Ursprungs-Sichtbarkeit um über 30% abgestürzt mit dementsprechenden Rückgang des organischen Traffics via Desktop und stagnierte auf dem Stand. Gott sei dank ist der Mobile Traffic deutlich höher als der Dektop-Traffic.

Inzwischen berichteten SEOs weltweit, dass die Rankings seit Donnerstag den 15.04. langsam wieder zürückkommen. Wir können das seit Samstag den 17.04. beobachten, nachdem wir den Code für das A/B-Testing vorübergehend von der Seite entfernt haben.

Der SEO-Krimi und sein Ende

Google hat das Problem offensichtlich ernst genommen und relativ schnell reagiert. Inwieweit das A/B-Testing immer noch ein Problem darstellt müssen wir noch rausfinden. Eine Information seitens Google dazu, ob sie die Umstellung bei der Soft 404 Erkennung wieder rückgängig gemacht haben oder nur angepasst haben wäre bei dieser Frage auch hilfreich. John Müller antwortete zwischenzeitliche bei Twitter auf zahlreiche Nachfragen, ob und was Google geändert hat. Die Antwort von John war, dass der Bug wohl nur wenige Seiten betroffen hätte und in solchen Fällen nicht ins Detail gegangen wird.

Aus der Aussage seitens John kann man ableiten, dass der Bug nur bestimmte Website-Settings betroffen hat, also ein Zusammenspiel verschiedener Faktoren war.

Dieser Case zeigt schön, wie aufregend das Leben eines SEOs sein kann und das neben Erfahrung, Engagement, eine gute Spürnase und auch ein gutes Netzwerk auch die kniffligsten Aufgaben und Herausforderungen meistern lässt. Wer Lust hat bei Rossmann zusammen mit uns als Agentur an solchen Aufgaben zu arbeiten kann sich jetzt bei Rossmann als SEO-Manager bewerben. Go for it!

Zu Olaf Kopp

Olaf Kopp ist Online-Marketing-Experte mit mehr als 15 Jahren Erfahrung in Google Ads, SEO und Content Marketing. Olaf Kopp ist Co-Founder, Chief Business Development Officer (CBDO) und Head of SEO bei der Online Marketing Agentur Aufgesang GmbH. Er ist international anerkannter Branchenexperte für semantische SEO, E-E-A-T, KI- und Suchmaschinen-Technologie, Content-Marketing und Customer Journey Management. Als Autor schreibt er für nationale und internationale Fachmagazine wie Searchengineland, t3n, Website Boosting, Hubspot Blog, Sistrix Blog, Oncrawl Blog ... . 2022 war er Top Contributor bei Search Engine Land. Als Speaker stand er auf Bühnen der SMX, SEA/SEO World, CMCx, OMT, Digital Bash oder Campixx. Er ist ist Host der Podcasts OM Cafe und Digital Authorities. Er ist ist Autor des Buches "Content-Marketing entlang der Customer Journey", Co-Autor des Standardwerks "Der Online Marketing Manager" und Mitorganisator des SEAcamp.

2 Kommentare