Ein Soft 404 Error tritt auf, wenn ein Benutzer mit seinem Browser eine nicht existierende oder falsche Website anfordert und der Server fälschlicherweise einen „200 OK“ oder „302 Found“ HTTP Status Code an den Client (Browser) sendet. Der Benutzer erhält einen 404-Fehlercode auf dem Bildschirm, aber der Server sendet bei der Kommunikation zwischen dem Client und dem Webserver einen anderen Antwortcode. Der Inhalt der Website steht in keinem Zusammenhang mit der HTTP-Antwort des Servers.
Dies kann das Crawling und die Indexierung der angeforderten Website beeinträchtigen. Außerdem ist es für die Benutzer manchmal frustrierend, weil die Antwort des Servers nicht mit ihrer Suchanfrage übereinstimmt. Soft 404-Fehler werden auch als falsche 404- oder Soft 404-Fehlercodes bezeichnet.
Allgemeine Informationen zum Thema
Typischerweise sendet ein Server einen „404 Not Found“-Fehlercode, wenn eine angeforderte Website nicht existiert oder nicht mehr auf dem Server vorhanden ist oder die URL beschädigt ist. Dies ist häufig der Fall, wenn eine Ressource an einem anderen Ort auf dem Server gespeichert ist, d. h. der Inhalt wurde verschoben, und die internen Links, die auf die Ressource verweisen, wurden nicht korrigiert. Ein 404-Fehlercode kann auch angezeigt werden, wenn externe Links auf eine Ressource verweisen, die nicht mehr existiert. Diese werden als tote Links bezeichnet. Der Server sendet auch einen 404-Fehlercode, wenn eine korrekte URL vom Benutzer geändert wurde.
Der weiche 404 unterscheidet sich von diesen Fällen dadurch, dass der Server mit einem HTTP-Statuscode wie 200 oder 302 antwortet, obwohl die Site nicht mehr existiert und dementsprechend ein 404 die richtige Antwort wäre. Der Server interpretiert eine falsche oder ungültige URL als korrekte Adresse und leitet z.B. auf die Startseite um.
Probleme können auftreten, da der Server nicht nur Statuscodes an Browser, sondern auch an die Crawler von Suchmaschinen sendet. Der Crawler arbeitet sich nach und nach durch die Links, die ihm zur Verfügung stehen. Wenn er auf eine nicht mehr existierende Website stößt, die noch einen 200- oder 302-Antwortcode hat, behandelt er diese Ressource wie eine normale Website mit Inhalt. Das kann bedeuten, dass er andere Seiten derselben Domain nicht mehr besucht und crawlt, da er nur eine begrenzte Zeit auf jeder Website des World Wide Web verbringt. So werden Ressourcen gecrawlt, die keinen sinnvollen Inhalt bieten, und den Nutzern werden Inhalte präsentiert, die sie nicht angefordert haben.
So beheben Sie einen Soft-404-Fehler
Crawling-Fehler werden unter dem Menüpunkt Diagnose in der Google Search Console (früher Google Webmaster Tools genannt) aufgeführt. Werden dort weiche 404-Fehler vermerkt, können folgende Schritte unternommen werden.
- Werden weiche 404-Fehler aufgelistet, sollte die entsprechende URL überprüft werden.
- Enthält sie den richtigen Inhalt, sollte die Website einen 200 OK-Code ausgeben.
- Ist die Antwort ein 301-Fehlercode, sollte auf eine geeignetere Website umgeleitet werden.
- Existiert unter der URL keine Website, sollte im Header der Seite ein 404- oder 410-Code ausgegeben werden.
Es ist sehr wichtig, dass der Server als Antwort auf eine Anfrage den richtigen HTTP-Code ausgibt. Ist dies nicht der Fall, kann eine Website aus dem Index entfernt werden.
Add-ons wie Firebug oder das Tool Fetch as Google sind ebenfalls sehr nützlich. Damit können Webmaster sehen, ob die HTTP-Kommunikation zwischen dem Client und dem Server funktioniert und wie der Googlebot die Website liest. Beide Versionen zeigen die HTTP-Statuscodes an. Ein Vergleich mit der Website, die vom Browser aufgerufen wird, zeigt notwendige Änderungen auf. In den Bing Webmaster Tools kann dieser Vorgang im Index Explorer unter dem Menüpunkt 404-Fehler durchgeführt werden.
Typischerweise wird ein 404-Fehlercode nur bei schlechten URLs oder nicht existierenden Websites ausgegeben. Empfehlenswert sind auch personalisierte 404-Fehlerseiten, um Nutzern eine Alternative zum angeforderten Inhalt zu bieten und sie so als Besucher auf der Seite zu halten. Eine gute 404-Fehlerseite:
- gibt den korrekten Statuscode aus,
- enthält prägnante Informationen für den Nutzer,
- bietet dem Nutzer eine Möglichkeit, auf der Website zu navigieren,
- schlägt Seiten mit ähnlichem Inhalt vor,
- und enthält eine Suchfunktion, so dass der Nutzer nach Stichworten suchen kann.
Bedeutung für die Suchmaschinenoptimierung
Bei der Neugestaltung einer Website, der Migration von Inhalten oder saisonalen Werbeaktionen können unterschiedliche Fehlercodes auftreten. Vor allem bei großen Projekten können Tausende von Fehlercodes entstehen. Aber auch Produkte, die nicht mehr verfügbar sind, und sogar Websites mit sehr wenig Inhalt (Thin Content) können zu weichen 404-Fehlercodes führen. Die Auswirkungen sind enorm. Suchmaschinen können die betroffenen Websites aus dem Index nehmen, was bei kommerziellen Websites zu Umsatzeinbußen führen kann. Die Benutzer sind manchmal frustriert, und die Kosten für die Lösung von Problemen steigen proportional zur Anzahl der ausgegebenen Fehlercodes.
Eine regelmäßige Überprüfung möglicher Fehlermeldungen wird empfohlen. Sie lassen sich zwar nicht ganz vermeiden, aber zumindest auf eine kleine Anzahl beschränken. Sobald die Fehlermeldungen behoben sind, sollte dies der jeweiligen Suchmaschine in den Webmaster-Tools mitgeteilt werden, damit der Crawler die Website mit dem korrigierten Fehlercode schnellstmöglich auslesen kann. Die Ergebnisse solcher Änderungen können sich indirekt auf den Traffic auswirken, wenn Google bestimmte Websites mit Soft-404-Fehlern de-indexiert oder herabstuft. Dies kann passieren, wenn das Verhältnis zwischen Soft 404-Fehlern und indexierten Seiten außergewöhnlich hoch ist. Das Zeitbudget des Crawlers wird dann größtenteils von Soft-404-Fehlerseiten aufgebraucht.