Een soft 404-fout treedt op wanneer een gebruiker met zijn browser een niet-bestaande of onjuiste website opvraagt en de server ten onrechte een HTTP-statuscode “200 OK” of “302 Found” naar de client (browser) stuurt. De gebruiker krijgt een 404-foutcode op het scherm, maar de server stuurt een andere responscode bij de communicatie tussen de client en de webserver. De inhoud van de website is niet gerelateerd aan het HTTP-antwoord van de server.

Dit kan van invloed zijn op het crawlen en indexeren van de opgevraagde site. Bovendien is het soms frustrerend voor gebruikers omdat het antwoord van de server niet overeenkomt met hun zoekopdracht. Soft 404-fouten worden ook wel false 404- of soft 404-foutcodes genoemd.

Algemene informatie over het onderwerp

Typisch stuurt een server een “404 Not Found”-foutcode als een opgevraagde website niet bestaat of niet meer op de server aanwezig is of als de URL corrupt is. Dit is vaak het geval wanneer een bron op een andere locatie op de server is opgeslagen, met andere woorden, de inhoud werd verplaatst, en de interne links die naar de bron verwijzen niet zijn gecorrigeerd. Een 404-foutcode kan ook worden weergegeven als externe links verwijzen naar een bron die niet meer bestaat. Dit worden dode links genoemd. De server stuurt ook een 404-foutcode als een correcte URL door de gebruiker is gewijzigd.

De soft 404 verschilt van deze gevallen in die zin dat de server antwoordt met een HTTP-statuscode zoals 200 of 302, ook al bestaat de site niet meer en zou een 404 dus het juiste antwoord zijn. De server interpreteert een onjuiste of ongeldige URL als het juiste adres en verwijst bijvoorbeeld door naar de startpagina.

Problemen kunnen zich voordoen omdat de server niet alleen statuscodes naar browsers stuurt, maar ook naar de crawlers van zoekmachines. De crawler werkt geleidelijk door de links heen die voor hem beschikbaar zijn. Als hij een website tegenkomt die niet meer bestaat en toch een 200 of 302 response code heeft, behandelt hij deze bron als een gewone website met inhoud. Dit kan betekenen dat het geen andere pagina’s op hetzelfde domein meer bezoekt en crawlt, omdat het maar een beperkte tijd op elke website van het World Wide Web doorbrengt. Op die manier crawlt het bronnen die geen zinvolle inhoud bieden en krijgen gebruikers inhoud voorgeschoteld waar ze niet om hebben gevraagd.

Hoe een zachte 404-fout te verhelpen

Crawlfouten worden vermeld onder het menu-item Diagnostieken in de Google Search Console (voorheen Google Webmaster Tools genoemd). Als daar zachte 404-fouten worden vermeld, kunnen de volgende stappen worden ondernomen.

• Als er zachte 404-fouten worden vermeld, moet de bijbehorende URL worden gecontroleerd.
• Als deze de juiste inhoud bevat, zou de site een 200 OK-code moeten uitvoeren.
• Als het antwoord een 301-foutcode is, moet worden doorverwezen naar een geschiktere site.
• Als er geen website bestaat onder de URL, moet een 404- of 410-code worden uitgevoerd in de header van de pagina.

Het is erg belangrijk dat de server de juiste HTTP-code afgeeft als antwoord op een verzoek. Een website kan uit de index worden verwijderd als dat niet het geval is.

Add-ons zoals Firebug of de tool Fetch as Google zijn ook erg nuttig. Hiermee kunnen webmasters zien of de HTTP-communicatie tussen de client en de server goed verloopt en hoe de Googlebot de website leest. Beide versies geven de HTTP-statuscodes weer. Een vergelijking met de website, die door de browser wordt opgeroepen, brengt eventuele noodzakelijke wijzigingen aan het licht. In de Bing Webmaster Tools kan deze bewerking worden uitgevoerd in de Index Explorer onder menu-item 404 error.

Typisch is dat een 404-foutcode alleen wordt uitgegeven voor slechte URL’s of niet-bestaande websites. Wij bevelen ook gepersonaliseerde 404-foutpagina’s aan om gebruikers een alternatief te bieden voor de opgevraagde inhoud en hen op die manier als bezoeker van de site te houden. Een goede 404-foutpagina:

• geeft de juiste statuscode weer,
• bevat beknopte informatie voor de gebruiker,
• biedt de gebruiker een manier om door de site te navigeren,
• suggereert pagina’s met vergelijkbare inhoud,
• en bevat een zoekfunctie zodat de gebruiker op trefwoorden kan zoeken.

Belang voor zoekmachine-optimalisatie

Verschillende foutcodes kunnen voorkomen wanneer een website opnieuw wordt ontworpen, inhoud wordt gemigreerd, of seizoensgebonden promotionele acties worden ondernomen. Met name grootschalige projecten kunnen duizenden foutcodes veroorzaken. Maar ook producten die niet meer beschikbaar zijn en zelfs websites met zeer weinig inhoud (thin content) kunnen leiden tot soft 404-foutcodes. De gevolgen zijn enorm. Zoekmachines kunnen de getroffen websites uit de index halen, wat in het geval van commerciële websites kan leiden tot een daling van de verkoop. Gebruikers kunnen soms gefrustreerd raken en de kosten van het oplossen van problemen nemen evenredig toe met het aantal afgegeven foutcodes.

Een regelmatige controle van mogelijke foutmeldingen is aan te bevelen. Ze kunnen niet volledig worden vermeden, maar in ieder geval tot een klein aantal worden beperkt. Zodra de foutmeldingen zijn gecorrigeerd, moet dit in de Webmaster Tools aan de betreffende zoekmachine worden doorgegeven, zodat de crawler de website met de gecorrigeerde foutcode zo snel mogelijk kan inlezen. De resultaten van dergelijke wijzigingen kunnen een indirect effect hebben op het verkeer als Google bepaalde websites met Soft 404-fouten deïndexeert of downgradeert. Dit kan gebeuren wanneer de verhouding tussen Soft 404-fouten en geïndexeerde pagina’s uitzonderlijk hoog is. Het tijdbudget van de crawler wordt dan grotendeels opgebruikt door soft 404-foutpagina’s.