Verberg je WordPress website in zoekmachines

Het kan voorkomen dat je een website online hebt staan die je liever (nog) niet in de zoekmachines wilt hebben, of juist eruit wilt halen. In WordPress is hier gelukkig een optie voor waarmee je kunt aangeven dat je niet gevonden wilt worden. In dit bericht leggen we uit hoe je je WordPress website kunt verbergen in zoekmachines.

Waarom zou je je website willen verbergen in zoekmachines?

Voor veel websites, vooral in het begin, zorgen zoekmachines voor het grootste deel van de bezoekers. Waarom zou je dan toch een zoekmachine blokkeren?

Vaak wordt een website online gezet, terwijl er nog aan gewerkt wordt (in plaats van een lokale installatie te gebruiken). In zo’n geval wil je vaak niet dat bezoekers je website te zien krijgen terwijl er nog aan gewerkt wordt. Een andere reden kan zijn dat je een privéblog wilt maken die alleen toegankelijk is voor mensen die de URL via via weten te krijgen. In dat soort gevallen wil je waarschijnlijk niet dat je website gevonden wordt in zoekmachines.

Je WordPress website verbergen in zoekmachines

Er zijn meerdere manieren om je WordPress website uit de zoekmachines te houden. De eerste manier die besproken zal worden, maakt gebruik van een ingebouwde functie van WordPress. Hoewel deze optie niet optimaal is, werkt hij in de praktijk erg goed. De tweede optie zal gebruik maken van een .htaccess bestand en is wat lastiger in te stellen. Uiteindelijk zullen de voor en nadelen van de twee opties ook besproken worden.

 Optie 1: In WordPress zelf

WordPress heeft een ingebouwde functionaliteit waarmee je je website uit zoekmachines kunt halen. Deze optie is te vinden onder ‘Instellingen > Lezen’. Daar vind een optie genaamd ‘Zoekmachine zichtbaarheid’. Als je deze aanvinkt, zal je website niet langer geïndexeerd kunnen worden en uit de zoekmachines verdwijnen.

Nadat je deze optie hebt aangevinkt, zal WordPress de volgende code aan je website toevoegen:

<meta name=’robots’ content=’noindex,follow’ />

Verder zal ook de robots.txt van je website worden aangepast met deze code:

User-agent:
*
Disallow: /

Hiermee wordt aangegeven dat robots en crawlers, waaronder die van de zoekmachines, je website niet moeten indexeren. Helaas hoeft een robot hier geen gehoor aan te geven, dus kan het voorkomen dat je website alsnog in een aantal (kleine) zoekmachines te vinden zal zijn. Door de grotere zoekmachines, waaronder Google, Bing en Yahoo, zal je website in ieder geval niet langer geïndexeerd worden. Denk er ook aan dat alleen zoekmachines worden geweerd van je website. Op het moment dat een andere website naar je website linkt, of iemand kent het adres, dan is het voor hen alsnog mogelijk om je website te zien.

Voordelen: simpel aan te maken / op te heffen, werkt bij de meeste zoekmachines

Nadelen: zoekmachine hoeft er niet naar te luisteren, mensen met url kunnen erbij, direct naartoe gelinkt ook, werkt niet meteen als je al in Google te vinden was

Optie 2: Via .htaccess en .htpasswd

Als je wilt dat er helemaal niemand toegang heeft tot je website, is het ook mogelijk om deze volledig te beveiligen met een wachtwoord. Op het moment dat iemand dan je website bezoekt, of het nou een robot is of een echte bezoeker, wordt er om een gebruikersnaam en wachtwoord gevraagd. De robots weten het wachtwoord niet, zullen een 401-error (Unauthorized) te zien krijgen en weer weggaan.

Om dit in te stellen, moet je gebruik maken van een .htaccess bestand. In dit bestand, dien je de volgende code te plaatsen:

AuthType Basic
AuthName "Afgeschermd"
AuthUserFile /volledig/pad/naar/de/map/die/je/wilt/afschermen/.htpasswd
require valid-user

Hierin moet je ‘/volledig/pad/naar/de/map/die/je/wilt/afschermen/’ vervangen door het volledig pad naar de map waarin je WordPress hebt geïnstalleerd. In de meeste gevallen zal dit de root map zijn en is het in FTP programma’s zoals Filezilla mogelijk om het volledig pad hiervan te zien. Een voorbeeld van een volledig pad kan zijn: /home/domains/jewebsite/public_html/ . Let goed op dat je het juiste pad invult. Doe je dat niet, dan zal er wel om een wachtwoord worden gevraagd, maar zal je niet in kunnen loggen.

Nadat je de code aan je .htaccess bestand hebt toegevoegd en hem hebt opgeslagen, dien je nog een .htpasswd bestand aan te maken (met bijvoorbeeld een tekst editor). In dit bestand plaats je de volgende code:

gebruikersnaam:wachtwoord

Je kan in dit bestand, steeds één per regel, een gebruikersnaam en wachtwoord combinatie opgeven. Voor meerdere gebruikers zal je ze dus steeds op een eigen regel moeten plaatsen. Stel dat je een gebruiker ‘test’ met wachtwoord ‘test123’ wilt toevoegen, dan zal je de volgende code aan je .htpasswd toevoegen:

test:$5I1avZ4sWOj2

Zoals je waarschijnlijk al ziet, is ‘test123’ hier vervangen door een reeks letters en cijfers. Dit komt doordat het wachtwoord is versleuteld. Het is voor het wachtwoord dus nodig om hem eerst door een speciale tool te halen om de bijbehorende versleutelde reeks te krijgen. Deze reeks kan je dan in je .htpasswd bestand plaatsen. Bij de zojuist genoemde tool heb je de mogelijkheid over een aantal verschillende encryptie algoritmes. In de code van bovenstaand voorbeeld maak je gebruik van ‘Basic’ encryptie, oftewel de crypt() methode, maar je kunt ook een van de andere encryptie algoritmes selecteren.

-Voordeel: werkt meteen, alleen mensen toegang met benodigde logingegevens, elke zoekmachine geblokkeerd

-Nadeel: lastiger in te stellen, wachtwoord nodig ipv alleen url