Hacking - Robots

Open deze challenge op ctf.hackchallenges.nl - zoek naar "Robots" onder Hacking.

Moeilijkheid: ⭐ Makkelijk

Onderwerp

robots.txt

Beschrijving

Websites gebruiken een speciaal bestand om zoekmachines te vertellen welke pagina's ze wel en niet mogen indexeren. Dit bestand is publiek toegankelijk.

Wat je leert

• Wat het robots.txt bestand is en waarvoor het dient
• Hoe zoekmachines websites indexeren
• Dat robots.txt geen beveiligingsmechanisme is

Hints

Hint 1

Webservers hebben standaardbestanden die informatie bevatten over de website. Welk bestand vertelt zoekmachines waar ze wel en niet mogen kijken?

Hint 2

Zoek op internet naar hoe zoekmachines weten welke pagina's ze niet mogen indexeren. Probeer het bijbehorende bestand te openen door de naam achter de basis-URL te plaatsen.

Hint 3

Bekijk de regels in het bestand goed. Disallow-regels verwijzen naar paden die "verborgen" moeten blijven — maar je kunt er gewoon naartoe navigeren in je browser.