Robots.txt

Zusammenfassung

• Definition: Eine Datei im Root-Verzeichnis einer Website, die Suchmaschinen mitteilt, welche Seiten gecrawlt werden dürfen und welche nicht.
• Nutzen: Hilft dabei, Crawling-Ressourcen effizient zu nutzen und sensible Inhalte vor der Indexierung zu schützen