# robot.txt für www.urlaub-bei-arvert.de User-agent: * # gilt für alle Crawler Disallow: /cgi-bin/ # verzeichnis für cgi - skripte # ende robot.txt