Menu
Menu

robotstxt

Was ist die robots.txt und wofür sie gut ist

Posted in SEO News on 25. April 2017
Schlagwörter: ,

Was ist die robots.txt und wofür sie gut ist

Sascha Lienesch veröffentlichte auf seiner Homepage folgenden Artikel: Die robots.txt ist eine einfache Textdatei, die Webmaster erstellen, um Crawlern Anweisungen zu geben, welche Bereiche einer Website gecrawlt werden dürfen und welche nicht. Die Datei wird im Hauptverzeichnis (Root) auf dem Webserver abgelegt. Kommt... Den ganzen Artikel gibt es hier: https://www.xovi.de/2017/04/was-ist-die-robots-txt-und-wofuer-sie-gut-ist/

Live.com ignoriert die Robots.txt von Google.de

Posted in SEO News on 25. Dezember 2006
Schlagwörter: , , , ,

Live.com ignoriert die Robots.txt von Google.de

Malte Landwehr schrieb auf seiner Website diesen Artikel: Sucht man auf Live.com nach „Google Virenscanner“ (link) so ist das erste Ergebnis Google. Aber man kommt nicht etwa zum Google Pack oder Google Mail (den einzigen Google Diensten, die etwas mit einem Virenscanner zu tun haben) sondern zu... Den vollständigen Text kann man hier einsehen: http://www.nxplorer.net/blog/2006/12/livecom-ignoriert-die-robotstxt-von-googlede/