SEO: Warum Websites trotz Robots.txt-Sperre in Google gezeigt werden

Matt Cutts, Leiter des Google Webspam Team, erklärt in einem Video, warum Websites im Google-Index auftauchen, obwohl explizit in der Robots.txt-Datei das Durchsuchen der Website gesperrt wurde. Grund dafür können Backlinks auf die vermeintlich gesperrte Website sein: In seinem Videobeitra