Und gegen Indizierung hilft die robots.txt auch nicht vollständig, sondern nur gegen das Auswerten des Inhalts (darum ist bei HTML-Seiten eher die Benutzung von “noindex” im robots-Metatag sinnvoll). Bei bestimmten Anfragen tauchen die durch die robots.txt ausgeschlossenen URLs nämlich doch auf, wenn auch ohne Textauszug, da der Inhalt ja nicht bekannt ist. Da er aber nicht bekannt ist, gibt es auch deutlich weniger Treffer. Jedoch wird ja zumindest bei Google auch der Linktext ausgewertet, sodass man mit diesem auch den Feed finden sollte.