N'abend,
werden Dateien im Internet, die durch eine .htaccess-Datei passwortgeschützt sind, von Suchmaschinen indiziert?

Füge doch einfach einen Meta-Tag in der Fehlerdatei ein, der den Suchmaschinen das Indizieren verweigert.

Mir geht's dabei grad hauptsächlich um PDFs, also sind Meta-Tags keine Lösung.

Du könntest auch eine Sitemap erstellen, und die entsprechenden URLs dort als "nicht indizieren" eintragen. Idealerweise erstellst du die Sitemap mit PHP.

Alternativ über robots.txt verbieten.

Danke für eure Antworten.
robots.txt kommt leider auch nicht in Frage, weil diese afaik im Stammverzeichnis der Domain liegen muss und das hier nicht geht.
Die auf der von Yogu verlinkten Seite beschriebenen XML-Sitemaps kannte ich noch nicht. Das könnte eine Lösung sein, wobei ich nicht weiß, ob die von allen/vielen Crawlern berücksichtigt werden. Hat dazu jemand Informationen? Außerdem hab ich noch nicht gefunden, wie man mit damit konkret den Zugriff verbietet (priority 0 setzen?).
Weiß zu meiner Ausgangsfrage niemand etwas? Dann könnte man sich eventuell die Suche nach Alternativen auch ersparen.

Erst jetzt fällt mir auf, was für einen Blödsinn ich geschrieben habe. Sitemaps sind dazu da, den Inhalt von Seiten darzustellen, nicht um Indizierung zu untersagen.

Tut mir leid...

Jo, einfach



in eine .htaccess machen, dann kommt nur noch:

Zitat:

ERROR 403

(Auch bei Suchmaschinen)

MDX hat folgendes geschrieben :

Jo, einfach markieren XML-Daten     1: 2: 3: <Files *.pdf> deny from all </Files> in eine .htaccess machen, dann kommt nur noch: Zitat: ERROR 403 (Auch bei Suchmaschinen)

Wenn ich den OP richtig verstehe, sollen normale User die Dateien aber - nach Passworteingabe - durchaus sehen können...

nagel hat folgendes geschrieben :

werden Dateien im Internet, die durch eine .htaccess-Datei passwortgeschützt sind, von Suchmaschinen indiziert?

Suchrobots müssen die Seite (genauso wie jeder andere Benutzer auch) vom Webserver anfordern. Wenn dein Webserver eine HTTP-Authentizierung verlangt, und bei fehlerhafter oder fehlender Eingabe einen Fehler ausgibt (was er auch tut), dann bekommen auch Bots die Fehlerseite vorgesetzt.

LG,
Xong

Dann macsht du eben:



Und für die htpasswd, kuckste bei Google: HTPASSWD

Mit .htaccess geschütze Ordner werden nicht indiziert. Sie dürfen nicht indiziert werden. das wäre ja eine Katastrophe, dann käme man ja über die Suchmaschinen an die Inhalte dieser geschützen Ordner dran. Und wie schon gesagt wurde, ist es technisch auch gar nicht möglich.

MDX: Ich glaube, nagel weiß, wie man eine Seite mit einem Passwort versieht. Seine Frage war, ob diese Dateien von Bots indiziert werden

Luckie hat folgendes geschrieben :

Mit .htaccess geschütze Ordner werden nicht indiziert. Sie dürfen nicht indiziert werden. das wäre ja eine Katastrophe, dann käme man ja über die Suchmaschinen an die Inhalte dieser geschützen Ordner dran. Und wie schon gesagt wurde, ist es technisch auch gar nicht möglich.

Es ist technisch schon möglich, dass diverse Fehlerseiten indiziert werden. Selbstverständlich nur die Fehlerseiten, und nicht die eigentlichen Daten. Aber ich denke, das dürfte klar sein.

OK danke, damit hat sich das geklärt.

Die Fehlerseiten könne ja auch wegen mir indiziert werden, nur eben die Inhalte von geschützen Ordnern bitte nicht.