Hallo,

wie jeder bestimmt schon weis, verwenden Suchmaschinen, Google ganz besonders, "Bots" alias Programme, welche die Webseiten nach Inhalten durchsuchen und Stichworte in eine Datenbanken speichern. Soweit ist das klar. Ich frage mich jedoch, wie dieser Zugriff auf die Webseiten passiert?

Wie:
Das Programm kann ja kaum auf den Server, auf dem die Seiten liegen, liegen und dort den Inhalt scannen? Obwohl dies mit Google sogar mal möglich war, mit der richten Anfrage, lokale Ordner auf dem Server zu finden. Aber das ist ein anderes Thema.
Eine Page nach Inhalten zu durchsuchen ist nicht das Problem. Ich kann mir jedoch nur vorstellen, dass dies auf einen seperaten Rechner passiert und nicht auf dem Server, wo die Page liegt.

Welche:
Woher nimmt ein solches Programm die Information, welche Pages es gibt? Gibt es eine Liste der URL's. Ich kenne DENIC für die Registrierung von de-Domänen, aber wo bekommt man eine Liste für sämtliche Domänkürzel her?

Danke für eure Infos!
Mexx

PS: Es geht mir hier nicht darum ein PAP für einen Google-Bot zu machen oder eine Alternative zu entwickeln.

Die Liste an Links kann man ganz einfach beim Abrufen einer Startseite erstellen.

Man gehe z.B. auf eine Startdomain (www.delphi-forum.de) und rufe dessen Seite ab. Im nun zurüückgelieferten Ergebnis finden sich haufenweise Links, die man sich merkt und mit dieser Seite verknüpft. Anschließend prüft man nun, ob diese Links schon im Suchindex vorhanden sind und ruft diese ab und verfährt identisch ...

Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.

Achso, demnach arbeiten die Bots keine vorher erstellte Liste mit URL's ab, sondern merken sich die Verweise auf der 1.Page und gehen diese durch. Schneeballprinzip! Bleibt noch offen, wo diese Bots nun eigentlich arbeiten. Auf dem Webserver der Page oder auf eine anderen Server?

Auf einem anderen Server ... Zumindest würde ich Google nicht auf MEINEN Webserver lassen

Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.

Das vermute ich auch. Die Suche nach den Inhalten KANN ja nur von anderen Severn erfolgen, weil die Bots keine Zugangsdaten für den URL-Server haben. Okay, bei Google denke ich das nicht, aber die anderen zumindest nicht.

Du könntest die Bots mit einem Browser vergleichen.

Der Bot ist ein Browser und ruft automatisch die Seiten auf und scannt den Quelltext.
Ist doch ganz easy, wozu sollte Google da auf den Webserver wollen?

mexx hat folgendes geschrieben:

Bleibt noch offen, wo diese Bots nun eigentlich arbeiten. Auf dem Webserver der Page oder auf eine anderen Server?

Also auf dem Server der EE beherbergen wir garantiert keinen Google-Bot.

Den Quelltext eines solchen Bots würde ich gerne mal sehen.

Also hier ist eine Anleitung wie GoogleBots funktionieren.

Google betreibt soweit ich weiß mehrere Rechenzentren auf der Welt. Es wird halt geschaut, wo du grade sitzt und die Anfrage dann an das passende Rechenzentrum geleitet.

In den Zentren stehen Reihen von vernetzten handelsüblichen PCs, die sind halt billig anzuschaffen.

Wie genau das Softwareseitig abläuft kann ich dir nicht sagen. Vom Prinzip her brauchst du dir nur mal irgendeinen Quelltext einer Seite anschauen und nach URLs zu suchen. Google könnte z.B. bei einer privaten Linksammlung gestartet haben, von da aus gings dann weiter auf eine andere Page, dort wurde die URL von einem Werbe-Anbieter gefunden, der betreibt wieder eine Liste seiner Kunde, von denen einer wieder eine Linksammlung hat. Das geht dann immer so weiter. Intern werden diese Suchläufe auf die Rechner aufgeteilt, die bekannten Seiten werde auch ab und zu mal wieder besucht um eventuell neue Links oder Inhalte in den Index zu laden.

Googles 1. Server: (*träum*)
upload.wikimedia.org...roduction_Server.jpg

Im Juni 2005 waren übrigens 8.058.044.651 Dokumente im Index... Und Google wirbt mit Suchzeiten unter einer halben Sekunde!

Das Dateisystem auf den Clustern ist auch interessant, vom Prinzip her ist das System ein riesiger Raid-Verbund.

LeoLöwe hat folgendes geschrieben:

In den Zentren stehen Reihen von vernetzten handelsüblichen PCs, die sind halt billig anzuschaffen.

Das möchte ich ja mal schwer anzweifeln. Da werden schon richtige Server stehen.

matze hat folgendes geschrieben:

LeoLöwe hat folgendes geschrieben: In den Zentren stehen Reihen von vernetzten handelsüblichen PCs, die sind halt billig anzuschaffen. Das möchte ich ja mal schwer anzweifeln. Da werden schon richtige Server stehen.

Sagte er doch ... Handelsübliche Haushaltsrechner ... oder hast Du etwa noch kein 42 HE-Einschubrack bei Dir zu hause stehen???

Aber der erste Production Server von Google ... HABEN WILL

Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.

matze hat folgendes geschrieben:

LeoLöwe hat folgendes geschrieben: In den Zentren stehen Reihen von vernetzten handelsüblichen PCs, die sind halt billig anzuschaffen. Das möchte ich ja mal schwer anzweifeln. Da werden schon richtige Server stehen.

Laut dem Buch "Die Google-Story" ist das tatsächlich so.

Richtig - es ist billiger vorhandene Infrastruktur zu einem Cluster zusammenzuschliessen als einen riesigen neuen Server zu kaufen. Die Strategie ist genial - wir werden unseren Elektronikschrott los und Google spart massig Geld *g*

Greetz
alcaeus