Autor Beitrag
THF
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 110

Vista
Delphi 2005 professional
BeitragVerfasst: Mo 26.01.09 17:11 
Wie bekommen ich alle Subdomains einer Internetadresse.

z.B. www.delphi-forum.de ---> /sitemap.php, .....
GTA-Place
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
EE-Regisseur
Beiträge: 5248
Erhaltene Danke: 2

WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
BeitragVerfasst: Mo 26.01.09 17:15 
Meinst du jetzt alle Dateien / Seiten oder Subdomains? Eine Subdomain wäre maps.google.de

_________________
"Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
THF Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 110

Vista
Delphi 2005 professional
BeitragVerfasst: Mo 26.01.09 17:17 
user profile iconGTA-Place hat folgendes geschrieben Zum zitierten Posting springen:
Meinst du jetzt alle Dateien / Seiten oder Subdomains? Eine Subdomain wäre maps.google.de


Nur Unterseiten, aber keine Dateien
jaenicke
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 19346
Erhaltene Danke: 1754

W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
BeitragVerfasst: Mo 26.01.09 17:18 
Dies wird nicht direkt möglich sein, du kannst höchstens alle Links auswerten. (Stichwort Crawler, Spider, ...)
THF Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 110

Vista
Delphi 2005 professional
BeitragVerfasst: Mo 26.01.09 17:20 
user profile iconjaenicke hat folgendes geschrieben Zum zitierten Posting springen:
Dies wird nicht direkt möglich sein, du kannst höchstens alle Links auswerten.


..und wie bekommt man alle Links der Seite ?
jaenicke
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 19346
Erhaltene Danke: 1754

W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
BeitragVerfasst: Mo 26.01.09 17:22 
Wenn du die Seite auch visuell darstellen willst z.B. indem du direkt TWebBrowser und den integrierten Parser benutzt:
www.cryer.co.uk/bria...bject.Document.Links

Oder, wenn du das unsichtbar machen willst, die Seite also dabei nicht sichtbar sein soll, indem du TIdHttp und einen beliebigen Parser aus dem Internet benutzt.
THF Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 110

Vista
Delphi 2005 professional
BeitragVerfasst: Mo 26.01.09 17:27 
user profile iconjaenicke hat folgendes geschrieben Zum zitierten Posting springen:
Wenn du die Seite auch visuell darstellen willst z.B. indem du direkt TWebBrowser und den integrierten Parser benutzt:
www.cryer.co.uk/bria...bject.Document.Links

Oder, wenn du das unsichtbar machen willst, die Seite also dabei nicht sichtbar sein soll, indem du TIdHttp und einen beliebigen Parser aus dem Internet benutzt.


Unsichtbar !

was ist ein Parser ????

TIdHttp ....welche Methode ????
jaenicke
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 19346
Erhaltene Danke: 1754

W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
BeitragVerfasst: Mo 26.01.09 17:31 
user profile iconTHF hat folgendes geschrieben Zum zitierten Posting springen:
was ist ein Parser ????
de.wikipedia.org/wiki/Parser ;-)

user profile iconTHF hat folgendes geschrieben Zum zitierten Posting springen:
TIdHttp ....welche Methode ????
Get, damit bekommst du dann den Quelltext. Beispiele gibts viele.

Diesen Quelltext musst du dann analysieren. Am besten mit einem Parser.
Dies hier hört sich z.B. danach an:
sourceforge.net/projects/htmlp
THF Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 110

Vista
Delphi 2005 professional
BeitragVerfasst: Mo 26.01.09 18:09 
user profile iconjaenicke hat folgendes geschrieben Zum zitierten Posting springen:
user profile iconTHF hat folgendes geschrieben Zum zitierten Posting springen:
was ist ein Parser ????
de.wikipedia.org/wiki/Parser ;-)

user profile iconTHF hat folgendes geschrieben Zum zitierten Posting springen:
TIdHttp ....welche Methode ????
Get, damit bekommst du dann den Quelltext. Beispiele gibts viele.

Diesen Quelltext musst du dann analysieren. Am besten mit einem Parser.
Dies hier hört sich z.B. danach an:
sourceforge.net/projects/htmlp


Wenn ich den Quelltext habe, dann brauch ich doch nur alle Wörter suchen, die mit "www." anfangen,

und in denen die Adresse der Hauptseite (z.B...delphi-forum) enthalten ist, dann hab ich alle Links , oder ????
Webo
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 577
Erhaltene Danke: 14

Win 7, Debian
C# (Visual Studio 2013), PHP, C, C++ (Eclipse, KDevelop)
BeitragVerfasst: Mo 26.01.09 18:17 
Zusätzlich noch die mit http:// weil des öfteren auch einfach nur mit http:// wasauchimmerohnewww .de verlinkt wird.

[Edit] Mir fällt noch ein, dass es ja auch die "content"-Lösung gibt (verwend ich ja selbst auch auf meine HP), wo dann irgendwo einfach nur index.php?id=13 steht und das dann z.B. auf Impressum.php verweist. Also müsstest du auch .php und .html miterkennen.

_________________
Man kann nur das aus dem Ärmel schütteln, was man auch vorher reingesteckt hat.
jaenicke
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 19346
Erhaltene Danke: 1754

W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
BeitragVerfasst: Mo 26.01.09 18:42 
Die einzig sinnvolle Lösung ist wirklich die Links direkt zu suchen, d.h. nach dem anchor-Tag. Und das geht eben am besten mit einem echten Parser.

Natürlich ist aber auch eine Frickellösung möglich. Wenn das für deine Zwecke ausreicht, dann ist das ja auch ok. ;-)

Wobei du am Anfang aber gesagt hattest, dass du keine Dateien haben wolltest, mit www. etc. bekommst du aber auch alle Bilddateien usw. ;-)
THF Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 110

Vista
Delphi 2005 professional
BeitragVerfasst: Mo 26.01.09 18:46 
user profile iconjaenicke hat folgendes geschrieben Zum zitierten Posting springen:
Die einzig sinnvolle Lösung ist wirklich die Links direkt zu suchen, d.h. nach dem anchor-Tag. Und das geht eben am besten mit einem echten Parser.

Natürlich ist aber auch eine Frickellösung möglich. Wenn das für deine Zwecke ausreicht, dann ist das ja auch ok. ;-)

Wobei du am Anfang aber gesagt hattest, dass du keine Dateien haben wolltest, mit www. etc. bekommst du aber auch alle Bilddateien usw. ;-)


....aber die Bilddateien haben meist die Endung .jpg oder .bmp , daher kann ich die auch ausschliessen.

Aber ich schau mir den Parser mal an,und probier das mal aus.

Danke
jaenicke
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 19346
Erhaltene Danke: 1754

W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
BeitragVerfasst: Mo 26.01.09 19:02 
Einen einfacheren Parser gibt es auch hier.
delphi.icm.edu.pl/ftp/d30free/htmlprsr.zip
(Wegen der äh... äußerst ungünstigen Konstruktion der Seite, kann ich nur einen direkten Dateilink posten. Um den Eintrag zu finden kannst du hier nach htmlparser suchen: dsp.href.com/)

Der oben verlinkte scheint aber schon sehr viel besser zu sein. ;-)
Matze!
Hält's aus hier
Beiträge: 9



BeitragVerfasst: Mi 11.02.09 21:41 
Ich weiß nicht, ob das wirklich unterstützt werden sollte:

Zitat:
Mein Program durchsucht Internetseiten nach Email-Adressen,und speichert diese dann in einer Email-Datenbank.

Quelle: Delphi-PRAXiS.

Grüße
Christian S.
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 20451
Erhaltene Danke: 2264

Win 10
C# (VS 2019)
BeitragVerfasst: Do 12.02.09 11:08 
Hallo!

Das entsprechende Thema in der DP existiert zwar nicht mehr, aber die Fragestellung und auch die Aussage, das E-Mail-Adressen ermittelt und gespeichert werden sollen, habe ich ebenfalls gelesen.

Wir werden solche Anwendungen hier in keiner Weise unterstützen, daher schließe ich dieses Thema.

Christian

_________________
Zwei Worte werden Dir im Leben viele Türen öffnen - "ziehen" und "drücken".
Dieses Thema ist gesperrt, Du kannst keine Beiträge editieren oder beantworten.

Das Thema wurde von einem Team-Mitglied geschlossen. Wenn du mit der Schließung des Themas nicht einverstanden bist, kontaktiere bitte das Team.