| Autor |
Beitrag |
THF
      
Beiträge: 110
Vista
Delphi 2005 professional
|
Verfasst: Mo 26.01.09 17:11
Wie bekommen ich alle Subdomains einer Internetadresse.
z.B. www.delphi-forum.de ---> /sitemap.php, .....
|
|
GTA-Place
      

Beiträge: 5248
Erhaltene Danke: 2
WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
|
Verfasst: Mo 26.01.09 17:15
Meinst du jetzt alle Dateien / Seiten oder Subdomains? Eine Subdomain wäre maps.google.de
_________________ "Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
|
|
THF 
      
Beiträge: 110
Vista
Delphi 2005 professional
|
Verfasst: Mo 26.01.09 17:17
GTA-Place hat folgendes geschrieben : | | Meinst du jetzt alle Dateien / Seiten oder Subdomains? Eine Subdomain wäre maps.google.de |
Nur Unterseiten, aber keine Dateien
|
|
jaenicke
      
Beiträge: 19346
Erhaltene Danke: 1754
W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
|
Verfasst: Mo 26.01.09 17:18
Dies wird nicht direkt möglich sein, du kannst höchstens alle Links auswerten. (Stichwort Crawler, Spider, ...)
|
|
THF 
      
Beiträge: 110
Vista
Delphi 2005 professional
|
Verfasst: Mo 26.01.09 17:20
jaenicke hat folgendes geschrieben : | | Dies wird nicht direkt möglich sein, du kannst höchstens alle Links auswerten. |
..und wie bekommt man alle Links der Seite ?
|
|
jaenicke
      
Beiträge: 19346
Erhaltene Danke: 1754
W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
|
Verfasst: Mo 26.01.09 17:22
Wenn du die Seite auch visuell darstellen willst z.B. indem du direkt TWebBrowser und den integrierten Parser benutzt:
www.cryer.co.uk/bria...bject.Document.Links
Oder, wenn du das unsichtbar machen willst, die Seite also dabei nicht sichtbar sein soll, indem du TIdHttp und einen beliebigen Parser aus dem Internet benutzt.
|
|
THF 
      
Beiträge: 110
Vista
Delphi 2005 professional
|
Verfasst: Mo 26.01.09 17:27
jaenicke hat folgendes geschrieben : | Wenn du die Seite auch visuell darstellen willst z.B. indem du direkt TWebBrowser und den integrierten Parser benutzt:
www.cryer.co.uk/bria...bject.Document.Links
Oder, wenn du das unsichtbar machen willst, die Seite also dabei nicht sichtbar sein soll, indem du TIdHttp und einen beliebigen Parser aus dem Internet benutzt. |
Unsichtbar !
was ist ein Parser ????
TIdHttp ....welche Methode ????
|
|
jaenicke
      
Beiträge: 19346
Erhaltene Danke: 1754
W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
|
Verfasst: Mo 26.01.09 17:31
|
|
THF 
      
Beiträge: 110
Vista
Delphi 2005 professional
|
Verfasst: Mo 26.01.09 18:09
|
|
Webo
      
Beiträge: 577
Erhaltene Danke: 14
Win 7, Debian
C# (Visual Studio 2013), PHP, C, C++ (Eclipse, KDevelop)
|
Verfasst: Mo 26.01.09 18:17
Zusätzlich noch die mit http:// weil des öfteren auch einfach nur mit http:// wasauchimmerohnewww .de verlinkt wird.
[Edit] Mir fällt noch ein, dass es ja auch die "content"-Lösung gibt (verwend ich ja selbst auch auf meine HP), wo dann irgendwo einfach nur index.php?id=13 steht und das dann z.B. auf Impressum.php verweist. Also müsstest du auch .php und .html miterkennen.
_________________ Man kann nur das aus dem Ärmel schütteln, was man auch vorher reingesteckt hat.
|
|
jaenicke
      
Beiträge: 19346
Erhaltene Danke: 1754
W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
|
Verfasst: Mo 26.01.09 18:42
Die einzig sinnvolle Lösung ist wirklich die Links direkt zu suchen, d.h. nach dem anchor-Tag. Und das geht eben am besten mit einem echten Parser.
Natürlich ist aber auch eine Frickellösung möglich. Wenn das für deine Zwecke ausreicht, dann ist das ja auch ok.
Wobei du am Anfang aber gesagt hattest, dass du keine Dateien haben wolltest, mit www. etc. bekommst du aber auch alle Bilddateien usw. 
|
|
THF 
      
Beiträge: 110
Vista
Delphi 2005 professional
|
Verfasst: Mo 26.01.09 18:46
jaenicke hat folgendes geschrieben : | Die einzig sinnvolle Lösung ist wirklich die Links direkt zu suchen, d.h. nach dem anchor-Tag. Und das geht eben am besten mit einem echten Parser.
Natürlich ist aber auch eine Frickellösung möglich. Wenn das für deine Zwecke ausreicht, dann ist das ja auch ok.
Wobei du am Anfang aber gesagt hattest, dass du keine Dateien haben wolltest, mit www. etc. bekommst du aber auch alle Bilddateien usw.  |
....aber die Bilddateien haben meist die Endung .jpg oder .bmp , daher kann ich die auch ausschliessen.
Aber ich schau mir den Parser mal an,und probier das mal aus.
Danke
|
|
jaenicke
      
Beiträge: 19346
Erhaltene Danke: 1754
W11 x64 (Chrome, Edge)
Delphi 12 Pro, C# (VS 2022), JS/HTML, Java (NB), PHP, Lazarus
|
Verfasst: Mo 26.01.09 19:02
Einen einfacheren Parser gibt es auch hier.
delphi.icm.edu.pl/ftp/d30free/htmlprsr.zip
(Wegen der äh... äußerst ungünstigen Konstruktion der Seite, kann ich nur einen direkten Dateilink posten. Um den Eintrag zu finden kannst du hier nach htmlparser suchen: dsp.href.com/)
Der oben verlinkte scheint aber schon sehr viel besser zu sein. 
|
|
Matze!
Hält's aus hier
Beiträge: 9
|
Verfasst: Mi 11.02.09 21:41
Ich weiß nicht, ob das wirklich unterstützt werden sollte:
| Zitat: | | Mein Program durchsucht Internetseiten nach Email-Adressen,und speichert diese dann in einer Email-Datenbank. |
Quelle: Delphi-PRAXiS.
Grüße
|
|
Christian S.
      
Beiträge: 20451
Erhaltene Danke: 2264
Win 10
C# (VS 2019)
|
Verfasst: Do 12.02.09 11:08
Hallo!
Das entsprechende Thema in der DP existiert zwar nicht mehr, aber die Fragestellung und auch die Aussage, das E-Mail-Adressen ermittelt und gespeichert werden sollen, habe ich ebenfalls gelesen.
Wir werden solche Anwendungen hier in keiner Weise unterstützen, daher schließe ich dieses Thema.
Christian
_________________ Zwei Worte werden Dir im Leben viele Türen öffnen - "ziehen" und "drücken".
|
|