| Autor |
Beitrag |
retnyg
      
Beiträge: 2754
SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
|
Verfasst: Di 01.11.05 03:23
ich benötige ein programm, das eine komplette datenbank des internet's nach folgendem schema anlegt:
Quelltext 1: 2: 3: 4:
| startadress | endadress | reverseDNS | netname | country | location | owner | adress |misc 0.0.0.1 | 0.255.255.255 | - | RESERVED1 | US | - | IANA | 21 jump street |weitere interessante infos 1.0.0.1 | 1.255.255.255 | - | RESERVED9 | US | - | IANA | 21 jump street |weitere interessante infos 2.0.0.1 | 2.255.255.255 | - | RESERVED2 | US | - | IANA | 21 jump street |weitere interessante infos |
die informationen können beispielsweise von www.whois.sc/3.0.0.1 bezogen werden.
dabei ist zu beachten, dass die endadresse in die kalkulation miteinbezogen wird !
angenommen das network xy beginnt bei 213.0.0.1 und endet bei 213.15.255.255, muss der Whois Spider natürlich bei 213.16.0.1 weitermachen, usw.
mit der resultierenden datenbank könnte man z.b. besucher der eigenen website anhand ihrer ip-adresse erkennen und ihnen schimpfworte in ihrer muttersprache anzeigen... ne scherz, aber man könnte ihnen z.b. ihre fahne einbleden oder so
Teilnahmebedingungen:
- Der Quelltext muss hier veröffentlicht werden
- Als HTTP Komponente muss meine retHTTP unit eingesetzt werden, da ich Indy hasse
- als Datenbankformat muss CSV benutzt werden, da dieses problemlos in alle gängigen DB-System importiert werden kann.
Preis:
der Gewinner wird einen symbolischen Preis erhalten
Warum das ganze ?
Ich hätte gerne die Datenbank, habe aber momentan keine Zeit mich selber darum zu kümmern...
Und es gibt eine ganze Menge Coder in diesem Forum, denen langweilig ist und die sich vielleicht für diese Aufgabe interessieren.
_________________ es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
Zuletzt bearbeitet von retnyg am Di 01.11.05 03:31, insgesamt 1-mal bearbeitet
|
|
ripper8472
      
Beiträge: 114
Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)
|
Verfasst: Di 01.11.05 03:30
stell doch bei ripe.net oder arin.net ne emailtechnische anfrage, wo/ob du die db runterladen darfst.
|
|
retnyg 
      
Beiträge: 2754
SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
|
Verfasst: Di 01.11.05 03:32
ripper8472 hat folgendes geschrieben: | | stell doch bei ripe.net oder arin.net ne emailtechnische anfrage, wo/ob du die db runterladen darfst. |
die gibts nicht zum runterladen 
_________________ es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
|
|
ripper8472
      
Beiträge: 114
Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)
|
Verfasst: Di 01.11.05 03:51
ripper8472 hat folgendes geschrieben: | | emailtechnische anfrage |
oder frag wenigstens nach nem besseren interface als http. vielleicht irgendwas telnettes.
|
|
GTA-Place
      

Beiträge: 5248
Erhaltene Danke: 2
WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
|
Verfasst: Di 01.11.05 06:57
Das ist ja theoretisch nur ein parsen von X-Seiten, nicht?
_________________ "Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
|
|
alzaimar
      
Beiträge: 2889
Erhaltene Danke: 13
W2000, XP
D6E, BDS2006A, DevExpress
|
Verfasst: Di 01.11.05 09:12
Titel: Programmierwettbewerb - Whois Spider - OT und nebensächlich.
retnyg hat folgendes geschrieben: | | ... internet's ... |
Da ich das nicht kann, aber trotzdem Senf dazugeben möchte, bemängele ich hier einfach mal das Apostroph. Warum, steht hier: [url] www.deppenapostroph.de[/url].
_________________ Na denn, dann. Bis dann, denn.
|
|
GTA-Place
      

Beiträge: 5248
Erhaltene Danke: 2
WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
|
Verfasst: Di 01.11.05 09:35
Stimmt, man sollte mal die AGB's oder AGBs angucken...
Back2Topic ^^
_________________ "Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
|
|
retnyg 
      
Beiträge: 2754
SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
|
Verfasst: Di 01.11.05 12:14
Titel: Re: Programmierwettbewerb - Whois Spider - OT und nebensächlich.
alzaimar hat folgendes geschrieben: | retnyg hat folgendes geschrieben: | | ... internet's ... |
Da ich das nicht kann, aber trotzdem Senf dazugeben möchte, bemängele ich hier einfach mal das Apostroph. Warum, steht hier: [url]www.deppenapostroph.de[/url]. |
schlechte angewohnheit
GTA-Place hat folgendes geschrieben: | | Das ist ja theoretisch nur ein parsen von X-Seiten, nicht? |
und das erstellen der datenbank aus den eingelesenen daten.
der parser soll natürlich nicht jede ip abfragen, die es gibt (das wären milliarden), sondern die bereiche bis zum endpunkt eines netzes überspringen, und dort dann wieder weitermachen.
was die sache etwas schwieriger gestaltet ist, das programm so auszulegen, dass es nicht gleich als spider erkannt wird.
es sollte in einem random intervall zwischen 15 und 120 sekunden den nächsten connect machen, damit es aussieht als ob ein mensch geklickt hätte...
[quote=" ripper8472"] ripper8472 hat folgendes geschrieben: | | emailtechnische anfrage |
warum sollten die mir das mailen, wenn sie es offiziell nicht zur verfügung stellen ?
ripper8472 hat folgendes geschrieben: | | oder frag wenigstens nach nem besseren interface als http. vielleicht irgendwas telnettes. |
ich kenne keinen service, wo man per telnet zu whois daten kommt, du kannst mich aber gerne eines besseren belehren.
_________________ es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
|
|
ripper8472
      
Beiträge: 114
Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)
|
Verfasst: Di 01.11.05 12:18
drohe denen, dass du deren DB spiderst, wenn sie die nicht freiwillig rausruecken
mal echt jetzt, http ist overkill
en.wikipedia.org/wiki/Whois
so einen spider kann man effizienter in perl (und eigentlich jeder scriptsprache) schreiben als in delphi.
|
|
retnyg 
      
Beiträge: 2754
SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
|
Verfasst: Di 01.11.05 12:23
ich kenn den whois service hxxp://krazz.net/whois2.html , leider spuckt der ungefähr zu der hälfte der ip's nach denen ich suche nichts aus. wahrscheinlich die domainbereiche die nicht von ripe verwaltet werden.
whois.sc sucht sich diese infos scheinbar von den verschiedenen providern zusammen.
|
|
ripper8472
      
Beiträge: 114
Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)
|
Verfasst: Di 01.11.05 12:28
ich kenne ripe.net und arin.net
|
|
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1
|
Verfasst: Di 01.11.05 12:37
ripper8472 hat folgendes geschrieben: | | so einen spider kann man effizienter in perl (und eigentlich jeder scriptsprache) schreiben als in delphi. |
Und wenn du mir jetzt noch erklärst, was die Sprache mit dem verwendten Protokoll zu tun hat...
|
|
ripper8472
      
Beiträge: 114
Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)
|
Verfasst: Di 01.11.05 12:39
hat sie nicht und das hab ich nie behauptet, Lucke.
ich hatte behauptet, dass das vorhaben in delphi aufwendiger wird als in scriptsprachen.
ich hatte weiter behauptet, dass man das nicht ueber http machen soll, weils resourcen frisst, lahm ist und bedingt durchs parsen der htmls fehleranfaelliger.
|
|
th3Thr1ll3r
      
Beiträge: 31
Win XP Prof
Delphi 6 Pers.
|
Verfasst: Di 01.11.05 13:47
Kommt man eigentlich mit irgendeinem Whois-Service weiter rein al nur DEutschland??
Ich seh immer nur Deutschland, aber ich weiß, das man das jetzt noch irgendwie unterteilen kann, dass ich zum Beispiel in der Nähe von Greifswald liege und da ans www angeschlossen werde!
Also, weiß einer, we ich bis zur Information Greifswald komme??
|
|
ripper8472
      
Beiträge: 114
Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)
|
Verfasst: Di 01.11.05 13:56
man kann die ip bloecke deines provider sehen, weiter gehts mit whois nicht.
|
|
raziel
      
Beiträge: 2453
Arch Linux
JS (WebStorm), C#, C++/CLI, C++ (VS2013)
|
Verfasst: Di 01.11.05 14:22
Wenns dir wirklich nur darum geht, den Besuchern auf deiner Seite Inhalte entsprechend ihrer Herkunft zu präsentieren, müsste die CSV-Datei von www.maxmind.com eigentlich genügen...
_________________ JSXGraph
|
|
retnyg 
      
Beiträge: 2754
SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
|
Verfasst: Di 01.11.05 14:43
kannst du nen direktlink posten ?
ein einsatzzweck wäre auch *.gov, *.mil, *.gv.at den zugriff zu blockieren
und ne liste generieren mit allen musik, film und anti-raubkopier firmen (ähnlich wie peerguardian) die man dann generell blockieren kann
_________________ es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
|
|
raziel
      
Beiträge: 2453
Arch Linux
JS (WebStorm), C#, C++/CLI, C++ (VS2013)
|
Verfasst: Di 01.11.05 14:49
www.maxmind.com/app/geoip_country
Den restlichen Weg zur CSV findet der geneigte englischkundige Leser denk ich selbst...
_________________ JSXGraph
|
|
Pepe
      
Beiträge: 107
Win 98, Win 2000 Prof., Win XP Prof.
Delphi 2005 Prof.
|
Verfasst: Di 01.11.05 15:34
| Zitat: | ...
und ne liste generieren mit allen musik, film und anti-raubkopier firmen (ähnlich wie peerguardian) die man dann generell blockieren kann |
seh ich das richtig, das du ne tauschbörse schreiben willst? die entsprechende firmen, die einen verklagen könnten direkt ausgrenzt und du dafür die entsprechende db brauchst?
|
|
digi_c
      
Beiträge: 1905
W98, XP
D7 PE, Lazarus, WinAVR
|
Verfasst: Di 01.11.05 16:34
Ich habe mal ne andere Frage, und zwar meine ich in der c't gelesen zu haben das Whois Anfragen nur in einem bestimmten Intervall erlaubt um spamming zu vermeiden.
Ich glaube das ging da um einen Trojaner der periodisch nach freien Seiten gesucht hat oder so 
|
|
Dieses Thema ist gesperrt, Du kannst keine Beiträge editieren oder beantworten.
Das Thema wurde von einem Team-Mitglied geschlossen. Wenn du mit der Schließung des Themas nicht einverstanden bist, kontaktiere bitte das Team.
|
|