Autor Beitrag
retnyg
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2754

SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
BeitragVerfasst: Di 01.11.05 03:23 
ich benötige ein programm, das eine komplette datenbank des internet's nach folgendem schema anlegt:

ausblenden Quelltext
1:
2:
3:
4:
startadress | endadress     | reverseDNS | netname   | country | location | owner | adress         |misc
0.0.0.1     | 0.255.255.255 | -          | RESERVED1 | US      |  -       | IANA  | 21 jump street |weitere interessante infos
1.0.0.1     | 1.255.255.255 | -          | RESERVED9 | US      |  -       | IANA  | 21 jump street |weitere interessante infos
2.0.0.1     | 2.255.255.255 | -          | RESERVED2 | US      |  -       | IANA  | 21 jump street |weitere interessante infos


die informationen können beispielsweise von www.whois.sc/3.0.0.1 bezogen werden.
dabei ist zu beachten, dass die endadresse in die kalkulation miteinbezogen wird !
angenommen das network xy beginnt bei 213.0.0.1 und endet bei 213.15.255.255, muss der Whois Spider natürlich bei 213.16.0.1 weitermachen, usw.

mit der resultierenden datenbank könnte man z.b. besucher der eigenen website anhand ihrer ip-adresse erkennen und ihnen schimpfworte in ihrer muttersprache anzeigen... ne scherz, aber man könnte ihnen z.b. ihre fahne einbleden oder so :mrgreen:

Teilnahmebedingungen:
- Der Quelltext muss hier veröffentlicht werden
- Als HTTP Komponente muss meine retHTTP unit eingesetzt werden, da ich Indy hasse
- als Datenbankformat muss CSV benutzt werden, da dieses problemlos in alle gängigen DB-System importiert werden kann.

Preis:
der Gewinner wird einen symbolischen Preis erhalten

Warum das ganze ?
Ich hätte gerne die Datenbank, habe aber momentan keine Zeit mich selber darum zu kümmern...
Und es gibt eine ganze Menge Coder in diesem Forum, denen langweilig ist und die sich vielleicht für diese Aufgabe interessieren.

_________________
es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...


Zuletzt bearbeitet von retnyg am Di 01.11.05 03:31, insgesamt 1-mal bearbeitet
ripper8472
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 114

Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)

BeitragVerfasst: Di 01.11.05 03:30 
stell doch bei ripe.net oder arin.net ne emailtechnische anfrage, wo/ob du die db runterladen darfst.
retnyg Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2754

SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
BeitragVerfasst: Di 01.11.05 03:32 
user profile iconripper8472 hat folgendes geschrieben:
stell doch bei ripe.net oder arin.net ne emailtechnische anfrage, wo/ob du die db runterladen darfst.

die gibts nicht zum runterladen ;)

_________________
es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
ripper8472
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 114

Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)

BeitragVerfasst: Di 01.11.05 03:51 
user profile iconripper8472 hat folgendes geschrieben:
emailtechnische anfrage

oder frag wenigstens nach nem besseren interface als http. vielleicht irgendwas telnettes.
GTA-Place
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
EE-Regisseur
Beiträge: 5248
Erhaltene Danke: 2

WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
BeitragVerfasst: Di 01.11.05 06:57 
Das ist ja theoretisch nur ein parsen von X-Seiten, nicht?

_________________
"Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Di 01.11.05 09:12 
Titel: Programmierwettbewerb - Whois Spider - OT und nebensächlich.
user profile iconretnyg hat folgendes geschrieben:
... internet's ...

Da ich das nicht kann, aber trotzdem Senf dazugeben möchte, bemängele ich hier einfach mal das Apostroph. Warum, steht hier: [url]www.deppenapostroph.de[/url].

_________________
Na denn, dann. Bis dann, denn.
GTA-Place
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
EE-Regisseur
Beiträge: 5248
Erhaltene Danke: 2

WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
BeitragVerfasst: Di 01.11.05 09:35 
Stimmt, man sollte mal die AGB's oder AGBs angucken...

Back2Topic ^^

_________________
"Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
retnyg Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2754

SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
BeitragVerfasst: Di 01.11.05 12:14 
Titel: Re: Programmierwettbewerb - Whois Spider - OT und nebensächlich.
user profile iconalzaimar hat folgendes geschrieben:
user profile iconretnyg hat folgendes geschrieben:
... internet's ...

Da ich das nicht kann, aber trotzdem Senf dazugeben möchte, bemängele ich hier einfach mal das Apostroph. Warum, steht hier: [url]www.deppenapostroph.de[/url].

schlechte angewohnheit ;)
user profile iconGTA-Place hat folgendes geschrieben:
Das ist ja theoretisch nur ein parsen von X-Seiten, nicht?

und das erstellen der datenbank aus den eingelesenen daten.
der parser soll natürlich nicht jede ip abfragen, die es gibt (das wären milliarden), sondern die bereiche bis zum endpunkt eines netzes überspringen, und dort dann wieder weitermachen.
was die sache etwas schwieriger gestaltet ist, das programm so auszulegen, dass es nicht gleich als spider erkannt wird.
es sollte in einem random intervall zwischen 15 und 120 sekunden den nächsten connect machen, damit es aussieht als ob ein mensch geklickt hätte...
[quote="user profile iconripper8472"]
user profile iconripper8472 hat folgendes geschrieben:
emailtechnische anfrage

warum sollten die mir das mailen, wenn sie es offiziell nicht zur verfügung stellen ?
user profile iconripper8472 hat folgendes geschrieben:
oder frag wenigstens nach nem besseren interface als http. vielleicht irgendwas telnettes.

ich kenne keinen service, wo man per telnet zu whois daten kommt, du kannst mich aber gerne eines besseren belehren.

_________________
es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
ripper8472
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 114

Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)

BeitragVerfasst: Di 01.11.05 12:18 
drohe denen, dass du deren DB spiderst, wenn sie die nicht freiwillig rausruecken :P

mal echt jetzt, http ist overkill
en.wikipedia.org/wiki/Whois

so einen spider kann man effizienter in perl (und eigentlich jeder scriptsprache) schreiben als in delphi.
retnyg Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2754

SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
BeitragVerfasst: Di 01.11.05 12:23 
ich kenn den whois service hxxp://krazz.net/whois2.html , leider spuckt der ungefähr zu der hälfte der ip's nach denen ich suche nichts aus. wahrscheinlich die domainbereiche die nicht von ripe verwaltet werden.
whois.sc sucht sich diese infos scheinbar von den verschiedenen providern zusammen.
ripper8472
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 114

Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)

BeitragVerfasst: Di 01.11.05 12:28 
ich kenne ripe.net und arin.net
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1



BeitragVerfasst: Di 01.11.05 12:37 
user profile iconripper8472 hat folgendes geschrieben:
so einen spider kann man effizienter in perl (und eigentlich jeder scriptsprache) schreiben als in delphi.

Und wenn du mir jetzt noch erklärst, was die Sprache mit dem verwendten Protokoll zu tun hat...
ripper8472
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 114

Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)

BeitragVerfasst: Di 01.11.05 12:39 
hat sie nicht und das hab ich nie behauptet, Lucke.

ich hatte behauptet, dass das vorhaben in delphi aufwendiger wird als in scriptsprachen.
ich hatte weiter behauptet, dass man das nicht ueber http machen soll, weils resourcen frisst, lahm ist und bedingt durchs parsen der htmls fehleranfaelliger.
th3Thr1ll3r
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 31

Win XP Prof
Delphi 6 Pers.
BeitragVerfasst: Di 01.11.05 13:47 
Kommt man eigentlich mit irgendeinem Whois-Service weiter rein al nur DEutschland??
Ich seh immer nur Deutschland, aber ich weiß, das man das jetzt noch irgendwie unterteilen kann, dass ich zum Beispiel in der Nähe von Greifswald liege und da ans www angeschlossen werde!

Also, weiß einer, we ich bis zur Information Greifswald komme??
ripper8472
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 114

Win2k (und wenn ich nen Zweitrechner haette, auch eine Linux Distri)

BeitragVerfasst: Di 01.11.05 13:56 
man kann die ip bloecke deines provider sehen, weiter gehts mit whois nicht.
raziel
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 2453

Arch Linux
JS (WebStorm), C#, C++/CLI, C++ (VS2013)
BeitragVerfasst: Di 01.11.05 14:22 
Wenns dir wirklich nur darum geht, den Besuchern auf deiner Seite Inhalte entsprechend ihrer Herkunft zu präsentieren, müsste die CSV-Datei von www.maxmind.com eigentlich genügen...

_________________
JSXGraph
retnyg Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2754

SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
BeitragVerfasst: Di 01.11.05 14:43 
kannst du nen direktlink posten ?
ein einsatzzweck wäre auch *.gov, *.mil, *.gv.at den zugriff zu blockieren
und ne liste generieren mit allen musik, film und anti-raubkopier firmen (ähnlich wie peerguardian) die man dann generell blockieren kann

_________________
es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
raziel
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 2453

Arch Linux
JS (WebStorm), C#, C++/CLI, C++ (VS2013)
BeitragVerfasst: Di 01.11.05 14:49 
www.maxmind.com/app/geoip_country

Den restlichen Weg zur CSV findet der geneigte englischkundige Leser denk ich selbst...

_________________
JSXGraph
Pepe
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 107

Win 98, Win 2000 Prof., Win XP Prof.
Delphi 2005 Prof.
BeitragVerfasst: Di 01.11.05 15:34 
Zitat:
...
und ne liste generieren mit allen musik, film und anti-raubkopier firmen (ähnlich wie peerguardian) die man dann generell blockieren kann



seh ich das richtig, das du ne tauschbörse schreiben willst? die entsprechende firmen, die einen verklagen könnten direkt ausgrenzt und du dafür die entsprechende db brauchst?
digi_c
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 1905

W98, XP
D7 PE, Lazarus, WinAVR
BeitragVerfasst: Di 01.11.05 16:34 
Ich habe mal ne andere Frage, und zwar meine ich in der c't gelesen zu haben das Whois Anfragen nur in einem bestimmten Intervall erlaubt um spamming zu vermeiden.
Ich glaube das ging da um einen Trojaner der periodisch nach freien Seiten gesucht hat oder so :?
Dieses Thema ist gesperrt, Du kannst keine Beiträge editieren oder beantworten.

Das Thema wurde von einem Team-Mitglied geschlossen. Wenn du mit der Schließung des Themas nicht einverstanden bist, kontaktiere bitte das Team.