Autor Beitrag
ralfi
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 153



BeitragVerfasst: Fr 08.08.03 14:08 
Hallo!

Also, ein Freund von mir ist ein Autohändler. Er hat mich gebeten, ein Suchsoftwaqre für Ihn zu schreiben. Das Software sollte die neuste Suchergebnisse bei www.mobile.de filtern und anzeigen. Also, alte Ergebnisse werden nicht angezeigt, nur die, die innerhalb der letzten 20 sec. einegegenen wurde. Ich hoffe, es ist klar was ich meine :-)

Das Software habe ich geschrieben, funktioniert wunderbar. Jetzt werde ich versuchen Schritt für Schritt zu erklären, wie das Programm im inneren funktioniert, ansonsten kann ich meine Frage dann nicht richtig formulieren.
So, man startet das Programm und gibt eine Suchmaske ein, ganz genauso wie bei mobile.de: Marke, Model, Erstzulassung, Preis von, Preis bis, Ketegorie etc... Bestätigt man mit einem Button. Es wird ein Link mit den Suchparametern generiert und in eine Liste hinzufügt. Dann sendet das Programm diese Anfrage über Get-funktion an mobile.de. Mobile.de gibt eine Antwort mit den Suchergebnissen zurück. Das kann eine Seite sein oder mehrere Seiten, wenn es mehr als 20 Suchergebnisse gibt. Ich hoffe, alle wissen was mobile.de ist und wie das funktioniert. :-)
So, als nächster Schritt werden alle bereits vorhandene Angebote auf mobile.de in eine Datenbank hinzufügt. Jeder Angebot auf mobile.de hat ein ID-Nummer, z.B www.mobile.de/cgi-bi...111111124464825&. Diese ID-Nummern landen im Datenbank.
Und jetzt beginnt das wichtigste: jede zwei Sekunden sendet das Programm das Link wieder an mobile.de und bekommt die Zahl der vorhandenen Suchergebnisse. Sobald sich der Zahl ändert heisst es, ein neuer Angebot wurde hinzufügt. Da schaltet sich die Vergleichfunktion, die die Ergebnisse auf der Web-Seite einen nacheinander mit den Einträgen im Datenbank vergleicht. Wenn einen oder mehrere Ergebnisse im Datenbank nicht vorhanden sind, dann sind die neu und werden dem User angezeigt.
Ich kann auch auf Anfrage das Software schicken, damit man besser versteht worum es geht.

Mein Problem ist: wenn der Server z.B. mehrere Ergebnisseiten ausgibt, muss ich alle Ergebnisseiten nacheinander in einer Schleife laden, auf IDs dursuchen und vergleichen. Und das kann bis zu einer Min. dauern.

Es ist so, dass ein Bekannter von mir auch so ein Software geschrieben hat. Bei ihm werden die neue Angebote innerhalb 3. Sec. gefunden, egal wieviele Ergebnisseiten der Server ausgegeben hat. UND DAS ALLES GANZ OHNE DATENBANK UND IRGENDWELCHEN VERGLEICHFUNKTIONEN! Irgenein logischen Algorythmus hilft ihm, sofort auf neuste Angebote zu kommen. Ich weiss nicht, vielleicht benutzt er irgendwelche geheimfunktion der mobile.de. Ich habe die Web-Seite durch und quer untersucht, aber nichts gefunden, womit ich auf neuste Angebote kommen kann.

Kann mir jemand helfen die Web-Seite zu analisieren oder die Möglichkeit zu finden, auf neuste angebote sofort zu kommen? Ich weiss genau, dass es möglich ist, aber wie? Für einen guten Tip, der mich zur Lösung meines Problems führt, würde ich gerne bezahlen.

Im Voraus danke!

Für Fragen: sheltow@freenet.de oder unter +49 221 9689986
UGrohne
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Veteran
Beiträge: 5502
Erhaltene Danke: 220

Windows 8 , Server 2012
D7 Pro, VS.NET 2012 (C#)
BeitragVerfasst: Fr 08.08.03 14:14 
Mal was ganz anderes zu dem Thema: Ich wurde auch mal von einem Autohändler angeschrieben, der genauso eine Software gebraucht hat. Ich habe das aber abgelehnt, weil er mir kein Einverständnis der Betreibers liefern konnte. Wenn also der Typ rauskriegen sollte, was Du da gemacht hast, könnte das Folgen haben. Nur mal soviel am Rande
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1



BeitragVerfasst: Fr 08.08.03 15:31 
Ich denke mal die Datenbank ist die Bremse.
ralfi Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 153



BeitragVerfasst: Fr 08.08.03 20:28 
Was heisst, die Datenbank ist die Bremse? Eigentlich ist das nur eine Textdatei, in die IDs geschrieben werden. Das nenne ich auch kleine Datenbank. Und die Bremse kann das nicht sein - mit Regulären Ausdrücken werden die Sätze ganz schnell verglichen. Wenn es eine Ergebnisseite gibt - dauert es 4-5 Sekunden, ganz schnell. Aber wenn die Suchergebnisse auf mehreren Seiten verteilt sind, muss ich natürlich alle diese Seiten dürchblättern und das dauert.

Aber ch weiss ganz genau, dass es möglich ist, auf neuste Angebote sofort zu gelangen, ohne irgendwelche vergleiche ausführen zu müssen - habe ich mit eigenen Augen gesehen! Der Typ startet das Programm, gibt Suchkriterien für 20 Autos in die Suchliste ein, dann geht er auf Mobile.de und inseriert ein Auto, das einem der eingegeben Suchkriterien entspricht. Befor er die Bestätigungseite von mobile.de auf dem Bildschirm kriegt (!), hat das Programm der Inserat schon gefunden. Also, egal wie schnell der Vergleichmechanismus ist, man kann nicht in drei Sekunden zwölf Web-Seiten aufrufen, parsen, Ergebnisse vergleichen und dann dem User zeigen. Nein. Er hat entweder eine oder mehrere Geheimparameter bei mobile.de gefunden oder ein Algorythmus geschrieben, der es ermöglicht, sofort auf die neuste Inserate zu kommen. Hat jemand eine Idee? Gucken Sie einfach mal die Seite von Mobile.de. Vielleicht habe ich was übersehen (was eigentlich unwahrscheinlich ist)? Wie gesagt, für einen guten Tip, der mich weiterbringt, werde ich bezahlen.
ralfi Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 153



BeitragVerfasst: Sa 09.08.03 13:15 
Keine neuen Ideen?
neojones
ontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic starofftopic star
Beiträge: 1206
Erhaltene Danke: 1



BeitragVerfasst: Mo 11.08.03 10:26 
Informier Dich mal bei mobile.de. Die haben eine Schnittstelle für so was. Deswegen können andere Tools das, z.B. Car-Checker in der demnächst kommenden Version.

Die Schnittstelle ist allerdings schweineteuer.

Viele Grüße,

Matthias Brinkmann

_________________
Ha! Es compiliert! Wir können ausliefern!
ralfi Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 153



BeitragVerfasst: Mo 11.08.03 23:25 
Ich habe immer noch keine Lösung. Ich würde 500 EUR für die erfolgbringende Hilfe bezahlen. Allein schafe isch das kaum.
neojones
ontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic starofftopic star
Beiträge: 1206
Erhaltene Danke: 1



BeitragVerfasst: Di 12.08.03 11:03 
Wie gesagt: Es gibt eine Schnittstelle für so was...

Viele Grüße,

Matthias

_________________
Ha! Es compiliert! Wir können ausliefern!
ralfi Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 153



BeitragVerfasst: Mi 13.08.03 15:28 
Car-Cheker haben Sie geschrieben ja?

Was kostet den so eine Schnittstelle und wie schnell ist Ihr Programm?
ralfi Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 153



BeitragVerfasst: Do 14.08.03 12:55 
neojones hat folgendes geschrieben:
Informier Dich mal bei mobile.de. Die haben eine Schnittstelle für so was. Deswegen können andere Tools das, z.B. Car-Checker in der demnächst kommenden Version.


Habe mobile.de angeschrieben - es gibt keine Schnittstelle.

Sehr geehrter Herr Mannhold,

herzlichen Dank für Ihre eMail. Eine read-only Schnittstelle zum Auslesen unserer Datenbank gibt es aus datenschutztechnischen Gründen nicht und wird von uns aus denselben Gründen auch zukünftig nicht angeboten werden. Als registrieter Kunde können Sie jedoch Ihren bei mobile.de inserierten Fahrzeugbestand in Form einer CSV Datei oder (mit Bildern) einer ZIP Datei herunterladen. Den Datenbestand anderer Kunden hingegen können Sie auf diese Weise nicht herunterladen.

Fuer eventuelle Fragen...

Mit freundlichen Gruessen
Ihr mobile.de Team


Ich weiss nicht wie Car-Checker die Schnittstelle nutzen kann, die es überhaupt nicht gibt. Hat jemand noch Ideen?
lemming
ontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic starofftopic star
Beiträge: 470

Mac OS 10.3.1
Delphi 6 Pro, Kylix 3
BeitragVerfasst: Do 14.08.03 14:00 
Ich habe die Lösung Ralfi. Eine Lösung mit der immer nur ein GET nötig ist um die neusten Autos zu finden.

Ich würde die € 500,- gern haben! :)

email me: thilo (at) hardtware.de
Renegade
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 358

Win XP Pro, Win 7 Beta
BDS 2006
BeitragVerfasst: Do 14.08.03 15:50 
Schade :cry:

Da war lemming doch glatt schneller als ich :-(

Zum Thema Schnittstelle - ich bin mir auch ziemlich sicher, daß es da mal eine gab! Auf jeden Fall gibt es immer noch eine Schnittstelle, mit der man seine eigenen Auktionen bearbeiten kann.

Gruß Renegade

_________________
Sokrates (468 v.Chr. - 399 v.Chr.)
"Es ist keine Schande, nichts zu wissen, wohl aber, nichts lernen zu wollen."