NOS1971 hat folgendes geschrieben : |
Also wenn ich im Thread nach jeder Analyse eines Items eine Sleep(5000) mache dann habe ich trotz allem bei 100 Threads immer noch 500er Fehler |
Gleich am Anfang hast du dann ja trotzdem 100 Anfragen
auf einen Schlag. Ich kann mir gut vorstellen, dass das ein Server blockiert.
NOS1971 hat folgendes geschrieben : |
.... ich checke das mal mit 10 threads und 10 sekunden |
Besser wäre es, wirklich zwischen jedem Aufruf mindestens eine Sekunde zu warten.
Du könntest ja, während du wartest, Seiten von anderen Servern aufrufen. Also ein Thread pro Server, und dort zwischen den Anfragen eine kurze Wartezeit. Dann kannst du deine Internetverbindung trotzdem optimal auslasten.
NOS1971 hat folgendes geschrieben : |
Wie wäre es wenn ich den UserAgent automatisch wechseln lasse nach jedem get und aus ner liste von 10 AgentsStrings auswähle ? |
Ich denke eher, der Server schaut auf deine IP-Adresse.