Autor Beitrag
LonghornUser
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 796



BeitragVerfasst: So 02.04.06 19:27 
Hallo,

ich extrahiere eine große Anzahl an Daten per RAR Komponente. Es handelt sich um einen Installer, der aus einem RAR Archiv entpackt. Vor dem Initialisieren der RAR-Komponente erfolgt eine Prüfung, ob die Datei, mit dem Index i mit der in CheckListBox1 gewählten Komponente verknüpft ist. Ist dies so, oder lautet die Komponente der Datei "ALLE", dann wird extrahiert:
ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
34:
for i := 1 to strtoint(ini3.ReadString('Dateien','Anzahl','')) do begin

    q := form10.Checklistbox1.Items.IndexOf(
         ini3.ReadString('Datei'+inttostr(i),'Komponente',''));
    if ini3.ReadString('Datei'+inttostr(i),'Komponente','')='ALLE' then
    q := -1;
    if q = -1 then begin           // Komponente ist "ALLE"
    if (ini3.ReadString('Datei'+inttostr(i),'Sprache','')=lang)
    or (ini3.ReadString('Datei'+inttostr(i),'Sprache','')='ALLE') then begin
      Rar.FilesToExtract.Clear;
      Rar.FilesToExtract.Add(ini3.ReadString('Datei'+inttostr(i),'File #',''));
      Rar.TargetDir:=ini3.ReadString('Datei'+inttostr(i),'Zielverzeichnis','');
      Rar.ExtractArchive;
      Renamefile(slashsep(ini3.ReadString('Datei'+inttostr(i),'Zielverzeichnis',''),'')+
                 ini3.ReadString('Datei'+inttostr(i),'File #',''),
                 slashsep(ini3.ReadString('Datei'+inttostr(i),'Zielverzeichnis',''),'')+
                 ini3.ReadString('Datei'+inttostr(i),'Dateiname',''));
    end;
    end else begin                 // komponente ist nicht "ALLE"
    Rar.FilesToExtract.Clear;
    Rar.FilesToExtract.Add(ini3.ReadString('Datei'+inttostr(i),'File #',''));
    Rar.TargetDir:=ini3.ReadString('Datei'+inttostr(i),'Zielverzeichnis','');
    if (ini3.ReadString('Datei'+inttostr(i),'Sprache','')=lang)
    or (ini3.ReadString('Datei'+inttostr(i),'Sprache','')='ALLE') then
    if (form10.CheckListBox1.Checked[q]=true)
    or (ini3.ReadString('Datei'+inttostr(i),'Komponente','')='ALLE') then begin
    Rar.ExtractArchive;
    Renamefile(slashsep(ini3.ReadString('Datei'+inttostr(i),'Zielverzeichnis',''),'')+
               ini3.ReadString('Datei'+inttostr(i),'File #',''),
               slashsep(ini3.ReadString('Datei'+inttostr(i),'Zielverzeichnis',''),'')+
               ini3.ReadString('Datei'+inttostr(i),'Dateiname',''));
    end;
  end;
  end;

Im Archiv befinden sich 1800 sehr kleine Dateien (1 KB bis 100 KB). Ab der 300. Datei wird das extrahieren extrem langsam, obwohl die Dateien gleich groß bleiben wie alle vorherigen. Wenn ich mit WinRAR extrahiere, geht es um ein Vielfaches schneller. Woran könnte das liegen ?

Danke schonmal.

Ciao LHUser
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: So 02.04.06 20:03 
1. VCL ist lahmarschig
2. Nutzte BeginUpdate\EndUpdate für jegliche Operationen auf String-Listen
3. Setze Strings nur einmal zusammen und nicht bei jeder Nutzung
4. Der Source ist unübersichtlich (zum Kotzen) ;-)

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
LonghornUser Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 796



BeitragVerfasst: So 02.04.06 20:24 
user profile iconBenBE hat folgendes geschrieben:
1. VCL ist lahmarschig

Das ist nicht zu ändern ;)
user profile iconBenBE hat folgendes geschrieben:
2. Nutzte BeginUpdate\EndUpdate für jegliche Operationen auf String-Listen

Hm ? Wie meinst du das ? Wo speziell ?
user profile iconBenBE hat folgendes geschrieben:
3. Setze Strings nur einmal zusammen und nicht bei jeder Nutzung

Aha ? Was meinst du da speziell ?
user profile iconBenBE hat folgendes geschrieben:
4. Der Source ist unübersichtlich (zum Kotzen) ;-)

Ansichtssache :D

Edit: Es macht mich nur stutzig, dass das ganze erst beim 300. File passiert und nicht vorher. Vorher gehts so zackig wie in Winrar. Aber dann gehts zum Ende hin immer lahmer. Wie in einer Exponentialfunktion.

Woran kann das nur liegen ?
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1



BeitragVerfasst: So 02.04.06 22:42 
@BenBe:
1) Seit wann ist denn ein Delphi Programm mit der VCL langsam? Und langsam im Vergleich zu was? Java? MFC? .NET?
2) Nützt das nur bei visuellen Komponenten etwas die ihre Einträge in einer Stringlist oder einem Nachfahre selbiger verwalten. Oder was soll TStringList neuzeichnen? Die Bytes im Speicher? ;)

Zum Problem: WinRar wird wohl kaum für jede Datei einzeln etwas aus einer Ini-Datei lesen und sie dann umbennen. Und ab 300 Dateien scheint der Speicher kanpp zu werden, so das ausgelagert und umgeschichtet werden muss. Pure Vermutung, kann natürlcih auch sein, dass die Rar-Komponente einfach nur schlecht programmiert ist.
LonghornUser Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 796



BeitragVerfasst: So 02.04.06 23:12 
@ Luckie: Aha. Gibts denn außer RARArc noch eine andere RAR komponente, die einfach nur entpacken kann und den Fortschritt der aktuellen Datei in einer Progressbar anzeigen kann ?

Ciao und GuteNacht :)
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Mo 03.04.06 07:19 
user profile iconLuckie hat folgendes geschrieben:
@BenBe:
1) Seit wann ist denn ein Delphi Programm mit der VCL langsam? Und langsam im Vergleich zu was? Java? MFC? .NET?

Langsam im Vergleich zu dem, was durch etwas Optimierung möglich wäre ... Wenn ein Source besser Pingpong spielt, als Aufgaben erledigt, kann er nicht schnell sein.044691564807346096
user profile iconLuckie hat folgendes geschrieben:
2) Nützt das nur bei visuellen Komponenten etwas die ihre Einträge in einer Stringlist oder einem Nachfahre selbiger verwalten. Oder was soll TStringList neuzeichnen? Die Bytes im Speicher? ;)

Wenn Du im Source mal genau hinschaust, sieht man sofort, wo er eine TStrings (bzw. Nachfahre) verwendet. Und dann in ner Schleife auch noch IndexOf zu nutzen ... tztztz Das kann ja nicht schnell sein ...

Weiterhin wird dieses Programm durch die ständigen Zugriffe auf die INI-File gebremst. Delphi schlägt jedes Mal erst in hunderten von Sektionen nach, wo eine Datei liegt, da muss das doch solche Bremsklötzer haben ...

Fazit: Daten vorverarbeiten und dann erst auslesen.

user profile iconLuckie hat folgendes geschrieben:
Zum Problem: WinRar wird wohl kaum für jede Datei einzeln etwas aus einer Ini-Datei lesen und sie dann umbennen. Und ab 300 Dateien scheint der Speicher kanpp zu werden, so das ausgelagert und umgeschichtet werden muss. Pure Vermutung, kann natürlcih auch sein, dass die Rar-Komponente einfach nur schlecht programmiert ist.

Bei dieser Vermutung kann ich dich nur bekräftigen. Würd ich auch mit als einen Grund sehen. Es kann aber auch sein, dass es ab der 300. erst besonders spürbar wird, dass der Lookup-Aufwand in CheckListBox, INIFile und RAR-Directory zum Tragen kommt.

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Mo 03.04.06 08:10 
Die suboptimalen Implementierungen sollten zu einem kontinuierlichen Ansteigen des Laufzeitverhaltens führen. Bei 300 Dateien sollte sich aber ein linear implementiertes "IndexOf" noch nicht auswirken. Auch die Zeichengeschwiindigkeit und Nachrichtenverarbeitung einer VCL dürften bei 300 Einträgen noch nicht wirklich zum Tragen kommen und sollten erst bei sehr komplexen Forms zum Tragen kommen, oder sehe ich das falsch

Gibt es Sprünge im Laufzeitverhalten? Kann doch auch sein, das Windows einfach die Puste ausgeht und zwischendurch entscheidet, die gepufferten Dateien zu sichern, dann dürfte die Anwendung einen Schluckauf bekommen.

Teste die Anwendung mit 50,100,200,300,400 etc. Dateien. Zeichne die Laufzeiten auf (TChart lässt güßen) und analysiere die Codeabschnitte. Eine glatte Funktion dürfte auf ein [edit:hier ging das Hirn aus] Problem im Laufzeitverhalten (IndexOf etc, Komponente etc.) schliessen, Stufen eher auf einen Windows-Schluckauf [/edit]

Unabhängig davon sollte in einer guten Applikation das Optimierungspotential, sofern vom Aufwand zu vertreten, umgesetzt werden, also sind die hier vorgeschlagenen Optimierungen durchaus sinnvoll.

Aber die Übersichtlichkeit könnte leicht verbessert werden:
ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
34:
35:
36:
37:
38:
39:
40:
41:
42:
43:
Var
  sKomponente, sSprache, sFile, sZielverzeichnis, sDateiname: String;

Begin
  For i := 1 To strtoint(ini3.ReadString('Dateien', 'Anzahl', '')) Do Begin
    sKomponente := ini3.ReadString('Datei' + inttostr(i), 'Komponente', '');
    sZielverzeichnis := ini3.ReadString('Datei' + inttostr(i), 'Zielverzeichnis', '');
    sDateiname := ini3.ReadString('Datei' + inttostr(i), 'Dateiname', '');
    sSprache := ini3.ReadString('Datei' + inttostr(i), 'Sprache', '');
    sFile := ini3.ReadString('Datei' + inttostr(i), 'File #', '');

    q := form10.Checklistbox1.Items.IndexOf(sKomponente);
    If sKomponente = 'ALLE' Then
      q := -1;
    If q = -1 Then Begin                // Komponente ist "ALLE"
      If (sSprache = lang) Or (sSprache = 'ALLE') Then Begin
        Rar.FilesToExtract.Clear;
        Rar.FilesToExtract.Add(sFile);
        Rar.TargetDir := sZielverzeichnis;
        Rar.ExtractArchive;
        Renamefile(slashsep(sZielverzeichnis,
          '') +
          sFile,
          slashsep(sZielverzeichnis, '') +
          sDateiname);
      End;
    End
    Else Begin                          // komponente ist nicht "ALLE"
      Rar.FilesToExtract.Clear;
      Rar.FilesToExtract.Add(sFile);
      Rar.TargetDir := sZielverzeichnis;
      If (sSprache = lang) Or (sSprache = 'ALLE') Then
        If (form10.CheckListBox1.Checked[q] = true)
          Or (sKomponente = 'ALLE') Then Begin
          Rar.ExtractArchive;
          Renamefile(slashsep(sZielverzeichnis, '') +
            sFile,
            slashsep(sZielverzeichnis, '') +
            sDateiname);
        End;
    End;
  End;
End;

_________________
Na denn, dann. Bis dann, denn.


Zuletzt bearbeitet von alzaimar am Mo 03.04.06 15:22, insgesamt 1-mal bearbeitet
LonghornUser Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 796



BeitragVerfasst: Mo 03.04.06 15:16 
Die Ini-DateiZugriffe also. Ich werde das mal so anpassen, wie es alzaimar gesagt hat. Mal sehen, obs hilft. Aber einleuchtend ist es schon, was ihr sagt. Ich teste ...
LonghornUser Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 796



BeitragVerfasst: Mo 03.04.06 15:36 
Mist, hat nicht geklappt. Bis zur 350. Datei geht es tadellos. Die Geschwindigkeit steht WinRAR in nichts nach. Aber dann geht sie total in den keller und es läuft wiefolgt ab:
1.) Der nächste Dateiname wird angezeigt.
2.) Pause von ca. 0,75 sek
3.) Die Progressbar springt sehr schnell auf 100 % (was darauf hindeutet, dass das, was dauert, etwas anderes ist.

Ich habe mal meine Unit angehangen, vielleicht ist der Fehler ja erkennbar ?
Danke schonmal für Eure Unterstützung *daumenhoch* :)
Einloggen, um Attachments anzusehen!
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Mo 03.04.06 15:42 
Poste doch bitte das gesamte Projekt, wenn es geht inklusive der Rar-DLL.
Kommentiere die Rar-Aufrufe aus und versuche es noch einmal.

_________________
Na denn, dann. Bis dann, denn.
LonghornUser Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 796



BeitragVerfasst: Mo 03.04.06 16:20 
Das mit dem Hochladen ist etwa schwierig, da das Projekt eventuell kommerziell wird. Ich habe aber mittlerweile herausgefunden (indem ich den Befehl zum Extrahieren mal hinter die Schleife gepackt habe), dass es wirklich an der Verschachtelung liegt, dass es so lange dauert. Wüsste jemand, wie man die Schleife vielleicht in soweit schlanker bekommt, dass das ganze ordentlich schnell öuft. Man muss aber bedenken, dass nicht einfach alles in die Liste FilesToExtract hineingeladen werden und dann alles extrahiert werden kann (das geht in einem affenzahn), da sich das Targetdir ja immer ändern.
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Mo 03.04.06 16:33 
Wenn kommerziell, dann bitte Beteiligung :twisted:

Nimm ein TBigIni. Das arbeitet intern mit einer Hashmap und ist wirklich schnell genug. Du musst imho nur die Unit einbinden und TIniFile in TBigIni umändern. Das sollte etwaigen Bottlenecks wg. Verwendung von Ini-Files den Garaus machen.

_________________
Na denn, dann. Bis dann, denn.
LonghornUser Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 796



BeitragVerfasst: Mo 03.04.06 17:12 
Ein bissel schneller isses geworden. Aber net so viel. Ist auch irgendwie logisch, da in der Schleife ja nur 5 Ini-Abrufe sind. Und der rest sind ja dann gespeicherte Strings.
Ich muss irgendwie die Schleife auf ein Minimum reduzieren. Aber ich dachte, so fett ist sie doch gar nicht, weil es ja immer nur 1 Entscheidung ist und dann kommen so 10 Abnweisungen. Aber nur ganz kleine. Das dürfte doch eigentlich kein Problem sein, oder ?