Autor Beitrag
DeadlyAppearance
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 113

Win 7
Delphi 2010 Arch., C# VS 2008
BeitragVerfasst: Do 28.02.08 17:01 
Abend zusammen.

Und zwar habe ich eine Software unter Verwendung der Absolute Database.
Der Benutzer drückt nun einen Button. Anschließend werden 3-5 getrennte Selects ausgeführt und die Ergebnisse jeweils in eine XML-Datei gespeichert. Am Ende soll der Benutzer grafisch Rückmeldung erhalten, dass alle Dateien erstellt wurden.

Da heute immer mehr Desktop-PCs 2 Cores besitzen, dachte ich mir diese zu nutzen um eben 2 Threads parallel laufen zu lassen um die Zeit der Erstellung der Dateien zu verringern. Weil warum soll ich 3-5 mal ca. jeweils 20 Sekunden warten und in der Zeit ein Prozessor im Leerlauf stehn, wenn ich diesen auch nutzen kann.

Frage ist nun, ist dies Technisch so umsetzbar?
Zu dem Thema Threads habe ich mir eben bereits www.michael-puff.de/...reads_mit_Delphi.pdf durchgelesen.

Die zweite Frage ist, ob unter Verwendung der DB dies Problemlos geht und auch wirklich eine Verminderung der Bearbeitungszeit hervorruft. Eigentlich würde ja jeder Thread getrennt ein Select ausführen, die Ergebnisse in den Speicher laden und anschließend in der Datei speichern. Durch die 2 "gleichzeitigen" Zugriffe auf die Datenbank sollten doch keine großen Zeitlichen Einbußen geben, dass es eher keinen Sin macht in Threads auszulagern.

Mich würde sehr eure Meinung dazu interessieren.

_________________
Als du auf die Welt kamst, weintest du, und um dich herum freuten sich alle. Lebe so, daß, wenn du die Welt verläßt, alle weinen und du allein lächelst.
matze
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 4613
Erhaltene Danke: 24

XP home, prof
Delphi 2009 Prof,
BeitragVerfasst: Do 28.02.08 17:15 
Ich würde an deiner Stelle erst einmal messen, was in deiner Anwendung so viel Zeit braucht.
Der SELECT in der Datenbank oder die Weiterverarbeitung der Daten. Dann kannst du mal schauen, was optimierbar ist.

Ich glaube nicht, dass es sinnvoll ist, wenn du mehrere Threads gleichzeitig auf die Datenbank zugreifen lässt, weil ich nicht denke, das das schneller wird.

_________________
In the beginning was the word.
And the word was content-type: text/plain.
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Do 28.02.08 17:35 
In Bezug auf die Datenbank machen die mehreren Zugriffe gleichzeitig eigentlich wenige Probleme, da die meisten RDBMS eh auf mehrere gleichzeitige Zugriffe ausgelegt sind, auch wenn man da MySQL manchmal ganz einfach in die Knie gezwungen bekommt. (Andere konnt ich in der Hinsicht noch nicht ausgiebig testen)

Aber im Normalfall sind weniger die Datenbanken der Flaschenhals, sondern die Verarbeitung durch die Client-Anwendung. Schaue hier einmal explizit, wo wieviel Zeit benötigt wird. Wenn die 20 Sekunden hauptsächlich beim Datenbank-Server liegen, solltest Du dort deine Datenbank-Struktur überdenken.

Liegen die allerdings in deiner Client-Anwendung, solltest Du ganz dringend überprüfen, ob Du ausreichend GUI und Verarbeitung trennst (und sei's nur durch DisableControls im Dataset\DataSource).

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
DeadlyAppearance Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 113

Win 7
Delphi 2010 Arch., C# VS 2008
BeitragVerfasst: Do 28.02.08 17:55 
Die Zeitwerte stammen im Moment von meiner PHP/MySQL Lösung.

Es handelt sich um 3-5 Selects auf > 20.000 Datensätze wo sich die Whereklausel unterscheidet.
Anschließend werden jeweils ca. 10.000 Datensätze in eine XML-Datei pro Select gespeichert.

Das Select dauert 2 Sekunden oder so würde ich mal abschätzen. Was Zeit kostet ist einfach das abspeichern der Daten auf der Festplatte.

Das ich mit der Delphilösung schneller sein werde wie mit meiner PHP-Lösung auf einem Webserver den X Leute benutze ist mir klar.
Aber könnte ich in meinem Fall druch Threads nocheinmal paar Sekunden sparen und das wichtigste, etwas neues Lernen, so würde ich die Lösung mit Threads anstreben.

_________________
Als du auf die Welt kamst, weintest du, und um dich herum freuten sich alle. Lebe so, daß, wenn du die Welt verläßt, alle weinen und du allein lächelst.
Bernhard Geyer
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 721
Erhaltene Danke: 3



BeitragVerfasst: Do 28.02.08 18:22 
Ich würde erst mal checken ob wirklich Indize verwendet werden. Außerdem ist bei Desktopdatenbanken ein bremsende Element die Festplatte. Schau mal im Taskmanager ob überhaupt eine CPU ausgelastet wird ober ob primär auf Festplatte/RAM gewartet wird. Hier kann ein richtiger SQL-Server mit mehr intelligenz und optimierteren Cache-Strategien und genügend RAM Wunder wirken. Falls zu zugriff auf AQTime hast lass doch dieses mal darüber laufen um zu sehen wo wirklich Zeit verbraten wird.
DeadlyAppearance Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 113

Win 7
Delphi 2010 Arch., C# VS 2008
BeitragVerfasst: Sa 08.03.08 13:02 
Da bin ich wieder.

Mein Projekt nimmt langsam Form an und nun stoße ich auf die ersten Verlangsammungen.


Und zwar passiert folgendes beim Import
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
  begin
    FileList := TStringList.Create;
    try
      GetFilesInDirectory(verzeichnis,FileList); //Liefert 89 Dateien zurück

      for I := 0 to FileList.Count - 1 do
      begin
        ParseFile(FileList.Strings[i]);
      end;

    finally
      FreeAndNil(FileList);
    end;
  end;


Dies verbirgt sich hinter ParseFile
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
procedure TMain.ParseFile(path: String);
var
  Txtdatei: Textfile;
  Zeile: String;
begin
  AssignFile(Txtdatei, path);

  try
    Reset(Txtdatei);
    Readln(Txtdatei, Zeile);

    if(Zeile = 'test')then
    begin
      while not eof(Txtdatei) do
      begin
        Readln(Txtdatei, Zeile);
        InsertAPs(Zeile); //Problemkind
      end;
    end
    else
    begin
      ...
    end;
  finally
    CloseFile(Txtdatei);
  end;
end;


Und nun zum Problemkind
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
var
  datas : TStringDynArray;
begin
  datas := Explode(';',zeile);

  with ffdmMain.qAPs do
  begin
    DatabaseName := dbName;
    SQL.Text := 'SELECT * FROM '+tName+' where ap_BSSID=:BSSID';
    ParamByName('BSSID').AsString := datas[3];
    open;

    if not(FieldByName('ap_Id').AsString = '')then
    begin//update

    end
    else
    begin//insert

    end;
  end;
end;


Ohne den Zugriff auf die DB dauert es ca. 2 Sekunden alle 89 Dateien mit insgesamt 29560 Datensätze abzuarbeiten.
Mit der Abfrage ob der Datensatz bereits in der DB ist dauert es ca. 4min.

Zur Ergänzung. Sollte ein Datensatz vorhanden sein, so werden weitere Überprüfungen stattfinden, ob ein Update von nöten ist.


Warum wird das nun so extrem langsam und gibt es hier eine Lösung um Zeit zu sparen?

_________________
Als du auf die Welt kamst, weintest du, und um dich herum freuten sich alle. Lebe so, daß, wenn du die Welt verläßt, alle weinen und du allein lächelst.
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Sa 08.03.08 13:37 
Baut jeder Thread seine eigene TDataset zur Datenbank auf, oder nutzt jeder Thread die Dataset der Mainform (was ich mal aus dem Source entnehme).

Wenn ja: In Multi-Threaded-Anwendungen sollte jeder Thread auch seine eigene Ansicht der Tabelle bekommen, weil Du sonst auf Anwendungsseite synchronisieren musst. Die Datenbank macht das aber im Normalfall selber (vorausgesetzt, die ist für saubere Sessions ausgelegt).

Ferner: Hast Du bei der DB Caching aktiviert? Das hilft teilweise auch schon enorm.

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
DeadlyAppearance Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 113

Win 7
Delphi 2010 Arch., C# VS 2008
BeitragVerfasst: Sa 08.03.08 13:59 
Das Programm ist im Moment nicht Multi-Threading fähig.

_________________
Als du auf die Welt kamst, weintest du, und um dich herum freuten sich alle. Lebe so, daß, wenn du die Welt verläßt, alle weinen und du allein lächelst.
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Sa 08.03.08 15:24 
Mach doch einfach Delayed Processing in Bezug auf die Datenbank. Anstatt jede Zeile der Datei einzeln zu verarbeiten, packst Du die Informationen in ne Queue und verarbeitest dann den Inhalt der Queue schrittweise. Das würde dann auch das Multi-Threading später stark vereinfachen.

Das mit dem Cache schon probiert?

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
Bernhard Geyer
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 721
Erhaltene Danke: 3



BeitragVerfasst: Sa 08.03.08 18:07 
user profile iconDeadlyAppearance hat folgendes geschrieben:
Ohne den Zugriff auf die DB dauert es ca. 2 Sekunden alle 89 Dateien mit insgesamt 29560 Datensätze abzuarbeiten.
Mit der Abfrage ob der Datensatz bereits in der DB ist dauert es ca. 4min.

...

Warum wird das nun so extrem langsam und gibt es hier eine Lösung um Zeit zu sparen?


Du verwendest zwar Parameter (sehr löblich), jedoch wird bei jedem Datensatz die Query nochmal aufgebaut. Baue sie einmal auf und setze dann mit Prepared := True die Query auf prepared. Damit braucht der Query-Analyser auf der DB nur einmal den Abfrageplan erstellen. Zweitens könntest du versuchen den Check in einer SP durchzuführen und nur ein True/False zurückzuliefern (Damit entfällt der Aufbau eines Result-Sets) bzw. die SP gleich das Überprüfen und schreiben durchführen lassen (Ein Netzwerk-Round-Trip-Delay fällt weg).