Autor Beitrag
N8Falter74
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 53

Win XP
D7 Prof
BeitragVerfasst: Mo 16.01.06 15:24 
Hallo,

ich habe eine Anwendung die Abfragen an eine MySQL Datenbank stellt.
Die Datenmenge ist groß und die Anwender können ihre eigenen Abfragen stellen.

Nun kann es vorkommen, das sich der Anwender vertippt oder eine sehr komplexe
Abfrage an die Datenbank stellt. Diese dauert dann sehr lange und der Anwender
möchte sie abbrechen.

Um dies zu realisieren, habe ich mit TThread einen Thread entwickelt, der die
gesammte Abfrage an die Datenbank bearbeitet.

Das ganze sieht dann so aus:

ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
34:
35:
unit u_ThreadFetch; 

interface 

uses
  Classes, DB;

type
  TMyQueryFetch = class(TThread)
  private
    FDataSet: TDataSet;
  protected
    procedure Execute; override;
  public
    constructor Create(DataSet: TDataSet);
  end;

implementation

{ TMyQueryFetch }

constructor TMyQueryFetch.Create(DataSet: TDataSet);
begin
  inherited Create(True);
  FDataSet := DataSet;
  FreeOnTerminate := True;
end;

procedure TMyQueryFetch.Execute;
begin
  FDataSet.Open;
  FDataSet.First;
end;

end.


Aus der Anwendung rufe ich das ganze dann etwa so auf:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
...
      FMyQueryFetch := TMyQueryFetch.Create(dm_db.my_q_Arc);
      FMyQueryFetch.OnTerminate := OnFetchComplete;
      FMyQueryFetch.Resume;[code]
...


Die Abfrage läuft nun im Thread und kann durch zurücksetzten der Datenbankverbindung, abgebrochen werden.
Das ganze läuft soweit ganz vernünftig, nur ab und zu kachelt mir die Anwendung mit:

ausblenden XML-Daten
1:
Unbekannter Softwarefehler 0x0eedfade an 0x77......					


ab. Danach kommen dann noch unterschiedliche Fehlermeldungen und am Schluss:

ausblenden XML-Daten
1:
2:
3:
Exception EOSError 0000F812
Systemfehler Code 5
Zugriff Verweigert


Ich habe da sicher etwas bei dem Thread nicht so richtig programmiert. Ich weis das man Threads irgendwie Synchronisieren muß, wenn diese auf die VCL zugreifen, nur haben alle Versuche von mir zu keinem brauchbaren ergebnis geführt.

Vieleicht weis von Euch ja jemand Rat. Ich habe mir auch mal Luckies Thread PDF durchgelesen, das geht leider nur sehr kurz auf das TThread Objekt ein.

Schöne Grüße
Sebastian
tgr
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 29

WIN 7, XP
D2010 Ent
BeitragVerfasst: Di 17.01.06 16:29 
Hallo,
damit Dein Thread richtig funktioniert musst Du die Abfrage wirklich im Thread ausführen, d.h. der Thread brauch eine eigene DB-Verbindung (Connection), die in der Execute-Methode erstellt wird. Das SQL übergibst Du an den Thread und führst es über die eigene Verbindung aus. Das Ergebnis der Abfrage musst Du an die Anwendung zurückliefern (z.B. als XML) und evtl. in das DataSet der Anwendung einlesen.
N8Falter74 Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 53

Win XP
D7 Prof
BeitragVerfasst: Di 17.01.06 16:51 
Aha!

Bisher habe ich nur das DataSet der Anwendung an den Thread übergeben, sicherlich ist es auch besser wenn ich
mit der Connection auch ein eigenes DataSet im Thread erzeuge, oder?

wie könnte ich denn das Ergebnis im DataSet des Threads in ein DataSet der Anwendung kopieren?
Ich habe das schonmal bei einem anderen Problem versucht und bin gescheitert. Hast du da vieleicht
eine Idee oder sogar ein Beispiel/Tutorial?

Grüße
Sebastian
tgr
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 29

WIN 7, XP
D2010 Ent
BeitragVerfasst: Di 17.01.06 19:38 
Das Dataset muss auch im Thread erzeugt und der Verbindung zugeordnet werden.
Je nach verwendetem Dataset kannst Du z.B. die Ergebnismenge als XML-Datei speichern und im Hauptprogramm wieder laden.
Die Übergabe der Daten kann auch direkt erfolgen, ABER SYNCHRONISIERT (Methode synchronize)!
Die Vorgehensweise hängt davon ab, was Du mit den Daten im Hauptprogramm anstellst.
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Di 17.01.06 19:44 
Schonmal ADO mit asynchronem Fetch probiert?

_________________
Na denn, dann. Bis dann, denn.
N8Falter74 Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 53

Win XP
D7 Prof
BeitragVerfasst: Di 17.01.06 21:18 
@tgr
als Dataset kommt bei mir MyDAC / MyQuery von Core Lab (www.crlab.com) zum Einsatz. Ob das XML Export unterstützt weiss ich nicht genau - vermutlich aber nicht. Das mit der direkten Übergabe an ein DataSet im Hauptprogramm finde ich auch besser. Dass dies dann synchronisiert erfolgt, ist auch klar. Nur nicht wie :-) Außerdem wäre es schön, wenn ich die Daten im DataSet auch noch mit der Methode Edit manipulieren könnte, das wäre sehr fein - aber ob das geht? Kannst du mir da vieleicht ein (kleines) Beispiel geben?

@alznaimar
ADO hab ich vor MyDAC verwendet, ist aber für meine Anwendung zu langsam und zu kompliziert einzurichten. MyDAC geht direkt über TCP/IP an den MySQL Server und benötigt keine ODBC-Treiber oder Libaries.
Trotzdem Danke für den Tipp.

Grüße
Sebastian
tgr
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 29

WIN 7, XP
D2010 Ent
BeitragVerfasst: Di 17.01.06 22:33 
Also die Übergabe an ein Dataset im Hauptprogramm funktioniert m.E. nur über Unload und Load der Daten. Ein EDIT ist dann auch nicht möglich.
In meinen SQL-Studios (Informix und MySQL) lade ich die Daten über Threads im Hintergrund und übergebe Sie über eine Thread-sichere Stringliste ins Hauptprogramm, wo Sie in einem StringGrid angezeigt und editiert werden können.
Der SQL-Thread schreibt in die String-Liste und das Hauptprogramm reagiert auf das StringListen-Even OnChange, um die Daten auszulesen und anzuzeigen.
Nachdem die Daten im StringGrid editiert wurden, erzeuge ich ein UPDATE-Stmt, das ich wieder im Hintergrund (SQL-Thread) an den Server übertrage.
Ein Abbruch des aktuellen Stmts ist immer über das Beenden der Thread-eigenen Verbindung zum Server möglich.
KidPaddle
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 351

WinXP,Linux
D7 Prof, XE7
BeitragVerfasst: Mi 18.01.06 10:04 
Ich bin mir sicher, das MyDAC auch asynchron auf MySQL zugreifen kann. Da in meiner Anwendung auch unter Umständen, je nachdem ob der Anwender die Suche einschränkt oder nicht, mehrere 100.000 Daten zurück bekommen kann, wurden die Abfragen, bei denen grosse Datenmengen zurück gegegeben werden könnten, durch folgende Mechanik ersetzt:

1. Anzeigen eines Formulares mit einem Abbruch - Schalter
2. Absetzten des SQL - Befehls asyncron, ohne Verwendung der VCL Datenbank - Komponenten
3. In einer Schleife prüfen, ob Daten schon vorhanden sind und Aufruf von Application.ProcessMessages
Wenn Abbruch - Schalter betätigt, Schleife beenden, SQL-Ausführung abbrechen
4. Anhand des ersten Datensatzes wird ein neues TDataset, z. B. TDBF, lokal auf der Festplatte erstellt
5. In einer Schleife die einzelnen Daten aus dem MySQL in das lokale Dataset umkopieren
Wenn Abbruch - Schalter betätigt, Schleife beenden, SQL-Ausführung abbrechen
6. Formular wieder schliessen
7. Über BeforePost- / BeforeDelete - Event die Änderungen an den SQL - Server übertragen.
8. Wird das Dataset geschlossen, wird auch die Datei auf dem Rechner gelöscht.

Damit umgehe ich die Problematik mit dem Thread, die Resourcen des Server sind schnell wieder für andere verfügbar (Wichtig in Multi - User - Umgebungen). Auf dem Server kann einen Forward - Cursor (Firehorse - Cursor) eingesetzt werden, was wieder die Abfragegeschwindigkeit erhöht. Desweiteren konnte die Hauptspeichernutzung drastisch reduziert werden.

Das hat sich mittlerweile in einem Programm mit ca. 80 parallelen Anwender bewährt.

Nachteilig ist die kurzfristige hohe Netzwerklast und die bisherige 2GB - Grenze für TDBF.

Gruß
Thomas
N8Falter74 Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 53

Win XP
D7 Prof
BeitragVerfasst: Mi 18.01.06 10:24 
@tgr
Hmm, irgendwie sehe ich den Wald vor lauter Bäumen nicht ;-) Ich hab mich am DataSet schon wund gesucht, ich finde keine Möglichkeit an die Daten die es vom SQL Server erhalten hat dranzukommen. Da gibt es weder ein Load noch ein Unload oder sonst eine Methode die ich für soetwas verwenden kann. In der Hilfe habe ich noch das TCustomClientDataSet
gefunden, dies hat Methoden zum Laden und Speichern von Daten. Sogar als XML...

Aber wie ich das mit meinen MyDAC Komponenten verwenden kann/soll weis ich auch nicht.

@KidPaddle
Ja, MyDAC unterstützt auch asynchronen Transfer, nur bisher hatte ich damit keinen erfolg :-(

Zitat:
5. In einer Schleife die einzelnen Daten aus dem MySQL in das lokale Dataset umkopieren


Das gleiche wie bei tgr ;-) wie zum Geier komme ich an die Daten?????? Hilfää ich bin zu dooof.

/edit
Ich kann natürlich über eine Schleife, einfach alle Datensätze Feld für feld und Zeile für Zeile auslesen und in ein anderes DataSet einfügen - das klingt aber recht langsam! Kann ich nicht den Speicher, den das DataSet im Thread schon mit der richtigen Werten gefüllt hat, per Stream, File oder Copy, an das DataSet der Anwendung übergeben?

Ratlose Grüße
Sebastian
tgr
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 29

WIN 7, XP
D2010 Ent
BeitragVerfasst: Mi 18.01.06 15:14 
Ich kenne die MyDAC-Komponenten nicht, aber ein einfaches Auslesen der Daten ist über jedes DataSet möglich. Die ausgelesenen Daten kann man dann - wie auch immer - an das Hauptprogramm übergeben und dort anzeigen und bearbeiten.
Aus den bearbeiteten Daten lassen sich immer UPDATE-Stmts erstellen, die an die DB zurückgesendet werden. (Vermutlich arbeiten die MyDAC-Komponenten intern ähnlich.)
KidPaddle
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 351

WinXP,Linux
D7 Prof, XE7
BeitragVerfasst: Mi 18.01.06 20:25 
Nichts anderes machen die MyDAC - Komponenten mit Client - Cursor auch nicht. Nur geht es da in Hauptspeicher und nicht auf die Festplatte. Bei meinen recht alten System hatte ich unoptimiert ca. 6.000 Datensätze pro Sekunde, ca. 80 Textfelder, geschrieben. Du kannst aber eine InMemory - Tabelle verwenden, da geht es wahrscheinlich noch schneller.

Gruß
Thomas
N8Falter74 Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 53

Win XP
D7 Prof
BeitragVerfasst: Do 19.01.06 12:22 
user profile iconKidPaddle hat folgendes geschrieben:
Nichts anderes machen die MyDAC - Komponenten mit Client - Cursor auch nicht. Nur geht es da in Hauptspeicher und nicht auf die Festplatte. Bei meinen recht alten System hatte ich unoptimiert ca. 6.000 Datensätze pro Sekunde, ca. 80 Textfelder, geschrieben. Du kannst aber eine InMemory - Tabelle verwenden, da geht es wahrscheinlich noch schneller.

Gruß
Thomas


Ich habe bei mir die JVCL installiert. Da gibt es ein DataSet Namens JvMemoryData, das kann sogar die Daten Strukturen kopieren. Im Test hat das auch funktioniert, jetzt muß ich das nur mal in meine Anwendung integrieren.

grüße
Sebastian