| Autor |
Beitrag |
N8Falter74
      
Beiträge: 53
Win XP
D7 Prof
|
Verfasst: Mo 16.01.06 15:24
Hallo,
ich habe eine Anwendung die Abfragen an eine MySQL Datenbank stellt.
Die Datenmenge ist groß und die Anwender können ihre eigenen Abfragen stellen.
Nun kann es vorkommen, das sich der Anwender vertippt oder eine sehr komplexe
Abfrage an die Datenbank stellt. Diese dauert dann sehr lange und der Anwender
möchte sie abbrechen.
Um dies zu realisieren, habe ich mit TThread einen Thread entwickelt, der die
gesammte Abfrage an die Datenbank bearbeitet.
Das ganze sieht dann so aus:
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30: 31: 32: 33: 34: 35:
| unit u_ThreadFetch;
interface
uses Classes, DB;
type TMyQueryFetch = class(TThread) private FDataSet: TDataSet; protected procedure Execute; override; public constructor Create(DataSet: TDataSet); end;
implementation
constructor TMyQueryFetch.Create(DataSet: TDataSet); begin inherited Create(True); FDataSet := DataSet; FreeOnTerminate := True; end;
procedure TMyQueryFetch.Execute; begin FDataSet.Open; FDataSet.First; end;
end. |
Aus der Anwendung rufe ich das ganze dann etwa so auf:
Delphi-Quelltext 1: 2: 3: 4: 5:
| ... FMyQueryFetch := TMyQueryFetch.Create(dm_db.my_q_Arc); FMyQueryFetch.OnTerminate := OnFetchComplete; FMyQueryFetch.Resume;[code] ... |
Die Abfrage läuft nun im Thread und kann durch zurücksetzten der Datenbankverbindung, abgebrochen werden.
Das ganze läuft soweit ganz vernünftig, nur ab und zu kachelt mir die Anwendung mit:
XML-Daten 1:
| Unbekannter Softwarefehler 0x0eedfade an 0x77...... |
ab. Danach kommen dann noch unterschiedliche Fehlermeldungen und am Schluss:
XML-Daten 1: 2: 3:
| Exception EOSError 0000F812 Systemfehler Code 5 Zugriff Verweigert |
Ich habe da sicher etwas bei dem Thread nicht so richtig programmiert. Ich weis das man Threads irgendwie Synchronisieren muß, wenn diese auf die VCL zugreifen, nur haben alle Versuche von mir zu keinem brauchbaren ergebnis geführt.
Vieleicht weis von Euch ja jemand Rat. Ich habe mir auch mal Luckies Thread PDF durchgelesen, das geht leider nur sehr kurz auf das TThread Objekt ein.
Schöne Grüße
Sebastian
|
|
tgr
      
Beiträge: 29
WIN 7, XP
D2010 Ent
|
Verfasst: Di 17.01.06 16:29
Hallo,
damit Dein Thread richtig funktioniert musst Du die Abfrage wirklich im Thread ausführen, d.h. der Thread brauch eine eigene DB-Verbindung (Connection), die in der Execute-Methode erstellt wird. Das SQL übergibst Du an den Thread und führst es über die eigene Verbindung aus. Das Ergebnis der Abfrage musst Du an die Anwendung zurückliefern (z.B. als XML) und evtl. in das DataSet der Anwendung einlesen.
|
|
N8Falter74 
      
Beiträge: 53
Win XP
D7 Prof
|
Verfasst: Di 17.01.06 16:51
Aha!
Bisher habe ich nur das DataSet der Anwendung an den Thread übergeben, sicherlich ist es auch besser wenn ich
mit der Connection auch ein eigenes DataSet im Thread erzeuge, oder?
wie könnte ich denn das Ergebnis im DataSet des Threads in ein DataSet der Anwendung kopieren?
Ich habe das schonmal bei einem anderen Problem versucht und bin gescheitert. Hast du da vieleicht
eine Idee oder sogar ein Beispiel/Tutorial?
Grüße
Sebastian
|
|
tgr
      
Beiträge: 29
WIN 7, XP
D2010 Ent
|
Verfasst: Di 17.01.06 19:38
Das Dataset muss auch im Thread erzeugt und der Verbindung zugeordnet werden.
Je nach verwendetem Dataset kannst Du z.B. die Ergebnismenge als XML-Datei speichern und im Hauptprogramm wieder laden.
Die Übergabe der Daten kann auch direkt erfolgen, ABER SYNCHRONISIERT (Methode synchronize)!
Die Vorgehensweise hängt davon ab, was Du mit den Daten im Hauptprogramm anstellst.
|
|
alzaimar
      
Beiträge: 2889
Erhaltene Danke: 13
W2000, XP
D6E, BDS2006A, DevExpress
|
Verfasst: Di 17.01.06 19:44
Schonmal ADO mit asynchronem Fetch probiert?
_________________ Na denn, dann. Bis dann, denn.
|
|
N8Falter74 
      
Beiträge: 53
Win XP
D7 Prof
|
Verfasst: Di 17.01.06 21:18
@tgr
als Dataset kommt bei mir MyDAC / MyQuery von Core Lab ( www.crlab.com) zum Einsatz. Ob das XML Export unterstützt weiss ich nicht genau - vermutlich aber nicht. Das mit der direkten Übergabe an ein DataSet im Hauptprogramm finde ich auch besser. Dass dies dann synchronisiert erfolgt, ist auch klar. Nur nicht wie  Außerdem wäre es schön, wenn ich die Daten im DataSet auch noch mit der Methode Edit manipulieren könnte, das wäre sehr fein - aber ob das geht? Kannst du mir da vieleicht ein (kleines) Beispiel geben?
@alznaimar
ADO hab ich vor MyDAC verwendet, ist aber für meine Anwendung zu langsam und zu kompliziert einzurichten. MyDAC geht direkt über TCP/IP an den MySQL Server und benötigt keine ODBC-Treiber oder Libaries.
Trotzdem Danke für den Tipp.
Grüße
Sebastian
|
|
tgr
      
Beiträge: 29
WIN 7, XP
D2010 Ent
|
Verfasst: Di 17.01.06 22:33
Also die Übergabe an ein Dataset im Hauptprogramm funktioniert m.E. nur über Unload und Load der Daten. Ein EDIT ist dann auch nicht möglich.
In meinen SQL-Studios (Informix und MySQL) lade ich die Daten über Threads im Hintergrund und übergebe Sie über eine Thread-sichere Stringliste ins Hauptprogramm, wo Sie in einem StringGrid angezeigt und editiert werden können.
Der SQL-Thread schreibt in die String-Liste und das Hauptprogramm reagiert auf das StringListen-Even OnChange, um die Daten auszulesen und anzuzeigen.
Nachdem die Daten im StringGrid editiert wurden, erzeuge ich ein UPDATE-Stmt, das ich wieder im Hintergrund (SQL-Thread) an den Server übertrage.
Ein Abbruch des aktuellen Stmts ist immer über das Beenden der Thread-eigenen Verbindung zum Server möglich.
|
|
KidPaddle
      
Beiträge: 351
WinXP,Linux
D7 Prof, XE7
|
Verfasst: Mi 18.01.06 10:04
Ich bin mir sicher, das MyDAC auch asynchron auf MySQL zugreifen kann. Da in meiner Anwendung auch unter Umständen, je nachdem ob der Anwender die Suche einschränkt oder nicht, mehrere 100.000 Daten zurück bekommen kann, wurden die Abfragen, bei denen grosse Datenmengen zurück gegegeben werden könnten, durch folgende Mechanik ersetzt:
1. Anzeigen eines Formulares mit einem Abbruch - Schalter
2. Absetzten des SQL - Befehls asyncron, ohne Verwendung der VCL Datenbank - Komponenten
3. In einer Schleife prüfen, ob Daten schon vorhanden sind und Aufruf von Application.ProcessMessages
Wenn Abbruch - Schalter betätigt, Schleife beenden, SQL-Ausführung abbrechen
4. Anhand des ersten Datensatzes wird ein neues TDataset, z. B. TDBF, lokal auf der Festplatte erstellt
5. In einer Schleife die einzelnen Daten aus dem MySQL in das lokale Dataset umkopieren
Wenn Abbruch - Schalter betätigt, Schleife beenden, SQL-Ausführung abbrechen
6. Formular wieder schliessen
7. Über BeforePost- / BeforeDelete - Event die Änderungen an den SQL - Server übertragen.
8. Wird das Dataset geschlossen, wird auch die Datei auf dem Rechner gelöscht.
Damit umgehe ich die Problematik mit dem Thread, die Resourcen des Server sind schnell wieder für andere verfügbar (Wichtig in Multi - User - Umgebungen). Auf dem Server kann einen Forward - Cursor (Firehorse - Cursor) eingesetzt werden, was wieder die Abfragegeschwindigkeit erhöht. Desweiteren konnte die Hauptspeichernutzung drastisch reduziert werden.
Das hat sich mittlerweile in einem Programm mit ca. 80 parallelen Anwender bewährt.
Nachteilig ist die kurzfristige hohe Netzwerklast und die bisherige 2GB - Grenze für TDBF.
Gruß
Thomas
|
|
N8Falter74 
      
Beiträge: 53
Win XP
D7 Prof
|
Verfasst: Mi 18.01.06 10:24
@tgr
Hmm, irgendwie sehe ich den Wald vor lauter Bäumen nicht  Ich hab mich am DataSet schon wund gesucht, ich finde keine Möglichkeit an die Daten die es vom SQL Server erhalten hat dranzukommen. Da gibt es weder ein Load noch ein Unload oder sonst eine Methode die ich für soetwas verwenden kann. In der Hilfe habe ich noch das TCustomClientDataSet
gefunden, dies hat Methoden zum Laden und Speichern von Daten. Sogar als XML...
Aber wie ich das mit meinen MyDAC Komponenten verwenden kann/soll weis ich auch nicht.
@KidPaddle
Ja, MyDAC unterstützt auch asynchronen Transfer, nur bisher hatte ich damit keinen erfolg
| Zitat: | | 5. In einer Schleife die einzelnen Daten aus dem MySQL in das lokale Dataset umkopieren |
Das gleiche wie bei tgr  wie zum Geier komme ich an die Daten?????? Hilfää ich bin zu dooof.
/edit
Ich kann natürlich über eine Schleife, einfach alle Datensätze Feld für feld und Zeile für Zeile auslesen und in ein anderes DataSet einfügen - das klingt aber recht langsam! Kann ich nicht den Speicher, den das DataSet im Thread schon mit der richtigen Werten gefüllt hat, per Stream, File oder Copy, an das DataSet der Anwendung übergeben?
Ratlose Grüße
Sebastian
|
|
tgr
      
Beiträge: 29
WIN 7, XP
D2010 Ent
|
Verfasst: Mi 18.01.06 15:14
Ich kenne die MyDAC-Komponenten nicht, aber ein einfaches Auslesen der Daten ist über jedes DataSet möglich. Die ausgelesenen Daten kann man dann - wie auch immer - an das Hauptprogramm übergeben und dort anzeigen und bearbeiten.
Aus den bearbeiteten Daten lassen sich immer UPDATE-Stmts erstellen, die an die DB zurückgesendet werden. (Vermutlich arbeiten die MyDAC-Komponenten intern ähnlich.)
|
|
KidPaddle
      
Beiträge: 351
WinXP,Linux
D7 Prof, XE7
|
Verfasst: Mi 18.01.06 20:25
Nichts anderes machen die MyDAC - Komponenten mit Client - Cursor auch nicht. Nur geht es da in Hauptspeicher und nicht auf die Festplatte. Bei meinen recht alten System hatte ich unoptimiert ca. 6.000 Datensätze pro Sekunde, ca. 80 Textfelder, geschrieben. Du kannst aber eine InMemory - Tabelle verwenden, da geht es wahrscheinlich noch schneller.
Gruß
Thomas
|
|
N8Falter74 
      
Beiträge: 53
Win XP
D7 Prof
|
Verfasst: Do 19.01.06 12:22
KidPaddle hat folgendes geschrieben: | Nichts anderes machen die MyDAC - Komponenten mit Client - Cursor auch nicht. Nur geht es da in Hauptspeicher und nicht auf die Festplatte. Bei meinen recht alten System hatte ich unoptimiert ca. 6.000 Datensätze pro Sekunde, ca. 80 Textfelder, geschrieben. Du kannst aber eine InMemory - Tabelle verwenden, da geht es wahrscheinlich noch schneller.
Gruß
Thomas |
Ich habe bei mir die JVCL installiert. Da gibt es ein DataSet Namens JvMemoryData, das kann sogar die Daten Strukturen kopieren. Im Test hat das auch funktioniert, jetzt muß ich das nur mal in meine Anwendung integrieren.
grüße
Sebastian
|
|