| Autor |
Beitrag |
Josef-B
      
Beiträge: 293
2003 Server, Win7, Win8
Delphi 2010 Pro, Firebird 2.5
|
Verfasst: Mo 12.01.04 17:17
Also, ich habe folgendes Problem.
Wir möchten Daten aus einer alten Cobol Anwendung in eine Firebird-Datenbank übernehmen.
Die Anbindung der Cobol-Daten erfolgt über ACU-ODBC. De Daten sind dann mit der BDE und TTable verfügbar.
Nun hat die Datei aber 184.000 und ein paar Sätze a 1600 und Byte. Wenn ich das Programm starte, kommt es mir vor, als wenn der Rechner sich die ganzen Daten erstmal in den Arbeitsspeicher lädt. Die Routine läuft dann stundenlang.
Kann mir jemand nen Tip geben, wie man das ganze beschleunigen kann?
Auch wenn ich das commit direkt nach jedem Datensatz setze, geht es glaub ich auch nicht schneller oder?
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30: 31: 32:
| tableHISPOS5.Active := true; tableHISPOS5.First;
ibtableHISPOS5.Active := true; ibtransactionUNI.active := true;
while not tableHISPOS5.eof do begin
ibtableHISPOS5.append;
IBTableHISPOS5RECHN_NR_AUS_AKOPF.Value := tablehispos5RECHN_NR_AUS_AKOPF.Value; IBTableHISPOS5RECHNDAT_AUS_AKOPF.Value := tablehispos5RECHNDAT_AUS_AKOPF.value; IBTableHISPOS5FIRMA.value := tablehispos5Firma.Value; IBTableHISPOS5DEBITOREN_NR.value := tableHISPOS5DEBITOREN_NR.value; . .. .(die anderen Felder) .. ibtableHISPOS5.Post; progressbar1.stepit; tableHISPOS5.Next; end;
tableHISPOS5.active := false; ibtransactionUNI.Commit; ibtransactionUNI.active := false; ibtableHISPOS5.Active := false;
database5.Connected := false; |
Moderiert von Peter Lustig: Code- durch Delphi-Tags ersetzt
|
|
tomtom62
      
Beiträge: 278
WIN 2000, XP prof
D5 prof.
|
Verfasst: Mo 12.01.04 17:40
Also zuerst einmal würde ich die Daten per SQL Anweisung (INSERT) in die Firebird Datenbank schreiben.
Ein Commit nach jedem Datensatz ist unnötig und bremst, so wie Du es schon gesagt hast.
Das was Du das machst, bedeutet letztendlich, dass die ganze Tabelle erst einmal geladen werden muss.
Bei Dir sind es sogar zwei Tabellen, die Quelle und das Ziel...
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19:
| database5.Connected := true; ??
tableHISPOS5.Active := true; tableHISPOS5.First;
while not tableHISPOS5.eof do begin
Query1.sql.clear; query1.sql.add('Insert into ibtableHISPOS5 (feld1,feld2...) values (....)'); Query1.execSQL;
progressbar1.stepit; tableHISPOS5.Next; end;
tableHISPOS5.active := false;
ibtransactionUNI.Commit; |
Musst Du noch ein wenig bearbeiten, insbesondere die SQL Anweisung musst Du noch zusammenbauen. Ob ein Commit am Ende ausreicht, bin ich nicht sicher, aber im Prinzip müsste es so laufen..
|
|
Josef-B 
      
Beiträge: 293
2003 Server, Win7, Win8
Delphi 2010 Pro, Firebird 2.5
|
Verfasst: Di 13.01.04 21:49
hallo tomtom,
Danke für Deinen Tip.
Hatte zwar viel Arbeit mit der Eingabe der SQL-Anweisung bei 66 Feldern, aber die Arbeit hat sich gelohnt.
Habe das commit jetzt doch nach jeden Satz gesetzt.
Die Übernahme der 184.000 Sätze dauert jetzt nicht mehr zig Stunden sondern nur noch einige Minuten 
|
|
KidPaddle
      
Beiträge: 351
WinXP,Linux
D7 Prof, XE7
|
Verfasst: Di 13.01.04 21:56
Wofür ist das Commit, wenn keine Transaktion gestartet wird? Da aber keine Transaktion existiert, wird es im besten Fall ignoriert, im schlechtesten Fall kommt es zu einer Fehlermeldung, wie z. B. beim MS SQL - Server.
Gruß
KidPaddle
|
|
Josef-B 
      
Beiträge: 293
2003 Server, Win7, Win8
Delphi 2010 Pro, Firebird 2.5
|
Verfasst: Di 13.01.04 22:06
So viel ich weiß, werden bei Interbase doch die Transactionen erst nach einem Commit endgültig gespeichert.
Zuletzt bearbeitet von Josef-B am Di 13.01.04 22:08, insgesamt 1-mal bearbeitet
|
|
Josef-B 
      
Beiträge: 293
2003 Server, Win7, Win8
Delphi 2010 Pro, Firebird 2.5
|
Verfasst: Di 13.01.04 22:08
So viel ich weiß, werden bei Interbase doch die Transactionen erst nach einem Commit endgültig gespeichert.
Und bei TIBSQL benötigt man doch auch eine TIBTransaction !?, oder wie funzt das?
|
|
recall
      
Beiträge: 449
|
Verfasst: Di 13.01.04 23:23
Die Transaction wurde mit *.active := True; geöffnet, d.h. einen Fehler gibts vielleicht nur, wenn du ein Commit nach jedem Datensatz machst.
Ich würde ein Commit; am Ende machen (Es sei denn du willst verhindern, dass die DBase ein Rollback beim Übertragungsfehler macht).
Sonst reicht es völlig aus.
| Zitat: | So viel ich weiß, werden bei Interbase doch die Transactionen erst nach einem Commit endgültig gespeichert.
|
Das ist wohl bei den meisten Datenbanken so (hoffe ich doch)  .
Viele Grüsse.
|
|
KidPaddle
      
Beiträge: 351
WinXP,Linux
D7 Prof, XE7
|
Verfasst: Mi 14.01.04 08:51
| Zitat: |
Das ist wohl bei den meisten Datenbanken so (hoffe ich doch) .
|
Nicht unbedingt. Die meisten DBs (MS-SQL, Access, MySQL, InterBase) die ich in die Finger bekommen habe, machen einen AutoCommit. Das heist jede DELETE, INSERT und UPDATE - Anweisung sind sofort nach Ausführung gültig. Das hängt aber sehr stark von der Konfiguration des Servers bzw. DB ab.
Gruß
KidPaddle
|
|
recall
      
Beiträge: 449
|
Verfasst: Mi 14.01.04 09:31
| Zitat: | | Das hängt aber sehr stark von der Konfiguration des Servers bzw. DB ab. |
Dass man AutoCommit einstellen kann, ist ja etwas anderes. Aber eine Datenbank NUR mit AutoCommit ??????
Viele Grüsse.
|
|
KidPaddle
      
Beiträge: 351
WinXP,Linux
D7 Prof, XE7
|
Verfasst: Mi 14.01.04 10:01
Nein, aber die Standardeinstellung ist bei den meisten DBs AutoCommit.
Gruß
KidPaddle
|
|
recall
      
Beiträge: 449
|
Verfasst: Fr 16.01.04 11:28
Bei Interbase, Firebird und Oracle schonmal nicht! ...bei welchen also (standard=AutoCommit) ?
|
|