Autor Beitrag
Mr.Malloc
Hält's aus hier
Beiträge: 3



BeitragVerfasst: Fr 20.01.06 10:37 
Ich erhalte nach einer SQL mit einem ADODataSet-Abfrage ca 400 000 Datensätze als Ergebnis. Die Abfrage dauert so um die 10s.
Nun mus ich diese Daten in einer Liste speichern. Aber nur das Durchlaufen dieser Datensätze dauert eine halbe Ewigkeit(>15min).

Schleife über ca 400000 Datensätze
ausblenden Quelltext
1:
2:
3:
4:
5:
6:
 
    //C++ Builder Code !!
    for(int i=0;i<ADODataSet1->RecordCount;i++)
    {
        ADODataSet1->Next();
    }

Seltsam ist auch das das Speichern mit
ausblenden Quelltext
1:
ADODataSet1->SaveToFile()					

nur Sekunden dauert.

ADODataSet Einstellungen
ausblenden Quelltext
1:
2:
3:
4:
AutoCalcFields = false
CaschSize = 2000000
CursorLocation = clUseClient
CursorType = ltReadOnly

Die Komponente AdoDataSet ist mit keiner visuellen Komponente (z.Bsp. DBGrid) verbunden.
Rechener P4HT 3GHz 1GB Ram
Gibt es einen Trick um die Daten schneller zu übernehmen?
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Fr 20.01.06 10:41 
Glatt vergessen:
:welcome: in der Entwickler-Ecke.

Hast du das Ergebnis von SaveToFile mal geprüft? Stehen dann wirklich deine 400.000 Datensätze in der Datei?
Mr.Malloc Threadstarter
Hält's aus hier
Beiträge: 3



BeitragVerfasst: Fr 20.01.06 10:55 
Die Daten (ca.20 MB Xml) lassen sich mit
ausblenden Quelltext
1:
ADODataSet1->LoadFromFile();					

wieder vollständig laden. Das geht auch sehr schnell.
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Fr 20.01.06 11:10 
Hmm, das ist schon verwirrend.
Da ich mit C++ nicht viel zu tun hatte bisher, muss ich schon ein bisschen raten.
In Delphi gibt es beim TDataSet die Methode DisableControls und EnableControls. Falls es das beim TADODataSet für C++ auch gibt, schreibe das DisableControls vor die Schleife und das EnableControls, wenn die Schleife beendet ist.

Ich nehme an, dass das "Next" die Daten für die Anwendung "verfügbar" macht. Das SaveToFile muss das in dieser Form nicht. Daher wird das entsprechend optimiert sein.

btw: Welche Datenbank steht denn überhaupt dahinter?
Mr.Malloc Threadstarter
Hält's aus hier
Beiträge: 3



BeitragVerfasst: Fr 20.01.06 11:30 
Danke, das wars :D

Ich habe DisableControls() vor und EnableControls() nach der Schleife eingebaut.
Die Übernahme dauert nun nur noch 45s gegenüber 1Std. Muss aber noch weiter testen und nachlesen was diese Funktionen überhaupt bewirken.


Danke nochmals.
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Fr 20.01.06 12:03 
Wenn Deine ADO-Tabelle an irgendwelche Datasources und damit an 'datensensitive Steuerelemente' (TDBEdit, TDBGrid etc.) geknüpft ist, dann werden diese Elemente bei jeder(!) Änderung neu gezeichnet. Und das dauert!

Durch DisableControls / EnableControls vor bzw. nach dem Durchlaufen mit 'next' geht das natürlich schneller.

_________________
Na denn, dann. Bis dann, denn.
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Fr 20.01.06 12:35 
Lt. MrMalloc sind aber keine visuellen Komponenten verbunden gewesen. Sonst hätte ich auch gleich darauf getippt.
Es gibt natürlich nach andere datensensitive Komponenten...
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Fr 20.01.06 12:44 
Ah, aber er fragte nach dem sinn von Disable/Enable... Events in der Tabelle? Oder im TDatasource?

_________________
Na denn, dann. Bis dann, denn.