Autor Beitrag
holgerbremen
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 120



BeitragVerfasst: Mi 21.09.05 07:21 
Hallo,
ich mache mit einer TQuery Inserts in eine Datenbank (MS SQLServer 2000). Beim letzten Test hatte ich ca 700.000 Inserts gemacht.

Der SQLServer-Prozess hatte danach eine Speicherauslastung von 280 MB und die Performance des Testrechners ging völlig in die Knie.

Was kann man machen, damit die Speicherauslastung nicht zu hoch wird. Oder hilft hier nur eine Speicheraufrüstung? Gibts bei der Datenbank Mechanismen, die helfen würden?

Gruß
Holger
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Mi 21.09.05 07:44 
Ich kenne zwar den SQL-Server nicht, aber ein ähnliches Problem hatte ich auch mal.
Bei mir konnte ich das damals durch ein regelmäßiges Commit für die Daten und ein paar Aplication.ProcessMessages für Windows beheben.
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Mi 21.09.05 08:35 
Wieso machst Du 700000 Inserts mit Delphi? Benutze, wenn möglich das BCP dafür. Das ist sowieso am schnellsten, weil es die Daten sozusagen direkt einpflegt.
Der SQL nimmt solange Speicher, bis keiner mehr übrig ist (bzw. bis das Limit erreicht ist). Das sollte auf einem DB-Server eigentlich nicht zu Performanceproblemen führen. Ein DB-Server sollte exklusiv für den SQL-Server reserviert sein, andere Anwendungen sollten dort nicht laufen.

Du könntest folgendes probieren:
1. Sammle ca. 100-1000 (probieren) insert Anweisungen in einer Stringliste.
2. Starte eine Transaktion
3. Führe Inserts in der Stringliste aus
4. Führe ein Commit (vielleicht "with Checkpoint") aus.
5. Wiederhole 1-4, bis alle Daten drin sind.

Ich habe einen Wrapper für BCP geschrieben (sehr praktisch).
1. Du definierst Datentyp und Format der Tabellenspalten im BCP-Objekt
2. Du erzeugst die Textdatei in genau dem eben definierten Format*
3. Du rufst ImportToDatabase (aTableName, aFileName) auf.
4. Du lehnst Dich zurück und freust Dich über die Performance (hoffentlich).

* Ich würde mir eine Tabelle exportieren und dann die vom BCP erzeugte Textdatei analysieren. Dann weisst Du, wie breit die Spalten für INT, FLOAT etc. sein müssen.

Allerdings habe ich es auch schon erlebt, das der SQL-Server bei einem BCP ab ca. 1000000 Einträgen erstmal eine Weile ackert (irgendwann müssen die Daten ja mal geschrieben werden).
Einloggen, um Attachments anzusehen!
holgerbremen Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 120



BeitragVerfasst: Mi 21.09.05 09:37 
Die 700.000 Inserts habe ich nur als Test gemacht. Ich wollte nur sehen, wie sich meine Anwendung bzw. der SQL-Server verhält. Das Ganze erfolgt schon mit Transaktionen, auch diverse ProzessMessages habe ich eingebaut.

In der Praxis verhält es sich schon anders. Die Insert werden vom User ausgeführt. Die Datenmengen beschränken sich dann auf max. 20.000 Insert täglich, und das auf 24 Stunden verteilt.

Du sagest, das auf dem SQL-Server-Rechner keine anderen Anwendungen laufen sollen. Zur Zeit ist geplant, das neben dem Server (SQLServer 2000 Workgroup Edition) auch die Delphi-Anwendung läuft. Zu welchen Problemen kann es denn kommen, wenn beides auf einem Rechner läuft, außer das sich der SQLServer den ganzen Speicher irgendwann nimmt.

Gruß
Holger
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Mi 21.09.05 15:22 
Es ist eine grunsätzliche Maxime, das ein Server-PC im Netz nur jeweils eine Aufgabe übernehmen soll. Wenn deine Delphi-Anwendung den Server zum Stehen bringt, dann ist das ein GAU, weil ja dann auch SQL "etwas leidet".
Die Rechnung geht so:
1x am PC gespaart und die Mittelschicht (z.B.) auf dem SQL-Server installiert = -600 Euro.
1x GAU durch Absturz, Einsatz eines Technikers, SW-Spezialisten, egal = +2000 Euro.

Klar, dann gleich einen kleinen PC als Applikationsserver und Ruhe im Stall.

Wir haben bei einer sehr grossen Firma SQL-Server im 24/7 Einsatz. Die Datenmenge ist ca. 100.000 Inserts/Updates am Tag, vielleicht auch mehr. Da passiert nix. Bist Du Dir ganz sicher, das die Transaktionen commited werden?

Is schon merkwürdig.

_________________
Na denn, dann. Bis dann, denn.
holgerbremen Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 120



BeitragVerfasst: Do 22.09.05 14:35 
Wahrscheinlich hast Du Recht, der SQLServer sollte immer auf einem eigenen Rechner laufen. Werde ích nochmal überdenken.

Beim Commiten bin ich mir sicher. Alle Inserts werden in Transaktionen verpackt.


Database.BeginTranaction;

diverse Inserts....

Database.Commit;
bzw.
Database.Rollback;


Gruß
Holger