| Autor |
Beitrag |
kromefot
Hält's aus hier
Beiträge: 11
|
Verfasst: Fr 02.06.06 14:53
Hallo!
Ich schreibe gerade ein Programm, welches ca. 4000 CSV Dateien (~180 KB) in ein Stringgrid einliest und bestimmte Spalten mittelt.
Es funktioniert eigentlich auch alles, nur das Programm läuft sehr langsam und der Speicher im Taskmanager wächst >200 MB an obwohl ich immer .Free aufrufe.
Hier ist mal meine Funktion zum einlesen des Stringgrids:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29:
| procedure TForm1.ImportCSVFile(FN: TFileName; SG: TStringGrid); var i: Integer; T: string; StringList: TStringList; CountCols: Integer; CountLines: Integer; begin StringList := TStringList.Create; StringList.LoadFromFile(FN); CountLines:= StringList.count; T:=StringList[0]; CountCols:=CountColumns(T); SG.ColCount:=CountCols; SG.RowCount:=CountLines;
for i := 0 to CountLines - 1 do begin T:=StringList[i]; SG.rows[i].Delimiter:=','; SG.rows[i].DelimitedText:=T; end;
FreeAndNil(StringList); StringList.Free; end; |
Das StringGrid "SG" ist immer das gleiche und der Inhalt wird immer nur überschrieben.
Ich rufe beim ausführen der Mittelung am Anfang
Delphi-Quelltext 1:
| SG := TStringGrid.Create(nil); |
und am Ende
Delphi-Quelltext 1: 2:
| FreeAndNil(SG); SG.Free; |
auf.
Der Inhalt der Mittelung wird in ein weiteres Stringgrid geschrieben und mit folgender Funktion exportiert:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21:
| procedure TForm1.ExportStringGridToCSV(StringGrid: TStringGrid; const FileName: TFileName); var f: TextFile; i, k: Integer; text:string; const delimiter = ';'; begin AssignFile(f, FileName); Rewrite(f); with StringGrid do begin for k := 0 to RowCount - 1 do begin text:=''; for i := 0 to ColCount -1 do text:=text+Cells[i,k]+delimiter; text:=Copy(text,1,length(text)-1); Writeln(F, text); end; end; CloseFile(F); end; |
Meine Fragen sind jetzt:
Gibt es eine Möglichkeit die CSV Datei schneller einzulesen?
Wie bekomme ich es hin, das der Speicherbedarf nicht so riesig ist. Er wächst nach jedem Speichern eines Stringgrids an (um ca. 2-3 MB, der Speichern Aufruf erfolgt ca. 300 mal, bei ca. 200 MB endet der Bedarf aber, bzw. sinkt kurzzeitig auf 70 MB).
Danke schonmal!
|
|
Narses
      

Beiträge: 10185
Erhaltene Danke: 1261
W11x64
TP3 .. D7pro .. D10.2CE
|
Verfasst: Fr 02.06.06 15:11
Moin!
Du verwendest das StringGrid doch nur als Datenstruktur und willst den Inhalt eigentlich gar nicht anzeigen, oder? Warum dann ein StringGrid? Brauchst du denn die ganze Tabelle oder nur einzelne Spalten? Wenn du nicht die ganze Tabelle brauchst und auch nichts anzeigen willst, warum setzt du dann nicht auf TStringList auf?
Weiterhin solltest du den überflüssigen String T rausnehmen:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23:
| procedure TForm1.ImportCSVFile(FN: TFileName; SG: TStringGrid); var i: Integer; StringList: TStringList; CountCols: Integer; CountLines: Integer; begin StringList := TStringList.Create; StringList.LoadFromFile(FN); CountLines := StringList.count; CountCols := CountColumns(StringList[0]); SG.ColCount := CountCols; SG.RowCount := CountLines;
for i := 0 to CountLines - 1 do SG.Rows[i].CommaText := StringList[i];
FreeAndNil(StringList); end; |
Wieder, .Free ist überflüssig, das hier reicht:
Delphi-Quelltext
Mein Vorschlag, um die vielen Stringoperationen rauszunehmen:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13:
| procedure TForm1.ExportStringGridToCSV(StringGrid: TStringGrid; const FileName: TFileName); var f: TextFile; i: Integer; begin AssignFile(f, FileName); Rewrite(f); with StringGrid do begin for i := 0 to RowCount -1 do Writeln(F, Rows[i].CommaText); end; CloseFile(F); end; |
cu
Narses
_________________ There are 10 types of people - those who understand binary and those who don´t.
|
|
kromefot 
Hält's aus hier
Beiträge: 11
|
Verfasst: Fr 02.06.06 15:45
Moin!
Ja richtig, allerdings weiß ich nicht wie ich dann auf bestimmte Spalten zugreifen kann!
Die Dateien haben etwa 100 Spalten, von denen ich nur die erste und zwei weitere benötige die aber an unterschiedlichen Stellen sein können.
Bisher finde ich die Spalten die ich brauche über eine Suche in der Titelzeile:
Delphi-Quelltext 1: 2: 3: 4:
| for j := 0 to sg.rowCount - 1 do begin if sg.cells[j,0]='201' then col201:=j; if sg.cells[j,0]='202' then col202:=j; end; |
Danke schonmal für die Tipps!
|
|
kromefot 
Hält's aus hier
Beiträge: 11
|
Verfasst: Fr 02.06.06 15:52
Achso und ich muss mit DelimitedText arbeiten, da ich bei der Ausgabe als Trennzeichen das Semikolon verwenden und beim Einlesen einige Dateien mit Kommas getrennt sind, andere mit Leerzeichen, welches automatisch von DelimitedText gemacht wird.
|
|
kromefot 
Hält's aus hier
Beiträge: 11
|
Verfasst: Do 08.06.06 00:09
> Warum dann ein StringGrid? Brauchst du denn die ganze Tabelle oder nur einzelne Spalten? Wenn du nicht die > ganze Tabelle brauchst und auch nichts anzeigen willst, warum setzt du dann nicht auf TStringList auf?
Ich habe leider noch nicht ganz verstanden wie ich das machen soll, auf das StringGrid zu verzichten, wenn ich doch auf bestimmte Spalten zugreifen muss! Wie kann ich das ohne StringGrid erledigen? Andere schnellere Möglichkeiten sind auch willkommen!
|
|
hansa
      
Beiträge: 3079
Erhaltene Danke: 9
|
Verfasst: Do 08.06.06 00:52
Habe das anfangs auch nicht glauben wollen, aber das liegt an den Windows-Zeichenoperationen (eventuell auch an Delphi) ! Baue das Stringgrid mal im Hintergrund auf. Also Hide und am Schluß Show. Geschwindigkeitsfaktor 5-10, wenn nicht noch höher würde mich nicht wundern ! Schon beim Memo lags in dem Bereich.
_________________ Gruß
Hansa
|
|
kromefot 
Hält's aus hier
Beiträge: 11
|
Verfasst: Do 08.06.06 06:40
MMh da ich das StringGrid zur Laufzeit erzeuge aber überhaupt nicht anzeige (TStringGrid.Create(nil)) dürfte das nichts mehr bringen, ich werde es trotzdem mal probieren
|
|
Narses
      

Beiträge: 10185
Erhaltene Danke: 1261
W11x64
TP3 .. D7pro .. D10.2CE
|
Verfasst: Do 08.06.06 09:07
Moin!
kromefot hat folgendes geschrieben: | allerdings weiß ich nicht wie ich dann auf bestimmte Spalten zugreifen kann!
Die Dateien haben etwa 100 Spalten, von denen ich nur die erste und zwei weitere benötige die aber an unterschiedlichen Stellen sein können.
Bisher finde ich die Spalten die ich brauche über eine Suche in der Titelzeile:
Delphi-Quelltext 1: 2: 3: 4:
| for j := 0 to sg.rowCount - 1 do begin if sg.cells[j,0]='201' then col201:=j; if sg.cells[j,0]='202' then col202:=j; end; |
Danke schonmal für die Tipps! |
Aber da hast du doch schon den Ansatz, du mußt das ganze jetzt nur noch auf die Zeile, und nicht auf die Tabelle bezogen machen, mit einer 2. Stringliste:
Quelltext 1: 2: 3: 4: 5: 6: 7:
| - Datei in 1. Stringliste einlesen - Spaltennummern bestimmen - Zeile für Zeile durchgehen - aktuelle Zeile per .DelimitedText in eine 2. Stringliste zerlegen - auf die vorher bestimmten Spalten zugreifen (z.B: .Strings[col201]) und verarbeiten - beide Stringlisten wieder entsorgen - die Ausgabedatei schreiben, aber die Zeilen wieder mit .DelimitedText erstellen! |
cu
Narses
_________________ There are 10 types of people - those who understand binary and those who don´t.
|
|
raiguen
      
Beiträge: 374
WIN 2000prof, WIN XP prof
D7EP, MSSQL, ABSDB
|
Verfasst: Do 08.06.06 09:53
Moin
Wenn es nur darum geht, aus verschiedenen CSV-Dateien jeweils drei Werte auszulesen, diese zu mitteln und dann wieder abzuspeichern, muss nicht der Umweg über ein StringGrid gegangen werden.
Folgender Lösungsvorschlag
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30: 31: 32: 33:
| procedure TForm1.ImportCSVFile(FN: TFileName; SG: TStringGrid); var i: Integer; CSVList, Zeile: TStringList; CountCols, CountLines: Integer; Col1, Col201, Col202: Integer; begin ZEile := TStringList.Create; CSVList := TStringList.Create; CSVList.LoadFromFile(FN); CountLines := CSVList.count; CountCols := CountColumns(CSVList[0]); Zeile.CommaText := CSVList[0]; for i := 0 to Zeile.Count - 1 do begin if Zeile[i]='201' then col201:=i; if Zeile[i]='202' then col202:=i; end;
for i := 1 to CountLines - 1 do begin Zeile.CommaText := CSVList[i]; Mittelwert[i,1] := Zeile[0]; Mittelwert[i,2] := Zeile[Col201]; MittelWert[i,3] := Zeile[Col202]; end; Zeile.Free; CSVList.Free: end; |
Aus jeder eingelesenen CSV-Zeile werden nur die benötigten Werte ausgelesen und sofort zwischengespeichert (in meinem Beispiel ein Array Mittelwert ), um diese dann in weiteren Prozeduren zu mitteln und abzuspeichern...
|
|
kromefot 
Hält's aus hier
Beiträge: 11
|
Verfasst: Do 08.06.06 13:00
Hey Super! Das klappt wunderbar. Das berechnen der Mittelwerte dauert jetzt statt 1-2 stunden nur noch ein paar Minuten! Hätte nie gedacht, dass solch kleine Änderungen eine so große Wirkung haben!
Der Speicherbedarf wächst aber leider immer noch ins Unermeßliche, hat da vielleicht noch einer eine Idee, was ich tun kann? Die ganzen FreeAndNil aufrufe scheinen keine Wirkung zu haben.
|
|
Horst_H
      
Beiträge: 1654
Erhaltene Danke: 244
WIN10,PuppyLinux
FreePascal,Lazarus
|
Verfasst: Mo 12.06.06 07:17
Hallo,
wenn Du einen Mittelwert brauchst , solltest Du direkt die Zahlen intern speichern, statt Strings, die erheblich mehr Arbeit und Platz brauchen.
Zudem sollte de Verarbeitung auch schon zwischendrin erfolgen und nicht nach dem Einlesen aller Dateien.
FastMM4 beschleunigt bei mir um den Faktor 2.
(491 Dateien mit insgsamt 2 Mio Zeilen a 4 Spalten (32 Byte pro Zeile)-> 64 Mb)
Maximaler Speicherverbrauch 175 Mb (prozessexplorer) mit Append.
Gruss Horst
Einloggen, um Attachments anzusehen!
|
|