Autor Beitrag
kromefot
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Fr 02.06.06 14:53 
Hallo!

Ich schreibe gerade ein Programm, welches ca. 4000 CSV Dateien (~180 KB) in ein Stringgrid einliest und bestimmte Spalten mittelt.
Es funktioniert eigentlich auch alles, nur das Programm läuft sehr langsam und der Speicher im Taskmanager wächst >200 MB an obwohl ich immer .Free aufrufe.

Hier ist mal meine Funktion zum einlesen des Stringgrids:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
procedure TForm1.ImportCSVFile(FN: TFileName; SG: TStringGrid);
var
  i: Integer;
  T: string;
  StringList: TStringList;
  CountCols: Integer;
  CountLines: Integer;
begin
StringList := TStringList.Create; // A new Stringlist is created
StringList.LoadFromFile(FN);      // and loaded from the file given to the
                                  // procedure
CountLines:= StringList.count;    // Count the lines of the list
T:=StringList[0];                 // First line of the Stringlist is the title
CountCols:=CountColumns(T);       // Count the columns of the title

SG.ColCount:=CountCols;           // Change dimension to the actual values
SG.RowCount:=CountLines;

// Separate each line by the given delimiters comma and space
for i := 0 to CountLines - 1 do begin
  T:=StringList[i];
  SG.rows[i].Delimiter:=',';
  SG.rows[i].DelimitedText:=T;
end;

// Free the memory for the temporary created Stringlist
FreeAndNil(StringList);
StringList.Free;
end;


Das StringGrid "SG" ist immer das gleiche und der Inhalt wird immer nur überschrieben.
Ich rufe beim ausführen der Mittelung am Anfang
ausblenden Delphi-Quelltext
1:
SG := TStringGrid.Create(nil);					

und am Ende
ausblenden Delphi-Quelltext
1:
2:
FreeAndNil(SG);
SG.Free;

auf.

Der Inhalt der Mittelung wird in ein weiteres Stringgrid geschrieben und mit folgender Funktion exportiert:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
procedure TForm1.ExportStringGridToCSV(StringGrid: TStringGrid; const FileName: TFileName);
var
  f:    TextFile;
  i, k: Integer;
  text:string;
const  delimiter = ';';    //  sets the delimiter
begin
  AssignFile(f, FileName);
  Rewrite(f);
  with StringGrid do
  begin
      for k := 0 to RowCount - 1 do begin
      text:='';
       for i := 0 to ColCount -1 do
        text:=text+Cells[i,k]+delimiter;
        text:=Copy(text,1,length(text)-1);                                          
        Writeln(F, text);                  
       end;
  end;
  CloseFile(F);
end;


Meine Fragen sind jetzt:
Gibt es eine Möglichkeit die CSV Datei schneller einzulesen?
Wie bekomme ich es hin, das der Speicherbedarf nicht so riesig ist. Er wächst nach jedem Speichern eines Stringgrids an (um ca. 2-3 MB, der Speichern Aufruf erfolgt ca. 300 mal, bei ca. 200 MB endet der Bedarf aber, bzw. sinkt kurzzeitig auf 70 MB).

Danke schonmal!
Narses
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Administrator
Beiträge: 10185
Erhaltene Danke: 1261

W11x64
TP3 .. D7pro .. D10.2CE
BeitragVerfasst: Fr 02.06.06 15:11 
Moin!

Du verwendest das StringGrid doch nur als Datenstruktur und willst den Inhalt eigentlich gar nicht anzeigen, oder? Warum dann ein StringGrid? Brauchst du denn die ganze Tabelle oder nur einzelne Spalten? Wenn du nicht die ganze Tabelle brauchst und auch nichts anzeigen willst, warum setzt du dann nicht auf TStringList auf?

Weiterhin solltest du den überflüssigen String T rausnehmen:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
procedure TForm1.ImportCSVFile(FN: TFileName; SG: TStringGrid);
var
  i: Integer;
  StringList: TStringList;
  CountCols: Integer;
  CountLines: Integer;
begin
  StringList := TStringList.Create; // A new Stringlist is created
  StringList.LoadFromFile(FN);      // and loaded from the file given to the
                                    // procedure
  CountLines := StringList.count;    // Count the lines of the list
  CountCols := CountColumns(StringList[0]); // Count the columns of the title

  SG.ColCount := CountCols;           // Change dimension to the actual values
  SG.RowCount := CountLines;

  // Separate each line by the given delimiters comma and space
  for i := 0 to CountLines - 1 do
    SG.Rows[i].CommaText := StringList[i];

  // Free the memory for the temporary created Stringlist
  FreeAndNil(StringList); // das reicht, .Free ist dann überflüssig
end;


Wieder, .Free ist überflüssig, das hier reicht:
ausblenden Delphi-Quelltext
1:
FreeAndNil(SG);					


Mein Vorschlag, um die vielen Stringoperationen rauszunehmen:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
procedure TForm1.ExportStringGridToCSV(StringGrid: TStringGrid; const FileName: TFileName);
var
  f: TextFile;
  i: Integer;
begin
  AssignFile(f, FileName);
  Rewrite(f);
  with StringGrid do begin
    for i := 0 to RowCount -1 do
      Writeln(F, Rows[i].CommaText);                  
  end;
  CloseFile(F);
end;

cu
Narses

_________________
There are 10 types of people - those who understand binary and those who don´t.
kromefot Threadstarter
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Fr 02.06.06 15:45 
Moin!

Ja richtig, allerdings weiß ich nicht wie ich dann auf bestimmte Spalten zugreifen kann!
Die Dateien haben etwa 100 Spalten, von denen ich nur die erste und zwei weitere benötige die aber an unterschiedlichen Stellen sein können.
Bisher finde ich die Spalten die ich brauche über eine Suche in der Titelzeile:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
for j := 0 to sg.rowCount - 1 do begin  
 if sg.cells[j,0]='201' then col201:=j;  
 if sg.cells[j,0]='202' then col202:=j;
end;


Danke schonmal für die Tipps!
kromefot Threadstarter
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Fr 02.06.06 15:52 
Achso und ich muss mit DelimitedText arbeiten, da ich bei der Ausgabe als Trennzeichen das Semikolon verwenden und beim Einlesen einige Dateien mit Kommas getrennt sind, andere mit Leerzeichen, welches automatisch von DelimitedText gemacht wird.
kromefot Threadstarter
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Do 08.06.06 00:09 
> Warum dann ein StringGrid? Brauchst du denn die ganze Tabelle oder nur einzelne Spalten? Wenn du nicht die > ganze Tabelle brauchst und auch nichts anzeigen willst, warum setzt du dann nicht auf TStringList auf?

Ich habe leider noch nicht ganz verstanden wie ich das machen soll, auf das StringGrid zu verzichten, wenn ich doch auf bestimmte Spalten zugreifen muss! Wie kann ich das ohne StringGrid erledigen? Andere schnellere Möglichkeiten sind auch willkommen!
hansa
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 3079
Erhaltene Danke: 9



BeitragVerfasst: Do 08.06.06 00:52 
Habe das anfangs auch nicht glauben wollen, aber das liegt an den Windows-Zeichenoperationen (eventuell auch an Delphi) ! Baue das Stringgrid mal im Hintergrund auf. Also Hide und am Schluß Show. Geschwindigkeitsfaktor 5-10, wenn nicht noch höher würde mich nicht wundern ! Schon beim Memo lags in dem Bereich.

_________________
Gruß
Hansa
kromefot Threadstarter
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Do 08.06.06 06:40 
MMh da ich das StringGrid zur Laufzeit erzeuge aber überhaupt nicht anzeige (TStringGrid.Create(nil)) dürfte das nichts mehr bringen, ich werde es trotzdem mal probieren
Narses
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Administrator
Beiträge: 10185
Erhaltene Danke: 1261

W11x64
TP3 .. D7pro .. D10.2CE
BeitragVerfasst: Do 08.06.06 09:07 
Moin!

user profile iconkromefot hat folgendes geschrieben:
allerdings weiß ich nicht wie ich dann auf bestimmte Spalten zugreifen kann!
Die Dateien haben etwa 100 Spalten, von denen ich nur die erste und zwei weitere benötige die aber an unterschiedlichen Stellen sein können.
Bisher finde ich die Spalten die ich brauche über eine Suche in der Titelzeile:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
for j := 0 to sg.rowCount - 1 do begin  
 if sg.cells[j,0]='201' then col201:=j;  
 if sg.cells[j,0]='202' then col202:=j;
end;

Danke schonmal für die Tipps!

Aber da hast du doch schon den Ansatz, du mußt das ganze jetzt nur noch auf die Zeile, und nicht auf die Tabelle bezogen machen, mit einer 2. Stringliste:
ausblenden Quelltext
1:
2:
3:
4:
5:
6:
7:
- Datei in 1. Stringliste einlesen
- Spaltennummern bestimmen
- Zeile für Zeile durchgehen
  - aktuelle Zeile per .DelimitedText in eine 2. Stringliste zerlegen
  - auf die vorher bestimmten Spalten zugreifen (z.B: .Strings[col201]) und verarbeiten
- beide Stringlisten wieder entsorgen
- die Ausgabedatei schreiben, aber die Zeilen wieder mit .DelimitedText erstellen!


cu
Narses

_________________
There are 10 types of people - those who understand binary and those who don´t.
raiguen
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 374

WIN 2000prof, WIN XP prof
D7EP, MSSQL, ABSDB
BeitragVerfasst: Do 08.06.06 09:53 
Moin :)
Wenn es nur darum geht, aus verschiedenen CSV-Dateien jeweils drei Werte auszulesen, diese zu mitteln und dann wieder abzuspeichern, muss nicht der Umweg über ein StringGrid gegangen werden.
Folgender Lösungsvorschlag
ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
procedure TForm1.ImportCSVFile(FN: TFileName; SG: TStringGrid);
var
  i: Integer;
  CSVList, Zeile: TStringList;
  CountCols, CountLines: Integer;
  Col1, Col201, Col202: Integer;  //--SPalten der zu mitteltenden Werte
begin
  ZEile := TStringList.Create;           //--StringListe für eine gelesene ZEile
  CSVList := TStringList.Create;         //--Zwischenliste generieren 
  CSVList.LoadFromFile(FN);              //--CSV-DAtei einlesen 
  CountLines := CSVList.count;           //--Zeilenanzahl der Liste
  CountCols := CountColumns(CSVList[0]); //--Spaltenanzahl der Titelzeile
 
  //--Spaltennr. der relevanten Werte für die Mittelung
  Zeile.CommaText := CSVList[0];         //--TitelZeile 
  for i := 0 to Zeile.Count - 1 do begin  
    if Zeile[i]='201' then col201:=i;  
    if Zeile[i]='202' then col202:=i;
  end;

  //--aus jeder CSV-Zeile nur die rlevanten Spalten auslesen
  for i := 1 to CountLines - 1 do begin
    Zeile.CommaText := CSVList[i];       //--ZEile separieren
    //--Werte in Array oder ähnliches schreiben
    Mittelwert[i,1] := Zeile[0];  //--erste Spalte;
    Mittelwert[i,2] := Zeile[Col201];
    MittelWert[i,3] := Zeile[Col202];
  end;
  
  //--
  Zeile.Free;
  CSVList.Free:
end;

Aus jeder eingelesenen CSV-Zeile werden nur die benötigten Werte ausgelesen und sofort zwischengespeichert (in meinem Beispiel ein Array Mittelwert ), um diese dann in weiteren Prozeduren zu mitteln und abzuspeichern...
kromefot Threadstarter
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Do 08.06.06 13:00 
Hey Super! Das klappt wunderbar. Das berechnen der Mittelwerte dauert jetzt statt 1-2 stunden nur noch ein paar Minuten! Hätte nie gedacht, dass solch kleine Änderungen eine so große Wirkung haben!

Der Speicherbedarf wächst aber leider immer noch ins Unermeßliche, hat da vielleicht noch einer eine Idee, was ich tun kann? Die ganzen FreeAndNil aufrufe scheinen keine Wirkung zu haben.
Horst_H
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 1654
Erhaltene Danke: 244

WIN10,PuppyLinux
FreePascal,Lazarus
BeitragVerfasst: Mo 12.06.06 07:17 
Hallo,

wenn Du einen Mittelwert brauchst , solltest Du direkt die Zahlen intern speichern, statt Strings, die erheblich mehr Arbeit und Platz brauchen.
Zudem sollte de Verarbeitung auch schon zwischendrin erfolgen und nicht nach dem Einlesen aller Dateien.
FastMM4 beschleunigt bei mir um den Faktor 2.
(491 Dateien mit insgsamt 2 Mio Zeilen a 4 Spalten (32 Byte pro Zeile)-> 64 Mb)
Maximaler Speicherverbrauch 175 Mb (prozessexplorer) mit Append.

Gruss Horst
Einloggen, um Attachments anzusehen!