Autor Beitrag
Horst_H
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 1654
Erhaltene Danke: 244

WIN10,PuppyLinux
FreePascal,Lazarus
BeitragVerfasst: Mo 07.11.05 10:39 
Hallo,

Ich habe bei >meinem< Versuch Textdateien zu sortieren www.delphi-forum.de/...sortieren_50718.html (100Mb mit 10Mio Zeilen eingelesen(2s), sortiert(20s) und ausgegeben(4s)) ein grosses Problem, bei wiederholter Anwendung bei einer kleinen Datei (1009 byte).
Um die SubStrings in outStr zu markieren, benutze ich ein globales A : array of pChar, um anschliessend sortieren zu koennen.
In der procedure Einlesen passiert es dann:
ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
34:
35:
36:
37:
38:
39:
40:
41:
42:
43:
44:
45:
46:
47:
48:
49:
50:
51:
52:
53:
procedure Einlesen(var outStr: String);
const
  BufSize = 4096;
var
  inFStrm : TFileStream;
  pCh     : pChar;
  pA      : ^pChar;
  chPos   : Cardinal;
  i,gelesen,Anz : integer;
//  A : array of pCHar;

  procedure NeueZeileEintragen;
    begin
    inc(Anz);
    inc(pA);
    pCh^ :=#0;
    inc(pCh,2);
    pA^ := pch;// A[ANZ] := pCh;
    end;
begin
  inFStrm := TfileStream.Create(conFileName,fmOpenRead);
  i := inFStrm.size;

  setlength(outstr,i+2);//Es gab einen Text der nicht auf #13#10 endete

  setlength(A,i div 10+2);//Wieviele Strings maximal hier STring[8]+#13#10

  pCh := pChar(outStr);
  pA  := @A[0];
  pA^  := pch;
  ChPos := cardinal(pCh);

  Anz := 0;
  repeat
     iF i > Bufsize then
       gelesen:= inFStrm.Read(Pointer(ChPos)^,BufSize)
     else
       gelesen:= inFStrm.Read(Pointer(ChPos)^,i);
     dec(i,gelesen);
     inc(ChPOs,gelesen);
     while cardinal(pCh)<=ChPOs do
       begin
       if pCH^<> #13 then
         inc(pch)
       else
         NeueZeileEintragen;
       end;
  until i <= 0;
  If ANZ= 0 then
    Anz := 1;
  setlength(A,Anz);
  inFStrm.free;
end;


Wenn ich NeueZeileEintragen weglasse funktioniert es, dann greife ich auch nicht auf A zu. Wenn ich A lokal deklariere, funktioniert es auch.
Besser gesagt, es funktioniert nur ein Durchlauf.

Wie kann das sein?

Gruss Horst

P.S.:
Hat sich erledigt.
Beim zweiten Aufruf kam immer Stackoverflow Error , Der Fehler lag woanders, ich sortiere mittels Mergesort und das zweite halb so grosse Feld war um ein Feld zu klein bei ungerader Zeilenzahl, das war letztendlich der casus cnactus :-( , beim Zugriff ueber Arrayindizes statt ueber Pointer spuckte dann die Bereichsueberschreitung den Fehler aus.
Was fuer ein Zufall, dass die anderen Testdateien eine gerade Zeilenzahl hatten (Bootlog.txt etc ,aber eben Frumnlog.txt nicht.
Spaceguide
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 552


(D3/D7/D8) Prof.
BeitragVerfasst: Mo 07.11.05 15:16 
ausblenden Delphi-Quelltext
1:
setlength(A,i div 10+2);					


Muss man das verstehen?
Horst_H Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 1654
Erhaltene Danke: 244

WIN10,PuppyLinux
FreePascal,Lazarus
BeitragVerfasst: Mo 07.11.05 16:33 
Hallo,

ja.
Es wird eine Textdatei mittels filestream eingelesen.
Im dynamischen Array A werden die Anfangsadresen gespeichert um dieses Feld schon vorab auf etwa die richtige Grosse zu bringen , waehle ich hier eine geschaetzte durchschnittliche Stringlaenge von 10.
Die Testdateien haben 100Mb mit 10 Mio Zahlen im format %.8d .Eigentlich muesste man erst einen Teil einlesen (z.B. 1000 Zeilen ) und dann eine Berechnung mit mittlerer Zeilenlaenge, um das Feld dann auf die wahrscheinlich korrekte Groesse zu bringen, das umkopieren kostet ja viel Zeit.

Ich bin ersteinmal froh, dass es jetzt in einer Schleife mit diversen Textdateien (Stringliste wird uebergeben) funktioniert.

Gruss Horst
Spaceguide
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 552


(D3/D7/D8) Prof.
BeitragVerfasst: Mo 07.11.05 16:44 
Du schätzt den Speicher ab und belegst nur den geschätzten Durchschnitt und nicht eine obere mögliche Schranke?
Horst_H Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 1654
Erhaltene Danke: 244

WIN10,PuppyLinux
FreePascal,Lazarus
BeitragVerfasst: Mo 07.11.05 16:55 
Hallo,

in Zukunft , jetzt nehme ja einfach 100e6/10 = 10e6 als Groesse.(40 mio Byte sind ja heute nichts mehr habe ich beschlossen)
Gruss Horst
P.S.:
Das Thema ist eigentlich beendet ;-)