Autor Beitrag
miracle2k
Hält's aus hier
Beiträge: 12



BeitragVerfasst: Fr 13.06.03 09:36 
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
 
 TCodeExplorerNode = record
    Caption: string;
    SelStart, SelEnd: Integer;
    ChildNodes: TList;
  end;

function TCustomParserThread.AddChildNode(
  AParentNode: PCodeExplorerNode): PCodeExplorerNode;
begin
  // Alloc Memory
  Result := NewNode;

  // New Item in Array
  AParentNode^.ChildNodes.Add(Result);
end;

function TCustomParserThread.NewNode: PCodeExplorerNode;
begin
  New(Result);
  Result^.ChildNodes := TList.Create;
end;

Die folgende Prozedur soll einen HTML Code parsen:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
procedure THTMLParserThread.Parse;
var NewTag: string;
    ANewNode: PCodeExplorerNode;
    FCode: string;
    I: integer;
begin
  inherited;

  FRootNode := NewNode;

  fCode := CodeToParse;

 // Parse for Tags
 while FCode <> '' do Begin
   if Terminated then exit;
   FCode := Copy(FCode, pos('<',FCode) + 1, MaxInt);
   if FCode <> '' then Begin
     NewTag := Copy(FCode, 1, pos('>',FCode));
     if newTag <> '' then Begin
       ANewNode := AddChildNode(FRootNode);
       ANewNode^.Caption := NewTag;
     end;
     FCode := copy(FCode,pos('>',FCode)+1,MaxInt);
   end;
   if pos('<',FCode) = 0 then FCode := '';
 end;
end;

Wärend sie läuft steigt der Speicherverbrauch meiner Anwendung im Windows TaskManager um etwa 30 - 40 MB (bei einem Text von etwa 2000 Zeilen, etawas 3000 Tags).

Wenn ich nur den folgenden Code verwende:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
procedure THTMLParserThread.Parse;
var I: integer;
begin

 for i:=0 to 10000 do Begin
   ANewNode := AddChildNode(FRootNode);
 end;

end;

Steigt der Verbrauch nur um etwa 1 MB.

Waran liegt das? Ich probiere jetzt schon tagelang mit den verschiedensten Variationen herum, aber es kommt nichts heraus.

Komisch ist auch, dass sich der Speicherverbrauch nicht ändert, wenn man die Nodes wieder freigibt:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
procedure TCustomParserThread.FreeNode(ANode: PCodeExplorerNode);
var i: integer;
begin
  // Nil?
  if (ANode = nil) then exit;

  // Free child nodes
  for i := 0 to ANode^.ChildNodes.Count - 1 do
    try
      FreeNode(ANode^.ChildNodes[i]);
    except end;

  // Free node itself
  PCodeExplorerNode(ANode)^.ChildNodes.Free;
  ANode^.Caption := '';
  Finalize(ANode^);
  Dispose(ANode);
  ANode := nil;
end;

Ich hoffe jemand weiß einen Rat.

Moderiert von user profile iconTino: Code- durch Delphi-Tags ersetzt.
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1



BeitragVerfasst: Fr 13.06.03 10:26 
Ich habe mir das jetzt nicht so genau angekuckt, aber wo gibtst du hier:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
function TCustomParserThread.NewNode: PCodeExplorerNode; 
begin 
  New(Result); 
  Result^.ChildNodes := TList.Create; 
end;

den Speicher wieder frei, den du mit new anforderst?

Moderiert von user profile iconTino: Code- durch Delphi-Tags ersetzt.
AndyB
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 1173
Erhaltene Danke: 14


RAD Studio XE2
BeitragVerfasst: Fr 13.06.03 12:30 
Luckie hat folgendes geschrieben:
[...] den Speicher wieder frei, den du mit new anforderst?

Ich würde es mit letzten Code-Abschnitt von miracle2k probieren.

Zitat:
Moderiert von user profile iconTino: Code- durch Delphi-Tags ersetzt.

Also Luckie. :cry:



Zitat:
Finalize(ANode^);

Das kannst du dir sparen, da Dispose() dies übernimmt.


Zitat:
Wärend sie läuft steigt der Speicherverbrauch meiner Anwendung im Windows TaskManager um etwa 30 - 40 MB

Du misshandelst ja auch den Speichermanager mit deinen vielen Copy.

Erstze die Copy durch Delete.
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
// FCode := Copy(FCode, pos('<',FCode) + 1, MaxInt);
Delete(FCode, 1, Pos('<', FCode)); // schneller und speicherschonender

// FCode := copy(FCode,pos('>',FCode)+1,MaxInt);
Delete(FCode, 1, Pos('>', FCode)); // schneller und speicherschonender

_________________
Ist Zeit wirklich Geld?
miracle2k Threadstarter
Hält's aus hier
Beiträge: 12



BeitragVerfasst: Fr 13.06.03 19:09 
Danke Andy, jetzt hat sich das normalisiert.
Allerdings wird der Speicher trotzdem nicht freigegeben - zumindest ändert sich die Anzeige im TaskManager nicht.

Das Problem ist: Der Code muss sehr oft erneut geparst werden, im Prinzip bei jeder Änderung des Codes.

Michael

PS: Könntest du mir mal genau erklären wie Delphi die Strings intern handelt, oder einen Link posten. Das interessiert mich schon länger...
AndyB
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 1173
Erhaltene Danke: 14


RAD Studio XE2
BeitragVerfasst: Fr 13.06.03 19:13 
miracle2k hat folgendes geschrieben:
Allerdings wird der Speicher trotzdem nicht freigegeben

Du musst ihn ja mit FreeNodes() auch selbst freigeben. Delphi kann ja nicht hellsehen, wann du die Daten freigeben willst.

Zitat:
Das Problem ist: Der Code muss sehr oft erneut geparst werden, im Prinzip bei jeder Änderung des Codes.

Prüfe doch einfach ob FRootNode <> nil ist. Und wenn dem so ist, rufst du FreeNodes(FRootNode) auf bevor du FRootNode := NewNode zuweist.

_________________
Ist Zeit wirklich Geld?
mars
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 238

Debian Woody, Win 2000, Win XP
D7 Ent, Kylix 3
BeitragVerfasst: Fr 13.06.03 20:42 
Und wenn du das nächste Mal ein solches Problem hast, gib doch die Anwendung an Memproof weiter.
AndyB
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 1173
Erhaltene Danke: 14


RAD Studio XE2
BeitragVerfasst: Fr 13.06.03 21:04 
miracle2k hat folgendes geschrieben:
Könntest du mir mal genau erklären wie Delphi die Strings intern handelt, oder einen Link posten. Das interessiert mich schon länger...

Steht das etwa nicht in der OnlineHilfe? Alles nachzulesen unter dem Index "Long Strings"

_________________
Ist Zeit wirklich Geld?
miracle2k Threadstarter
Hält's aus hier
Beiträge: 12



BeitragVerfasst: Sa 14.06.03 14:51 
Zitat:
Steht das etwa nicht in der OnlineHilfe? Alles nachzulesen unter dem Index "Long Strings"


Danke. Ich verstehe dann allerdings immer noch nicht, wieso Delphi mit den Copys durcheinanderkommen soll:

ausblenden Delphi-Quelltext
1:
FCode := Copy(FCode, pos('<',FCode) + 1, MaxInt);					


FCode wird ein neuer Wert zugewiesen - Delphi müßte also den Speicher für den neuen String reservieren, und FCode auf diesen neuen Speicherbereich umlenken. Damit müßte dann automatisch der Referenzzähler des "alten" FCode-Strings auf 0 fallen und der Speicher freigegeben werden.

Zitat:
Du musst ihn ja mit FreeNodes() auch selbst freigeben. Delphi kann ja nicht hellsehen, wann du die Daten freigeben willst.


Selbstverständlich rufe ich FreeNodes auch auf. Das erledigt Execute des Threads. In Execute wird auch THTMLParserThread.Parse; aufgerufen. Anschließend wird das Ergebnis (Der Baum von FRootNode) verwendet und anschließend mit FreeNodes freigegeben.

Aber - lange Erklärung kurzer Sinn :) - jetzt funktioniert es jedenfalls. Die Nodes werden jetzt in einen VirtualTreeView angezeigt, und anscheinend gibt es da ein Problem mit der Freigabe - das muss ich mir aber erst nochmal genauer ansehen.
AndyB
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 1173
Erhaltene Danke: 14


RAD Studio XE2
BeitragVerfasst: Sa 14.06.03 17:07 
miracle2k hat folgendes geschrieben:
Danke. Ich verstehe dann allerdings immer noch nicht, wieso Delphi mit den Copys durcheinanderkommen soll:

Delphi kommt damit nicht durcheinander. Du musst zwischen der Anzeige im Taskmanager und dem "freien" Speicher unterscheiden. Delphi nutzt einen eigenen Speichermanager. Dieser reserviert Speicher in Blöcken beim System und vergibt Teilbereiche dieser Blöcke an GetMem-Aufrufe. Wenn du oder die Stringverwaltung nun Speicher freigibt, geht dieser zurück an den Speichermanager. Stellt dieser fest, dass der gesamte Speicherblock frei ist, wird er an das System zurückgegeben. Ist dem jedoch nicht so, so behält der Speichermanager den Block. Wenn also nur 1 Byte in diesem Block genutzt wird, bleibt der Block vom Speichermanager belegt.
Die Copy-Funktion belegt neuen Speicher. Bei deinem Code wird der alte freigegeben. Wenn nun der neue String im selben Block wie der alte liegt, oder sogar an der Grenze von 2 Blöcken liegt, dann bleiben diese vom Speichermanager reserviert. Du hast also Speicherblöcke, die wenig genutzt werden, aber dennoch dem System "fehlen".

Lange Rede kurzer Sinn: Du solltest in Schleifen oder Funktionen, die häufig in Schleifen aufgerufen werden, so wenig Copy-Aufrufe wie möglich nutzen. Jedes Copy(S, x, MaxInt) lässt sich in ein Delete(S, x - 1) umschreiben. Und jedes Copy(S, 1, x) in ein Delete(S, x + 1, MaxInt).

_________________
Ist Zeit wirklich Geld?