| Autor |
Beitrag |
miracle2k
Hält's aus hier
Beiträge: 12
|
Verfasst: Fr 13.06.03 09:36
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22:
| TCodeExplorerNode = record Caption: string; SelStart, SelEnd: Integer; ChildNodes: TList; end;
function TCustomParserThread.AddChildNode( AParentNode: PCodeExplorerNode): PCodeExplorerNode; begin Result := NewNode;
AParentNode^.ChildNodes.Add(Result); end;
function TCustomParserThread.NewNode: PCodeExplorerNode; begin New(Result); Result^.ChildNodes := TList.Create; end; |
Die folgende Prozedur soll einen HTML Code parsen:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27:
| procedure THTMLParserThread.Parse; var NewTag: string; ANewNode: PCodeExplorerNode; FCode: string; I: integer; begin inherited;
FRootNode := NewNode;
fCode := CodeToParse;
while FCode <> '' do Begin if Terminated then exit; FCode := Copy(FCode, pos('<',FCode) + 1, MaxInt); if FCode <> '' then Begin NewTag := Copy(FCode, 1, pos('>',FCode)); if newTag <> '' then Begin ANewNode := AddChildNode(FRootNode); ANewNode^.Caption := NewTag; end; FCode := copy(FCode,pos('>',FCode)+1,MaxInt); end; if pos('<',FCode) = 0 then FCode := ''; end; end; |
Wärend sie läuft steigt der Speicherverbrauch meiner Anwendung im Windows TaskManager um etwa 30 - 40 MB (bei einem Text von etwa 2000 Zeilen, etawas 3000 Tags).
Wenn ich nur den folgenden Code verwende:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9:
| procedure THTMLParserThread.Parse; var I: integer; begin
for i:=0 to 10000 do Begin ANewNode := AddChildNode(FRootNode); end;
end; |
Steigt der Verbrauch nur um etwa 1 MB.
Waran liegt das? Ich probiere jetzt schon tagelang mit den verschiedensten Variationen herum, aber es kommt nichts heraus.
Komisch ist auch, dass sich der Speicherverbrauch nicht ändert, wenn man die Nodes wieder freigibt:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19:
| procedure TCustomParserThread.FreeNode(ANode: PCodeExplorerNode); var i: integer; begin if (ANode = nil) then exit;
for i := 0 to ANode^.ChildNodes.Count - 1 do try FreeNode(ANode^.ChildNodes[i]); except end;
PCodeExplorerNode(ANode)^.ChildNodes.Free; ANode^.Caption := ''; Finalize(ANode^); Dispose(ANode); ANode := nil; end; |
Ich hoffe jemand weiß einen Rat.
Moderiert von Tino: Code- durch Delphi-Tags ersetzt.
|
|
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1
|
Verfasst: Fr 13.06.03 10:26
Ich habe mir das jetzt nicht so genau angekuckt, aber wo gibtst du hier:
Delphi-Quelltext 1: 2: 3: 4: 5:
| function TCustomParserThread.NewNode: PCodeExplorerNode; begin New(Result); Result^.ChildNodes := TList.Create; end; |
den Speicher wieder frei, den du mit new anforderst?
Moderiert von Tino: Code- durch Delphi-Tags ersetzt.
|
|
AndyB
      
Beiträge: 1173
Erhaltene Danke: 14
RAD Studio XE2
|
Verfasst: Fr 13.06.03 12:30
| Luckie hat folgendes geschrieben: | | [...] den Speicher wieder frei, den du mit new anforderst? |
Ich würde es mit letzten Code-Abschnitt von miracle2k probieren.
| Zitat: | Moderiert von Tino: Code- durch Delphi-Tags ersetzt. |
Also Luckie.
Das kannst du dir sparen, da Dispose() dies übernimmt.
| Zitat: | | Wärend sie läuft steigt der Speicherverbrauch meiner Anwendung im Windows TaskManager um etwa 30 - 40 MB |
Du misshandelst ja auch den Speichermanager mit deinen vielen Copy.
Erstze die Copy durch Delete.
Delphi-Quelltext 1: 2: 3: 4: 5:
| Delete(FCode, 1, Pos('<', FCode)); Delete(FCode, 1, Pos('>', FCode)); |
_________________ Ist Zeit wirklich Geld?
|
|
miracle2k 
Hält's aus hier
Beiträge: 12
|
Verfasst: Fr 13.06.03 19:09
Danke Andy, jetzt hat sich das normalisiert.
Allerdings wird der Speicher trotzdem nicht freigegeben - zumindest ändert sich die Anzeige im TaskManager nicht.
Das Problem ist: Der Code muss sehr oft erneut geparst werden, im Prinzip bei jeder Änderung des Codes.
Michael
PS: Könntest du mir mal genau erklären wie Delphi die Strings intern handelt, oder einen Link posten. Das interessiert mich schon länger...
|
|
AndyB
      
Beiträge: 1173
Erhaltene Danke: 14
RAD Studio XE2
|
Verfasst: Fr 13.06.03 19:13
| miracle2k hat folgendes geschrieben: | | Allerdings wird der Speicher trotzdem nicht freigegeben |
Du musst ihn ja mit FreeNodes() auch selbst freigeben. Delphi kann ja nicht hellsehen, wann du die Daten freigeben willst.
| Zitat: | | Das Problem ist: Der Code muss sehr oft erneut geparst werden, im Prinzip bei jeder Änderung des Codes. |
Prüfe doch einfach ob FRootNode <> nil ist. Und wenn dem so ist, rufst du FreeNodes(FRootNode) auf bevor du FRootNode := NewNode zuweist.
_________________ Ist Zeit wirklich Geld?
|
|
mars
      
Beiträge: 238
Debian Woody, Win 2000, Win XP
D7 Ent, Kylix 3
|
Verfasst: Fr 13.06.03 20:42
Und wenn du das nächste Mal ein solches Problem hast, gib doch die Anwendung an Memproof weiter.
|
|
AndyB
      
Beiträge: 1173
Erhaltene Danke: 14
RAD Studio XE2
|
Verfasst: Fr 13.06.03 21:04
| miracle2k hat folgendes geschrieben: | | Könntest du mir mal genau erklären wie Delphi die Strings intern handelt, oder einen Link posten. Das interessiert mich schon länger... |
Steht das etwa nicht in der OnlineHilfe? Alles nachzulesen unter dem Index "Long Strings"
_________________ Ist Zeit wirklich Geld?
|
|
miracle2k 
Hält's aus hier
Beiträge: 12
|
Verfasst: Sa 14.06.03 14:51
| Zitat: | | Steht das etwa nicht in der OnlineHilfe? Alles nachzulesen unter dem Index "Long Strings" |
Danke. Ich verstehe dann allerdings immer noch nicht, wieso Delphi mit den Copys durcheinanderkommen soll:
Delphi-Quelltext 1:
| FCode := Copy(FCode, pos('<',FCode) + 1, MaxInt); |
FCode wird ein neuer Wert zugewiesen - Delphi müßte also den Speicher für den neuen String reservieren, und FCode auf diesen neuen Speicherbereich umlenken. Damit müßte dann automatisch der Referenzzähler des "alten" FCode-Strings auf 0 fallen und der Speicher freigegeben werden.
| Zitat: | | Du musst ihn ja mit FreeNodes() auch selbst freigeben. Delphi kann ja nicht hellsehen, wann du die Daten freigeben willst. |
Selbstverständlich rufe ich FreeNodes auch auf. Das erledigt Execute des Threads. In Execute wird auch THTMLParserThread.Parse; aufgerufen. Anschließend wird das Ergebnis (Der Baum von FRootNode) verwendet und anschließend mit FreeNodes freigegeben.
Aber - lange Erklärung kurzer Sinn  - jetzt funktioniert es jedenfalls. Die Nodes werden jetzt in einen VirtualTreeView angezeigt, und anscheinend gibt es da ein Problem mit der Freigabe - das muss ich mir aber erst nochmal genauer ansehen.
|
|
AndyB
      
Beiträge: 1173
Erhaltene Danke: 14
RAD Studio XE2
|
Verfasst: Sa 14.06.03 17:07
| miracle2k hat folgendes geschrieben: | | Danke. Ich verstehe dann allerdings immer noch nicht, wieso Delphi mit den Copys durcheinanderkommen soll: |
Delphi kommt damit nicht durcheinander. Du musst zwischen der Anzeige im Taskmanager und dem "freien" Speicher unterscheiden. Delphi nutzt einen eigenen Speichermanager. Dieser reserviert Speicher in Blöcken beim System und vergibt Teilbereiche dieser Blöcke an GetMem-Aufrufe. Wenn du oder die Stringverwaltung nun Speicher freigibt, geht dieser zurück an den Speichermanager. Stellt dieser fest, dass der gesamte Speicherblock frei ist, wird er an das System zurückgegeben. Ist dem jedoch nicht so, so behält der Speichermanager den Block. Wenn also nur 1 Byte in diesem Block genutzt wird, bleibt der Block vom Speichermanager belegt.
Die Copy-Funktion belegt neuen Speicher. Bei deinem Code wird der alte freigegeben. Wenn nun der neue String im selben Block wie der alte liegt, oder sogar an der Grenze von 2 Blöcken liegt, dann bleiben diese vom Speichermanager reserviert. Du hast also Speicherblöcke, die wenig genutzt werden, aber dennoch dem System "fehlen".
Lange Rede kurzer Sinn: Du solltest in Schleifen oder Funktionen, die häufig in Schleifen aufgerufen werden, so wenig Copy-Aufrufe wie möglich nutzen. Jedes Copy(S, x, MaxInt) lässt sich in ein Delete(S, x - 1) umschreiben. Und jedes Copy(S, 1, x) in ein Delete(S, x + 1, MaxInt).
_________________ Ist Zeit wirklich Geld?
|
|
|