Autor Beitrag
ggehrma
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: So 05.03.06 15:53 
Hallo,
ich habe ein Programm, bei dem in einer Schleife eine StringList erst mit einer sehr hohen Anzahl (bis zu mehreren Tausend) Items gefüllt wird. Diese StringListe übergebe ich dann an eine Zweite und lösche die Erste. Danach fülle ich die Erste wieder mit einer sehr hohen Anzahl und lösche die Zweite. Nach dem Löschen übergebe ich die erste StringListe wieder an die Zweite und immer so weiter, bis es nix mehr zu übergeben gibt.
Wärend dieses Vorgangs geht allerdings der benötigte Speicher zum Teil über 300MB und die Auslagerungsdatei auf über 1,3GB. Irgendwann erhalte ich dann die Meldung, dass ich zu wenig Arbeitsspeicher habe. Woran kann das liegen?

mfg, ggehrma.

_________________
"...To boldly go where no one has gone before."
Dahmsi
Ehemaliges Mitglied
Erhaltene Danke: 1



BeitragVerfasst: So 05.03.06 15:59 
user profile iconggehrma hat folgendes geschrieben:
Irgendwann erhalte ich dann die Meldung, dass ich zu wenig Arbeitsspeicher habe. Woran kann das liegen?

Wieviel Arbeitsspeicher hat dein PC denn?
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: So 05.03.06 16:00 
Der hat 512MB Arbeitsspeicher.

_________________
"...To boldly go where no one has gone before."
Lannes
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 2352
Erhaltene Danke: 4

Win XP, 95, 3.11, IE6
D3 Prof, D4 Standard, D2005 PE, TurboDelphi, Lazarus, D2010
BeitragVerfasst: So 05.03.06 16:33 
Hallo,
user profile iconggehrma hat folgendes geschrieben:
...Irgendwann erhalte ich dann die Meldung, dass ich zu wenig Arbeitsspeicher habe. Woran kann das liegen?...
vermutlich an Deinem Code :roll:
- wie erzeugts Du die Stringlisten?
- was fügst Du per Schleife in die Stringlisten ein?
- wie löscht Du die Stringlisten?
- wie übergibst Du die Stringlisten?
- wie sieht das Freigeben der Stringlisten aus?

und etwas Code wäre sicher hilfreich :wink:

_________________
MfG Lannes
(Nichts ist nicht Nichts) and ('' <> nil ) and (Pointer('') = nil ) and (@('') <> nil )
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: So 05.03.06 17:08 
Erzeugen der Stringlisten:
ausblenden Delphi-Quelltext
1:
2:
  Positions := TStringList.Create;
  NextStartPos := TStringList.Create;

Eingefügt werden Zahlenwerte. Wie bereits geschrieben, einige Tausend. Jeder Zahlenwert ist ein Item.

Löschen, Übergeben, Freigeben:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
    NextStartPos.Free;
    NextStartPos := TStringList.Create;
    Anzahl := Anzahl + Positions.Count;
    NextStartPos.Assign(Positions);
    Positions.Free;
    Positions := TStringList.Create;

_________________
"...To boldly go where no one has gone before."
GTA-Place
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
EE-Regisseur
Beiträge: 5248
Erhaltene Danke: 2

WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
BeitragVerfasst: So 05.03.06 18:21 
Die Frage ist: Wäre ein Array nicht angepasster? Was möchtest du denn berechnen bzw. übergeben?

_________________
"Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: So 05.03.06 20:29 
user profile iconGTA-Place hat folgendes geschrieben:
Die Frage ist: Wäre ein Array nicht angepasster? Was möchtest du denn berechnen bzw. übergeben?


Das Problem bei einem Array ist, dass es ein dynamisches Array sein müsste, da die Anzahl der Items variiert. Und wenn ich das Array andauernd neu setzen muss, geht das erstens auf die Geschwindigkeit und zweitens ebenfalls sehr auf den Arbeitsspeicher.
Ziel der ganzen Angelegenheit ist es, die Anzahl der Items zu zählen, die übergeben werden. Die Anzahl steigt exponentiell und fällt nach einem Maximum wieder exponentiell.

_________________
"...To boldly go where no one has gone before."
GSE
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 740

Win 2k, Win XP Pro
D5 Prof, D6 Ent, D2k5 PE
BeitragVerfasst: So 05.03.06 22:17 
würde anstatt eines Freigebens und daraufhin sofortigen Neuerzeugens nicht auch ein StringList.Clear genügen?

mfg
GSE

_________________
Programming today is a race between software engineers striving to build bigger and better idiot-proof programs
and the universe trying to produce bigger and better idiots. So far, the universe is winning. (Richard Cook)


Zuletzt bearbeitet von GSE am So 05.03.06 22:26, insgesamt 1-mal bearbeitet
GTA-Place
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
EE-Regisseur
Beiträge: 5248
Erhaltene Danke: 2

WIN XP, IE 7, FF 2.0
Delphi 7, Lazarus
BeitragVerfasst: So 05.03.06 22:19 
Stimmt, aber ich frag mich immer noch was er da macht.

_________________
"Wer Ego-Shooter Killerspiele nennt, muss konsequenterweise jeden Horrorstreifen als Killerfilm bezeichnen." (Zeit.de)
Neidhard von Reuental
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 268

XP
BDS 2006 Prof
BeitragVerfasst: So 05.03.06 22:25 
Mit den paar Code-Schnipseln kann man auch keine richtige Diagnose stellen.
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: Mo 06.03.06 09:15 
Ok, hier ist dann doch der gesamte Code-Bereich, der Probleme macht.
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
  WHILE NextStartPos.Count > 0 DO BEGIN
    FOR i := 0 TO NextStartPos.Count-1 DO BEGIN
      FOR x := 0 TO Gesucht.Count-1 DO BEGIN
        j := StrToInt(NextStartPos.Strings[i])+1;
        n := 0;
        REPEAT
          IF Gegeben[j] = Gesucht.Strings[x] THEN BEGIN
            Positions.Add(IntToStr(j));
            n := 1;
          END;
          inc(j);
        UNTIL (n <> 0) OR (j > High(Gegeben));
      END;
    END;
    NextStartPos.Free;
    NextStartPos := TStringList.Create;
    Anzahl := Anzahl + Positions.Count;
    NextStartPos.Assign(Positions);
    Positions.Free;
    Positions := TStringList.Create;
  END;

"Gegeben" ist ein Array des Typs Char, "Gesucht" eine TStringList. Diese StringList enthält pro Item ein Zeichen. Jetzt wird jedes Zeichen von "Gegeben" abgefragt und geprüft, ob es einem der "Gesucht"-Zeichen entspricht. Ist dies der Fall, wird der Index des Zeichens in "Positions" eingetragen. Am Ende wird dann die gesamte Anzahl gezählt und die gefundenen Positionen an "NextStartPos" übergeben. Dann wird beim nächsten Schleifendurchlauf bei den in "NextStartPos" eingetragenen Positionen wieder begonnen zu suchen und so weiter. Beim Programmstart werden natürlich "NextStartPos" auch Werte zugewiesen.
Was das .Clear angeht, das hab ich auch schon versucht. Hat aber nur den Erfolg, dass der Programmabbruch wegen zu wenig Arbeitsspeicher etwas früher kommt.

_________________
"...To boldly go where no one has gone before."
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Mo 06.03.06 09:48 
Bist du sicher, dass beide Stringlisten wieder frei gegeben werden?
Ich habe gerade mal einen Test gemacht:
- Eine Stringliste LOKAL definiert
- Erzeugt und einmal mit 5 Mio Einträgen gefüllt
- Free ausgeführt
- Gleich wieder erzeugt
- Wieder mit 5 Mio Einträgen gefüllt
- KEIN Free durchgeführt
- Prozedur nochmal aufgerufen
---> Der Arbeitsspeicher wurde nicht wieder frei gegeben und wird weiter gefüllt.

Dein Assign könnte auch Probleme machen, bin mir aber nicht 100%ig sicher. Das Assign weist imho nur den selben Speicherbereich zu. Danach gibst du die zugewiesene Liste frei. Ich bin mir nicht sicher, ob es da nicht zu Problemen kommen kann.
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: Mo 06.03.06 09:54 
Wie kann ich das denn erreichen, dass der Arbeitsspeicher wieder freigegeben wird?
Welche andere Möglichkeit außer Item für Item zu übertragen gibt es denn, um eine StringListe an eine andere zu übergeben?

_________________
"...To boldly go where no one has gone before."
Tastaro
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 414
Erhaltene Danke: 23



BeitragVerfasst: Mo 06.03.06 09:59 
Assign weißt den Inhalt zu, nicht die Referenz. Sprich: Man erhält tatsächlich eine Kopie des Inhalts.

Was ich aber noch immer nicht verstehe: Warum werden integer-Werte in einer Stringlist abgespeichert? Merke: Es ist besser die Ursache zu beseitigen als an den Symptomen herumzudoktern. :)

Beste Grüße
Tastaro
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Mo 06.03.06 10:02 
Mit der Methode AddStrings.
Der Nachteil ist allerdings, dass eine Kopie der anderen Stringliste erzeugt wird, die danach frei gibst. Du benötigst als dann auch wieder kurzzeitig den doppelten Speicherplatz.
Du könntest natürlich auch in einer Schleife jeden String einzeln übertragen und gleich löschen.

Das Problem kann aber eigentlich nicht dein Arbeitsspeicher sein. Wie du vielleicht gesehen hast, habe ich 5 Mio Einträge in der Liste gemacht (zum Test auch mal 10 Mio). Das hat überhaupt keine Probleme gemacht.
Hast du vielleicht deine Auslagerungsdatei falsch eingestellt? Es wird ja oft empfohlen, dass die Größe der Datei fest eingestellt werden soll. Falls du das gemacht hast, aber mehr brauchst kann das evtl. dein Problem sein.
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: Mo 06.03.06 10:02 
Es werden momentan Integerwerte in eine StringList geschrieben, weil es keine IntegerList gibt. Welche andere Möglichkeit würde es denn geben? Ein dyn. Array geht ja nicht, wie ich weiter oben schon geschrieben habe. Ich weiß ja schließlich vor Programmstart nicht, wie viele Einträge es geben wird. Und das Array bei jedem Durchlauf wieder etwas zu vergrößern wirkt sich ziemlich auf die Geschwindigkeit aus, was auch schlecht ist.

_________________
"...To boldly go where no one has gone before."
Tastaro
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 414
Erhaltene Danke: 23



BeitragVerfasst: Mo 06.03.06 10:05 
Man könnte sich eine Integer-List schreiben, die schonmal im Voraus ein array anlegt, das größer ist als der aktuelle Bedarf. Ist sehr flott und braucht auch nicht so viel Speicher, wie wenn man ein dynamisches array immer nur um 1 vergrößert.

Beste Grüße
Tastaro
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: Mo 06.03.06 10:05 
user profile iconjasocul hat folgendes geschrieben:
Mit der Methode AddStrings.
Das Problem kann aber eigentlich nicht dein Arbeitsspeicher sein. Wie du vielleicht gesehen hast, habe ich 5 Mio Einträge in der Liste gemacht (zum Test auch mal 10 Mio). Das hat überhaupt keine Probleme gemacht.

Der Fehler kam ja auch erst bei ca. 28,3 Mio. Meine Auslagerungsdatei ist nicht fest eingestellt. Aber wenn die von ca. 445MB plötzlich auf 1,3GB springt ist das doch wohl nicht normal, oder?

_________________
"...To boldly go where no one has gone before."
Gausi
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 8554
Erhaltene Danke: 481

Windows 7, Windows 10
D7 PE, Delphi XE3 Prof, Delphi 10.3 CE
BeitragVerfasst: Mo 06.03.06 10:12 
Nur zum Verständnis: Eine StringList ist ein Array, keine Liste!

Steht zwar bei dieser List (bei TList bzw. TObjectList schon, aber die haben hiermit ja nicht unbedingt was zu tun) nicht explizit in der Hilfe, aber auch TStringList besitzt die Eigenschaft capacity, die angibt, wieviel Speicher reserviert wurde. Bei hinzufügen eines Strings in die Liste wird bei voller Kapazität diese imho um 25% vergrößert, sodass folgende Einfüge-Operationen in einem Schritt durchgeführt werden können.

Jetzt sag mal bitte, welchen Sinn eine solche Eigenschaft bei einer echten Liste hat ;-)

_________________
We are, we were and will not be.
ggehrma Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 111

WinXP
D2005 Pers.
BeitragVerfasst: Mo 06.03.06 10:15 
user profile iconGausi hat folgendes geschrieben:
Jetzt sag mal bitte, welchen Sinn eine solche Eigenschaft bei einer echten Liste hat ;-)

Ok, das sehe ich ein. Dann werd ich es doch mal mit der dyn.Array-Methode versuchen.

_________________
"...To boldly go where no one has gone before."