Autor Beitrag
K_wave
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Fr 07.09.07 11:49 
Hallo,

ich suche nach einer performanten Möglichkeit, aus einer TStringList Einträge abzuschneiden.

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
BufferStack:TStringlist;  //ca 50000 Einträge
AusgabePuffer:TstringList;

[...]
function TBuffer.Read(Count:integer):String;
begin
  AusgabePuffer:=TstringList.Create;
  [...]
  for i:=0 to Count do
  begin
    AusgabePuffer.Add(BufferStack.Strings[i]); 
    BufferStack.Delete[i];
  end;
  Result:=AusgabePuffer.Text;
end;


Read wird von mehreren Threads innerhalb einer globalen CS aufgerufen. Die Threads schreiben den zurückgelieferten Inhalt in eine Datenbank. Paralell dazu Schreiben andere Threads über die selbe CS in den Puffer.
Der Aufruf Read dauert bei 500 angeforderten Datensätzen ca 26 ms. Ideal wäre es in den Bereich unter 5 ms oder schneller zu kommen.

Einfach den Gesamten Puffer zu lesen und im Read Aufruf nur Buffer.Clear auszuführen ist zwar performant genug (< 1 ms), aber scheidet aus da ich bei einem Insert von 50000 Datensätzen sehr schnell auf den Timeout der Datenbank auflaufen würde.

Wer kann mir Helfen?



Vielen Dank & Grüsse
Michael
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Fr 07.09.07 12:13 
Da sind doch sowieso einige Fehler drin (Ausgabepuffer wird nicht freigegeben, nur jede 2.Zeile wird übernommen etc.) Wenn Du 'Count' mal etwas machen willst, dann musst Du von 0 bis Count - 1 zählen!

Sei BufferStack = ('A','B','C'). Nun zählst Du -sagen wir- von 0..2
1. Durchlauf (i=0). AusgabePuffer.Add(BufferStack[i]). BufferStack.Delete(i)
nun ist Bufferstack = ('B','C') und AusgabePuffer ('A')
2. Durchlauf (i=1). AusgabePuffer.Add(BufferStack[i]). BufferStack.Delete(i) (* Bufferstack[1] ist aber 'C' *) !!!
nun ist Bufferstack = ('B') und AusgabePuffer ('A','C')
3. Durchlauf (i=2). Peng. Index out of bounds.


Du willst also aus dem Bufferstack die Strings 0...Count auslesen, diese löschen und die ausgelesenen Strings -per CRLF getrennt- zurückliefern. Was ist das für eine komische Funktion...

Was ist Count? Eigentlich wird immer von 0...Count-1 gelesen...

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
Function TBuffer.Read (Count : Integer) : String;
Var
  n,i,l : Integer;
  s : String;
Begin
  SetLength (Result, 10000);
  n := 1;
  For i:=0 to Count - 1 do // -1 ist korrekt!
    s := BufferStack[0]+#13#10;
    l := Length (s);
    if l + n - 1> Length (Result) Then SetLength (Result, Length(Result)*2);
    Move (s[1], Result[n], l);
    inc (n,l);
    BufferStack.Delete(0);
  End;
  SetLength (Result, n);
End;

(Ungetestet). So könnte es etwas schneller sein.

Was passiert? Erstmal machen wir im Resultat für 10kb Platz (kannst auch 100k nehmen, wie Du willst)
Dann machen wir Folgendes 'Count' mal:
1. Wir schnappen uns die jeweils erste Zeile des BufferStacks, und hängen Sie
2. hinten an das Resultat ran. Falls
3. der reservierte Platz nicht ausreicht, wird ein doppelt so großer Speicherplatz reserviert.
4. Anschließend wird die erste Zeile des Bufferstacks gelöscht. Die 2.Zeile wird nun die 1.Zeile!

Zum Schluß wird das Resultat auf die wirkliche Länge des Strings beschnitten.

_________________
Na denn, dann. Bis dann, denn.
K_wave Threadstarter
Hält's aus hier
Beiträge: 11



BeitragVerfasst: Fr 07.09.07 12:33 
Die o.g. Funktion war nur quick n dirty aus dem kopf eingeklimpert - keine kopie des Source ;o)
Mein Entwicklungs PC ist jetzt frisch gebootet und für ein copy n paste bereit:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
//------------------------------------------------------------------------------
function TDBBuffer.Read(CountOfDatasets:Integer):String;
//------------------------------------------------------------------------------
var i:integer;
begin
  tmpsl.Clear;

  for i:=0 to CountOfDatasets -1 do
  begin
    if BufferStack.Count = 0 then
      break;

    tmpsl.Add(BufferStack.Strings[0]);
    BufferStack.Delete(0);
    BufferStand:=BufferStack.Count;
  end;
  Result:=tmpsl.text;
end;


tmpsl wird tatsächlich erst im Destroy von TDBBuffer aufgerufen - um im Read Aufruf Zeit zu sparen. Ich verwende tmpsl.text (string) als result, da dieses im DBWriter Thread wieder in eine StringList umgewandelt werden kann.
Die TStringList wird nicht direkt, sondern als .Text zurück gegeben. Das ist (komischerweise) schneller als das Objekt tmpsl zurück zu liefern.

Deine Variante klingt vielversprechend - ist aber leider ca 10 msec langsamer.
:(
Lossy eX
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 1048
Erhaltene Danke: 4



BeitragVerfasst: Fr 07.09.07 13:00 
Einen Faktor den du nicht unterschätzen solltest sind die Stringroutinen von Delphi. Da wird unter anderem bei einem S := S + 'Irgendwas' der String neu erstellt und umkopiert. Das geht zwar normal ziemlich flott aber an zeitkristischen Stellen ist es eher nicht so gut.

Um es genau feststellen zu können solltest du dir mal einen Profiler anschauen. So etwas wie aqTime.

Aber ich würde es wohl eher so anfangen, dass ich einmal durch die Strings gehe und mir die komplette Länge (+ CRLF pro Zeile) errechne und anschließend mit SetLength das Result auf die passende Größe setzen. Im nächsten Durchgang würde ich dann per Move etc die Inhalte in den großen Buffer kopieren und die String löschen. So müsstest du den Text nur ein Mal kopieren. Allerdings weiß ich nicht was für ein Aufwand normal hinter der StringList steckt. Aber der sollte eher gering sein.

_________________
Nur die Menschheit ist arrogant genug, um zu glauben sie sei die einzige intelligente Lebensform im All. Wo nicht mal das nachhaltig bewiesen wurde.
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Fr 07.09.07 19:09 
Die Stringlisten von Delphi sind kurz gesagt Kacke... Viel zu lahmarschig. Hab ein Programm (Mapfile-Parser) mal rein durch Umbau der Zugriffe auf die Stringliste um Faktor 100 schneller bekommen.

Wie Lossy Ex schon vorschlägt, solltest Du deinen Zielpuffer so weit es geht vorher reservieren, da dann 1. der Speicher weniger fragmentiert und zweitens der String seltener kopiert werden muss.
Ein anderer wesentlicher Faktor ist die Anzahl der Änderungen in einer StringList. Das Entfernen eines Strings führt dazu, dass der gesamte reservierte Speicher hinter diesem Index-Eintrag koopiert werden muss. Wenn möglich solltest Du solche Umbau-Operationen selber bauen und dann nur das Endergebnis zum einmaligen Parsen an die SL geben.

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.