| Autor |
Beitrag |
SmileySN
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: Fr 17.03.06 21:23
Ich durchsuche eine CSV-Datei ADat und muss dort nummern einer Spalte austauschen.
Die Austauschliste ist eine CSV-Datei VDat, die zwei Spalten hat 1.Spalte Nummer wie in ADat und 2.Spalte die neue Nummer die ich in meiner ErgebnisDatei abspeichern will.
Welche Methode ist am schnellsten bzw. sinnvollsten, da ich die ADat Datei einmal durchgehe und bei jedem satz die VDat Datei nach der geänderen nummer durchsuchen muss.
Die ADat Datei lese ich mit ReadLn() ein und die VDat Datei kann ich noch im Speicher halten, ist aber schon recht groß.
Die VDat Datei ist sogar schon sortiert nach Spalte 1.
|
|
Horst_H
      
Beiträge: 1654
Erhaltene Danke: 244
WIN10,PuppyLinux
FreePascal,Lazarus
|
Verfasst: Sa 18.03.06 15:16
Hallo,
wenn Vdat schon recht gross ist, wird es schwierig, dann muss man davon ausgehen, dass ADat nicht in den Speicher passt.
Also liest Du einfach Adat ein und schreibst jede Zeile mit einer zusaetzlichen ersten Spalte mit der Nummer der neuen Position nach tempDat weg:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11:
| MDezi:= round(ln(MaxZeilen)/ln(10)+1); Fuer alle Zeilen begin readln(Adat,Zeile); NeueZeilPos=Lies diese aus Vdat; writeln(TempDat,Format('%*.df', [MDezi,NeueZeilePos]*','+Zeile); end; |
Jetzt laesst Du diese Datei alphabetisch sortieren (Kommandozeile CMD und dort Sort TempDat.csv /oTempDatSort.csv
SORT [/R] [/+n] [/M Kilobytes] [/L Gebietsschema] [/REC Datensatzbytes] [[Laufwerk1:][Pfad1]Datei1] [/T
[Laufwerk2:][Pfad2]]
(oder cmSort und wie sie alle heissen hier von Martin Waldenburg www.delphi-forum.de/download.php?id=1759 )
Diese neue Datei TempDatsort zeilenweise einlesen und die ersten Mdezi+1 Zeichen loeschen und wieder wegschreiben.
Das koennte funktienieren.
Gruss Horst
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: Sa 18.03.06 19:18
Da habe ich mich noch nicht ausreichend klar ausgedrückt mit meiner Frage.
Das Einlesen und Wegschreiben der ADat Datei läuft schon, dort wird einiges gebastelt an den Daten und dann weggeschrieben.
Die ADat muss auch nicht sortiert sein.
Es geht nur darum, wenn ich meine Zeile in ADat eingelesen habe, dann möchte ich in VDat die passende Nummer suchen und den zweiten Eintrag aus der VDat als neue Nummer in meine AusgabeDatei ablegen.
Die einfachste Methode wäre einfach VDat einmal einzulesen und dann mit einer For i:= 1 to AnzahlDatensätze einfach durchzulaufen und nach meiner aktuellen nummer zu suchen. Das erscheint mir aber zu langwierig, da es für jeden Datensatz in ADat gemacht werden muss, daher suche ich eine intelligentere Methode, so wie man eben in einem Index sucht.
Dabei stellt sich aber schon die Frage "In welchem Format lese ich die VDat am besten ein" als Array, als Stringlist oder als Record oder.....
Was ist am schnellsten und verbraucht auch nicht zuviel Platz.
VDat besteht im ersten Feld aus einem String[7] z.b. "1234567" als String und im zweiten Feld aus einem längeren String bestehend aus Buchstaben und Zahlen.
VDat ist im ersten Feld sortiert.
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: So 19.03.06 01:04
Neueste Erkenntnisse:
Ich habe folgende Routine geschrieben um meinen Vergleich durchzuführen.
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24:
| function FindArtNr(a: string): string; var i: Integer;
begin Result := ''; for i := 0 to High(VArray) - 2 do begin if a[1] = VArray[i].Eintrag[1] then if a[2] = VArray[i].Eintrag[2] then if a[3] = VArray[i].Eintrag[3] then if a[4] = VArray[i].Eintrag[4] then if a[5] = VArray[i].Eintrag[5] then if a[6] = VArray[i].Eintrag[6] then begin Result := VArray[i].ArtNr; break; end; end; end; |
Dabei ist der Zeitunterschied zwischen einem fest definierten Array und einem dynamischen Array enorm groß.
Dies ist die Definition mit dem dynamischen Array
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10:
| type TZeile = record Eintrag: string; ArtNr: string; end; TVArray = array of TZeile;
var Form1: TForm1; VArray: TVArray; |
Ausführungsdauer damit: 4:32 Minuten
Dies ist die Definition mit dem statischen Array
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10:
| type TZeile = record Eintrag: string; ArtNr: string; end; TVArray = array[0..5873] of TZeile;
var Form1: TForm1; VArray: TVArray; |
Ausführungsdauer damit: 1:11 Minuten
Woran liegt diese Zeitdifferenz ??
Wenn das Dynamische Array erst einmal angelegt ist, sollte es doch genauso schnell gehen.
Mit welchem Variablentyp könnte ich es noch schneller machen ?
Moderiert von raziel: Code- durch Delphi-Tags ersetzt
|
|
delfiphan
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: So 19.03.06 01:46
Da kann man sehr viel optimieren
1. Du musst nicht die ganze Liste von Anfang bis Schluss durchsuchen, um einen Eintrag zu finden. Wenn du ein Wort in einem Wörterbruch (wo die Wörter sortiert sind) suchst gehst du auch nicht das ganze Wörterbuch von A bis Z durch. Bei einer Suche in einer sortierten Liste binäre Suche verwenden (siehe unten).
2. Du durchsuchst Zahlen. Da macht es keinen Sinn mit Strings zu operieren.
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21:
| function BinarySearch(Item: Integer; List: array of Integer): Integer; var LoBound, HiBound, Index: Integer; begin LoBound := 0; HiBound := High(List); Index := (HiBound+LoBound) div 2; Result := -1; while LoBound<=HiBound do begin if Item<List[Index] then HiBound := Index-1 else if Item>List[Index] then LoBound := Index+1 else begin Result := Index; break; end; Index := (HiBound+LoBound) div 2; end; end; |
Das ganze dauert dann nicht mehr 4 Minuten sondern bei deinen 6000 Einträgen und 6000 Ersetzungen gerade noch 50 Millisekunden. 
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: So 19.03.06 10:25
Danke Delfiphan, sowas habe ich gesucht, muss beim einlesen ins Array dann eben die Strings in Integer wandeln.
Die 4 Minuten gelten natürlich nicht für den einen Suchvorgang, sondern es wird pro Datensatz in ADat bis zu 250 mal diese Suchroutine durchlaufen und ADat hat einige Datensätze.
Jetz nur noch die Frage, warum ist ein dyn. Array so viel langsamer als ein statisches ?
Das Anlegen des Array wird dabei nicht berücksichtigt, das geht noch relativ schnell.
Ist eine Stringlist schneller als ein Array ?
|
|
Horst_H
      
Beiträge: 1654
Erhaltene Danke: 244
WIN10,PuppyLinux
FreePascal,Lazarus
|
Verfasst: So 19.03.06 14:48
Hallo,
ich weiss ja nicht ob die Umwandlung in integer, nicht zeitaufwaendiger ist, als ein Stringvergleich.
Zum Beispiel mit StrLComp mit der man dan eben 6 Zeichen vergleicht.
Du kannst mit Stringlisten auch anders vorgehen.
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28:
| statt type TZeile = record Eintrag: string; ArtNr: string; end; NeuArtNr : array of string; Eintrag : TSTringList; ... Stringliste mit Eintrag fuellen. setlength(NeuArtNr,Eintrag.count); Max := High(NeuArtNr); For i := 0 to Max do begin NeuArtNr[i] := ?? Eintrag.Objects[i]:= tObject(pchar(NeuArtNr[i]); end;
Eintrag.sort; solange DatenSaetze in Adat begin IF Eintrag.find(ArtikelNummerausAdat,Posfound) then NeueArtikelNummer := pChar(Eintrag.Ojects[PosFound]); schreibe Datensatz weg; end; |
Gruss Horst
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: So 19.03.06 16:30
@Horst_H
Diesen Befehl kann ich mir noch nicht so recht erklären:
Eintrag.Objects[i]:= tObject(pchar(NeuArtNr[i]);
Wo wird die ArtNr abgelegt in der Stringlist?
Warum muss das ein pchar sein?
Den Befehl Eintrag.sort und Eintrag.find finde ich toll, wusste gar nicht, dass Stringlisten so komfortable Befehle haben.
Da muss ich mich doch mal intensiever mit beschäftigen.
Ich denke du hast bei "Eintrag.Objects[i]:= tObject(pchar(NeuArtNr[i]);" die Adresse von der jeweiligen NeuArtNr als Verweis reingebracht, wo auch immer.
Ansonsten verliere ich bei "Eintrag.sort;" ja meinen Bezug von Eintrag zu NeuArtNr.
Der Befehl "NeueArtikelNummer := pChar(Eintrag.Ojects[PosFound]);" wird sich dann wohl auch selbst erklären.
@delfiphan
Das mit dem Wandeln in Integer und damit Suchen hat prima funktioniert.
Die gesammte Prozedur dauert jetzt nur noch 20 sec, dabei werden 3 mal 64000 Zeilen erstellt und gespeichert.
Die Dateien sollen später in excel eingelesen werden und Excel kann ja nur 64535 Zeilen verarbeiten, oder kann man dagegen auch etwas machen ?
Ob das mit der Stringlist Methode von Horst_H schneller oder genauso schnell geht, werde ich noch ausprobieren, sobald ich verstanden habe, was er da macht.
Ich könnte auch meine NeuArtNr an den Eintrag dranhängen und nur eine Stringlist machen, da Eintrag ja eine feste Länge hat.
Ich hoffe der Find-Befehl macht auch Teilstringsuche, so dass er nur einen Find auf die ersten 6 Zeichen macht.
Damit würde es warscheinlich noch schneller gehen.
Wenn der Eintrag gefunden wurde, dann schneide ich einfach die ersten 6 Stellen weg und habe meine NeuArtNr.
|
|
delfiphan
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: So 19.03.06 20:07
Etwas enttäuschend, dass in deinem Fall die binäre Suche nur 4 mal schneller ist als eine sequenzielle Suche. Die binäre Suche hat die Komplexität log(n) und sollte eigentlich extrem schnell sein. Vielleicht liegt der Flaschenhals aber auch an einem anderen Ort.
Mit einem lauffähigen Programm könnte ich evtl. noch was finden - ist aber dir überlassen, ob du den Source posten willst.
PS: Wenn beide Listen sortiert sind ginge es wahrscheinlich auch ohne die Suche. Spielt jetzt halt ne Rolle, ob du beide Files im Speicher halten kannst oder nicht.
Wieviele Zeilen Excel anzeigen kann, weiss ich leider nicht... Edit: 64k Zeilen gehen, mehr nicht. Wie ich sehe hat man ja aber mehrere Sheets zur Verfügung... Wofür brauchst du das ganze eigentlich?
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: So 19.03.06 20:27
Die Geschwindigkeit mit Dyn. Array war 4:32 Minuten
Die Geschwindigkeit mit Stat. Array war 1:11 Minuten
Die Geschwindigkeit mit Integer war 0:20 Minuten
Hier der Code für die Integer Lösung:
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30: 31: 32: 33: 34: 35: 36: 37: 38: 39: 40: 41: 42: 43: 44: 45: 46: 47: 48: 49: 50: 51: 52: 53: 54: 55: 56: 57: 58: 59: 60: 61: 62: 63: 64: 65: 66: 67: 68: 69: 70: 71: 72: 73: 74: 75: 76: 77: 78: 79: 80: 81: 82: 83: 84: 85: 86: 87: 88: 89: 90: 91: 92: 93: 94: 95: 96: 97: 98: 99: 100: 101: 102: 103: 104: 105: 106: 107: 108: 109: 110: 111: 112: 113: 114: 115: 116: 117: 118: 119: 120: 121: 122: 123: 124: 125: 126: 127: 128: 129: 130: 131: 132: 133: 134: 135: 136: 137: 138: 139: 140: 141: 142: 143: 144: 145: 146: 147: 148: 149: 150: 151: 152: 153: 154: 155: 156: 157: 158: 159: 160: 161: 162: 163: 164: 165: 166: 167: 168: 169: 170: 171: 172: 173: 174: 175: 176: 177: 178: 179: 180: 181: 182: 183: 184: 185: 186: 187: 188: 189: 190: 191: 192: 193: 194: 195: 196: 197: 198: 199: 200: 201: 202: 203: 204: 205: 206: 207: 208: 209: 210: 211: 212: 213: 214: 215: 216: 217: 218: 219: 220: 221: 222: 223: 224: 225: 226: 227: 228: 229: 230: 231: 232: 233: 234: 235: 236: 237: 238: 239: 240: 241: 242: 243: 244: 245: 246: 247: 248: 249: 250: 251:
| unit Unit1;
interface
uses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, ComCtrls, StdCtrls;
type TForm1 = class(TForm) OpenDialog1: TOpenDialog; ProgressBar1: TProgressBar; LbProgress: TLabel; LbDatei: TLabel; Label1: TLabel; procedure FormActivate(Sender: TObject); private public end;
function GetFeld(a: string; var z, status: Integer): string; function FindArtNr(a: string): string; function BinarySearch(Item: Integer; List: array of Integer): Integer;
var Form1: TForm1; IndexList: array of integer; ArtNr: TStringlist;
implementation
{$R *.dfm}
function FindArtNr(a: string): string; var i: Integer;
begin Result := ''; i := BinarySearch(StrToInt(a), IndexList); if i > 0 then Result := ArtNr[i]; end;
function BinarySearch(Item: Integer; List: array of Integer): Integer; var LoBound, HiBound, Index: Integer; begin LoBound := 0; HiBound := High(List); Index := (HiBound + LoBound) div 2; Result := -1; while LoBound <= HiBound do begin if Item < List[Index] then HiBound := Index - 1 else if Item > List[Index] then LoBound := Index + 1 else begin Result := Index; break; end; Index := (HiBound + LoBound) div 2; end; end;
function GetFeld(a: string; var z, status: Integer): string; begin Result := ''; while z <> Length(a) + 1 do if a[z] <> ';' then begin Result := Result + a[z]; inc(z); if (z = Length(a)) or (A[z] = #13) or (A[z] = #10) then Status := 2; end else begin inc(z); if Result = '' then Status := 1 else Status := 0; if (z = Length(a)) or (A[z] = #13) or (A[z] = #10) then Status := 2; Exit; end; end;
procedure TForm1.FormActivate(Sender: TObject); var InDat, OutDat, VDat: TextFile; ProgPath, Dateiname, Zeile, Feld, DZStr, LArtNR: string; Eintrag, Hersteller, Modell, Typ, HauptDrucker, Gruppe: string; i, ISpZ, OSpZ, Status, DZ: Integer; Liste: TStringlist; ZeitDiff: string; ZeitBeginn, ZeitEnde: TDateTime;
begin DZ := 1; OSpZ := 1; ProgPath := ExtractFilePath(paramstr(0)); Form1.opendialog1.InitialDir := ProgPath; Form1.opendialog1.Filter := 'CSV-Dateien|*.csv'; Form1.Opendialog1.Execute; Dateiname := Form1.Opendialog1.FileName;
ZeitBeginn := Now;
AssignFile(VDat, ProgPath + 'VDat.csv'); Reset(VDat); ArtNr := TStringlist.Create; i := 0; ReadLn(VDat, Zeile); while not Eof(VDat) do begin ReadLn(VDat, Zeile); ISpZ := 1; Feld := Getfeld(Zeile, ISPZ, Status);
SetLength(IndexList, i + 1); IndexList[i] := StrToInt(Feld); Feld := Getfeld(Zeile, ISPZ, Status); if Feld <> '' then begin ArtNr.Add(Feld); inc(i); end; end; CloseFile(VDat);
AssignFile(InDat, Dateiname); Reset(InDat); DZStr := IntToStr(DZ);
if Length(DZStr) = 1 then DZStr := '0' + IntToStr(DZ); AssignFile(OutDat, ProgPath + 'Vergleichsliste' + DZStr + '.csv'); Rewrite(OutDat); WriteLn(OutDat, 'ArtNr_UFP;', 'Hersteller;', 'Modell;', 'Typ;', 'HauptDrucker;', 'Gruppe;', 'ArtNrExt;');
Form1.ProgressBar1.max := Filesize(InDat) * 70; Form1.ProgressBar1.Visible := True; Form1.LbProgress.Caption := 'Daten werden verarbeitet'; Form1.LbProgress.Visible := True; Form1.Refresh;
Liste := TStringlist.Create; ReadLn(InDat, Zeile); while not eof(InDat) do begin Liste.Clear; ISpZ := 1; if (ISpZ mod 100) = 0 then begin Form1.ProgressBar1.Position := ISpZ * 225; DZStr := IntToStr(DZ); LbDatei.caption := 'Datei Nr. ' + DZStr; Form1.Refresh; end; ReadLn(InDat, Zeile); Eintrag := GetFeld(Zeile, ISpZ, Status); Eintrag := LArtNR; Hersteller := GetFeld(Zeile, ISpZ, Status); Modell := GetFeld(Zeile, ISpZ, Status); Typ := GetFeld(Zeile, ISpZ, Status); HauptDrucker := GetFeld(Zeile, ISpZ, Status); Gruppe := GetFeld(Zeile, ISpZ, Status); for I := 7 to 17 do begin Feld := GetFeld(Zeile, ISpZ, Status); if Status = 0 then Liste.Add(Feld); end; Feld := GetFeld(Zeile, ISpZ, Status); Feld := GetFeld(Zeile, ISpZ, Status); while Status <> 2 do begin Feld := GetFeld(Zeile, ISpZ, Status); if Status = 0 then Liste.Add(Feld); end;
for i := 0 to Liste.Count - 1 do begin LArtNr := FindArtNr(Liste[i]); if LArtNr <> '' then begin Write(OutDat, LArtNr + ';'); Write(OutDat, Hersteller + ';'); Write(OutDat, Modell + ';'); Write(OutDat, Typ + ';'); Write(OutDat, HauptDrucker + ';'); Write(OutDat, Gruppe + ';'); WriteLn(OutDat, Liste[i] + ';'); inc(OSpZ); if (OSpZ mod 50) = 0 then begin Form1.ProgressBar1.Position := OSpZ * 225; DZStr := IntToStr(DZ); LbDatei.caption := 'Datei Nr. ' + DZStr; Form1.Refresh; end; end; end; if OSpZ > 65000 then begin Form1.Refresh; OSpZ := 1; closeFile(OutDat); inc(DZ); DZStr := IntToStr(DZ); if Length(DZStr) = 1 then DZStr := '0' + IntToStr(DZ);
AssignFile(OutDat, ProgPath + 'Vergleichsliste' + DZStr + '.csv'); Rewrite(OutDat); WriteLn(OutDat, 'ArtNr_UFP;', 'Hersteller;', 'Modell;', 'Typ;', 'HauptDrucker;', 'Gruppe;', 'ArtNrExt;'); end; end;
CloseFile(InDat); CloseFile(OutDat); Liste.Free; ZeitEnde := now(); Zeitdiff := TimeToStr(ZeitEnde - ZeitBeginn); showmessage('Dauer: ' + Zeitdiff); Form1.Close;
end;
end. |
Moderiert von raziel: Code- durch Delphi-Tags ersetzt
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: Di 21.03.06 09:34
Horst_H hat mir ein interessantes Beispiel geschickt für die TString Bearbeitung:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15:
| For i := 0 to Max do begin NeuArtNr[i] := ?? Eintrag.Objects[i]:= tObject(pchar(NeuArtNr[i]); end;
Eintrag.sort; solange DatenSaetze in Adat begin IF Eintrag.find(ArtikelNummerausAdat,Posfound) then NeueArtikelNummer := pChar(Eintrag.Ojects[PosFound]); schreibe Datensatz weg; end; |
Ist es richtig, dass in der Stringlist ein eigenes Feld pro String vorhanden ist, in der man eine Adresse eines Objektes ablegen kann um diesen String damit zu verknüpfen. So lese ich es aus dem Code heraus.
In der Hilfe konnte ich keine mir verständlichen Hinweise dafür finden.
Moderiert von raziel: Code- durch Delphi-Tags ersetzt
|
|
Horst_H
      
Beiträge: 1654
Erhaltene Danke: 244
WIN10,PuppyLinux
FreePascal,Lazarus
|
Verfasst: Di 21.03.06 09:56
Hallo,
ja das kann man machen und man sogar String Value Paare erzeugen, was Deiner ErsetzListe doch sehr nahe kommt.
Example code : Using name-value strings aus www.delphibasics.co....asp?Name=TStringList
Gruss Horst
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: Di 21.03.06 13:21
Danke für den Link, der ist wirklich gut.
Dein Trick mit den Objects[i]:=TObject(pchar(... ist aber nicht schlecht und steht in den Basics natürlich nicht drin, das kommt ja auch aus den Tiefen der Objekthirachie.
|
|
delfiphan
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: Di 21.03.06 21:24
Noch zwei kleine Beispielfiles, damit ich das Beispiel auch ausführen kann?  ;D
|
|
SmileySN 
      
Beiträge: 297
WinXP, Win7
Delphi 2010 Professional
|
Verfasst: Mi 22.03.06 10:44
Stimmt, ohne Daten wird das echt schwer.
Hier zwei gekürzte Dateien.
Einloggen, um Attachments anzusehen!
|
|
|