| Autor |
Beitrag |
SideshowBob
Hält's aus hier
Beiträge: 11
Win XP Home, SuSE Linux 9.2
D6 Pers
|
Verfasst: So 14.08.05 20:56
Also das Programm soll eine beliebige Datei byte für byte auslesen, und die bytes dann in
einer Listbox darstellen.
Es funktioniert auch einwandfrei für kleinere Dateien, aber wenn ich größere Dateien öffne, braucht es sehr lang, oder das Programm hängt sich sogar auf.
Es fängt an bei ca. 100kb, ab ca. 300kb wartet man ewig(man muss mit strg+alt+entf beenden).
Ich brauche aber eine funktion, die das gleiche auch mit Dateien macht, die mehrere mb
groß sind. Und das möglichst innerhalb weniger sekunden.
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24:
| procedure TForm1.Button1Click(Sender: TObject); var buf: byte; FHnd,i: integer; begin if OpenDialog1.Execute then begin FHnd := FileOpen(OpenDialog1.FileName,$0000); ListBox1.Clear; repeat i := FileRead(FHnd,buf,1); ListBox1.Items.Add(inttostr(buf)); until i = 0; FileClose(FHnd); end else showmessage('Failed'); end; |
Die wegkommentierten Zeilen sind eine alternative methode die gleiche funktion zu schreiben,
das Problem bleibt jedoch gleich.
|
|
uall@ogc
      
Beiträge: 1826
Erhaltene Danke: 11
Win 2000 & VMware
Delphi 3 Prof, Delphi 7 Prof
|
Verfasst: So 14.08.05 20:58
du musst einen größeren buffer nehmen
z.b. nen array [0..8192-1] of byte;
dann geht das auch alles schneller
_________________ wer andern eine grube gräbt hat ein grubengrabgerät
- oder einfach zu viel zeit
|
|
patrick
      
Beiträge: 1481
WIN2k, WIN XP
D6 Personal, D2005 PE
|
Verfasst: So 14.08.05 21:04
ich persönlich nehm bei dateien bis 10MB n puffer mit 16kB.
wenn mehr dann 32kB+
_________________ Patrick
im zweifelsfall immer das richtige tun!!!
|
|
Phantom1
      
Beiträge: 390
|
Verfasst: So 14.08.05 21:12
Es wäre auch ratsam mit ListBox1.Items.BeginUpdate und ListBox1.Items.EndUpdate zu arbeiten!
Zuletzt bearbeitet von Phantom1 am So 14.08.05 21:26, insgesamt 2-mal bearbeitet
|
|
SideshowBob 
Hält's aus hier
Beiträge: 11
Win XP Home, SuSE Linux 9.2
D6 Pers
|
Verfasst: So 14.08.05 21:15
| Zitat: | du musst einen größeren buffer nehmen
z.b. nen array [0..8192-1] of byte;
dann geht das auch alles schneller |
hab das mal ausprobiert, irgendwie tut sich da gar nix.
| Zitat: | ich persönlich nehm bei dateien bis 10MB n puffer mit 16kB.
wenn mehr dann 32kB+ |
wie deklariere ich denn einen puffer mit 16kb?
und wie kann ich die daten dann in einzelnen bytes darstellen?
könnte mir vielleicht irgendwer ein Beispiel geben?
sorry, wenn ich etwas schwer von begriff bin... 
|
|
LigH
      
Beiträge: 239
Win98SE, Win2000SP4
D7
|
Verfasst: So 14.08.05 21:20
Es gibt auch Möglichkeiten, Dateizugriffe durch das Betriebssystem gepuffert durchzuführen. Dazu habe ich schon mal erfolgreich sowohl MMIO-Funktionen verwendet (leider nur bis zu 4 GB), als auch Win32-Funktionen (mit NTFS auch über 4 GB). Für letzteres empfehle ich sehr die Unit "GpHugeFile 3.10" von Primoz Gabrijelcic: gp.17slon.com/gp/
Vermutlich ist es aber dennoch effizienter,
- einen großen Puffer anzulegen (das "array of Byte" ist ein solcher, hier mit 8 KB)
- nicht immer nur 1 Byte aus der Datei zu lesen, sondern gleich den ganzen Puffer voll
- auszuwerten, ob nicht der ganze Puffer vollgelesen werden konnte
- dann auf die Bytes des Puffers zuzugreifen
|
|
SideshowBob 
Hält's aus hier
Beiträge: 11
Win XP Home, SuSE Linux 9.2
D6 Pers
|
Verfasst: So 14.08.05 21:56
ich habs mal umgeschrieben.
jetzt sieht es so aus:
Delphi-Quelltext 1: 2: 3: 4: 5: 6:
| repeat i := FileRead(FHnd,buf,8192); for j := 0 to 8191 do ListBox1.Items.Add(inttostr(buf[j])); until i=0; |
buf ist ein array [0..8191] of byte.
macht aber keinen Unterschied.
ich nehm an es liegt an der for-schleife, aber mir fällt grad
keine alternative dazu ein... 
|
|
Phantom1
      
Beiträge: 390
|
Verfasst: So 14.08.05 22:03
@SideshowBob: hast du meinen Beitrag oben übersehen?
Hier der Code von dir, ich habe nur 2 Zeilen eingefügt. Probiers mal aus!
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20:
| procedure TForm1.Button1Click(Sender: TObject); var buf: byte; FHnd, i: integer; begin if OpenDialog1.Execute then begin FHnd := FileOpen(OpenDialog1.FileName,$0000); ListBox1.Clear; ListBox1.Items.BeginUpdate; repeat i := FileRead(FHnd,buf,1); ListBox1.Items.Add(inttostr(buf)); until i = 0; ListBox1.Items.EndUpdate; FileClose(FHnd); end else showmessage('Failed'); end; |
mfg
Phantom1
|
|
LigH
      
Beiträge: 239
Win98SE, Win2000SP4
D7
|
Verfasst: So 14.08.05 22:06
Du machst immer noch den selben Fehler - du liest pro Dateizugriff immer nur ein Byte.
Delphi-Quelltext 1:
| i := FileRead(FHnd,buf,1); |
Du sollst aber nach Möglichkeit gleich 8192 Bytes auf einmal lesen, wenn der Puffer für 8192 Bytes Platz hat.
Das erfordert natürlich planvolles Vorgehen. Immerhin weiß man ja nie vorher, wie groß die Datei genau sein wird - also wie oft man 8192 Bytes lesen kann, und vie viele Bytes geliefert wurden, wenn nur noch weniger als 8192 Bytes bis zum Ende von der letzten Position aus übrig waren (weißt du, was "Modulo" = Divisionsrest bedeutet?)
Zuletzt bearbeitet von LigH am So 14.08.05 22:08, insgesamt 1-mal bearbeitet
|
|
retnyg
      
Beiträge: 2754
SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
|
Verfasst: So 14.08.05 22:07
das langsamste an der sache ist das adden zu der listbox, weil da jedesmal sehr viel code ausgeführt wird
lösung: lies 8kb, erstelle nen string mit 24 kb, da machst du jedes einzelne zeichen und jeweils ein #13#10 dazu
danach machst du zb. memo1.text := memo1.text + mystring
dann wird alles unter einem mal übergeben
_________________ es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
|
|
SideshowBob 
Hält's aus hier
Beiträge: 11
Win XP Home, SuSE Linux 9.2
D6 Pers
|
Verfasst: So 14.08.05 22:33
| Zitat: | | @SideshowBob: hast du meinen Beitrag oben übersehen? |
die Sache mit dem BeginUpdate und EndUpdate hab ich ausprobiert,
hat leider auch nichts gebracht
| Zitat: | | Du machst immer noch den selben Fehler - du liest pro Dateizugriff immer nur ein Byte. |
ich lese immer 8kb auf einmal:
Delphi-Quelltext 1:
| i := FileRead(FHnd,buf,8192); |
ich weiss nur nicht, wie ich dann die einzelnen bytes darstellen kann, ohne eine weitere
Schleife zu benutzen, die den puffer byte für byte ausliest. (ich denke mal das braucht
genauso viel zeit, wie die Datei selbst byte für byte auszulesen)
|
|
Logikmensch
      
Beiträge: 390
Win XP
Delphi 2007 Prof., XE2, XE5
|
Verfasst: Mo 15.08.05 05:18
Titel: Virutelle Listview statt Listbox
Hallo!
Die Performance wird sich trotz BeginUpdate und EndUpdate (was durchaus sinnvoll war) nicht verbessern, weil die Listbox mit einer byte für byte ausgelesenen Datei bei tausenden oder sogar Millionen von Zeilen schlicht überfordert ist. Ich würde hier vorschlagen, mit einer virtuellen ListView zu arbeiten (OwnerData, Items.Count:=..., OnData). Da braucht's dann nur einen Puffer (z.B. ein TMemoryStream oder TFileStream), in den die Datei sehr schnell eingelesen werden kann. Dort kann sie dann solange stehen, wie sie gebraucht wird.
Die OnData-Ereignisprozedur der ListView zeigt dann ohne Zeitverzögerung sofort die Daten an (weil sie virtuell arbeitet). Man muss nur mit Items.Count:=<Dateigröße> die Anzahl der Items angeben und die Daten im OnData-Ereignis selbst erzeugen. Geht wunderbar. Nehme ich immer, wenn es um wirklich 'große' Dinge zum Anzeigen geht.
Man könnte auch mal in dem Delphi(7)-Demos unter "Virtual Listview" stöbern...
Ist nur so 'ne Idee.
Liebe Grüße,
Claus.
|
|
LigH
      
Beiträge: 239
Win98SE, Win2000SP4
D7
|
Verfasst: Mo 15.08.05 09:50
SideshowBob hat folgendes geschrieben: | ich weiss nur nicht, wie ich dann die einzelnen bytes darstellen kann, ohne eine weitere
Schleife zu benutzen, die den puffer byte für byte ausliest. (ich denke mal das braucht
genauso viel zeit, wie die Datei selbst byte für byte auszulesen) |
Im Gegenteil! Das schlimmste, was passieren kann, ist (bei einem "file of Byte" beispielsweise):
- Du forderst ein Byte an.
- Ein kompletter Sektor wird von der Platte gelesen.
- Das eine Byte wird gesucht und zurückgegeben.
- Du forderst das nächste Byte an.
- Der komplette selbe Sektor wird noch mal von der Platte gelesen.
- Das eine Byte wird gesucht und zurückgegeben.
- Du forderst das nächste Byte an.
- Der komplette selbe Sektor wird noch mal von der Platte gelesen.
- Das eine Byte wird gesucht und zurückgegeben.
...
Jetzt klar, warum Ein-Byte-Lesen so lange dauern kann?
Ja, sicher, es gibt sowohl Dateicaches in Delphi-Routinen, als auch den VCache im System. Trotzdem ist es wirklich am effizientesten, eien ganzen Block einzulesen, und den Block in einer Schleife durchzugehen. Und ohne die Schleife wird's nicht gehen - aber ich sehe nicht, warum das sooooo schlecht sein soll.
|
|
SideshowBob 
Hält's aus hier
Beiträge: 11
Win XP Home, SuSE Linux 9.2
D6 Pers
|
Verfasst: Mo 22.08.05 18:03
Falls es nach einer Woche noch irgendwen interessiert:
Das Problem ist gelöst, der Fehler war, dass ich zwar einen Puffer von 8kb verwendet habe, diesen dann aber
byte für byte in einer for schleife in eine ListBox (später in ein Memo) ausgelesen habe.
Die Lösung: ich musste nur in der for schleife den Puffer in einen String auslesen, und diesen nach
abschluss der gesamten prozedur als ganzes ins Memo kopieren... eigentlich ganz einfach
Trotzdem, Danke an alle die geantwortet haben.
|
|
retnyg
      
Beiträge: 2754
SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
|
Verfasst: Mo 22.08.05 19:10
ist das nicht genau das, was ich am 15. sagte ? 
_________________ es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
|
|
|