Autor Beitrag
SideshowBob
Hält's aus hier
Beiträge: 11

Win XP Home, SuSE Linux 9.2
D6 Pers
BeitragVerfasst: So 14.08.05 20:56 
Also das Programm soll eine beliebige Datei byte für byte auslesen, und die bytes dann in
einer Listbox darstellen.
Es funktioniert auch einwandfrei für kleinere Dateien, aber wenn ich größere Dateien öffne, braucht es sehr lang, oder das Programm hängt sich sogar auf.
Es fängt an bei ca. 100kb, ab ca. 300kb wartet man ewig(man muss mit strg+alt+entf beenden).
Ich brauche aber eine funktion, die das gleiche auch mit Dateien macht, die mehrere mb
groß sind. Und das möglichst innerhalb weniger sekunden.
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
procedure TForm1.Button1Click(Sender: TObject);
var buf: byte;
    FHnd,i: integer;
    //Address: File of byte;
begin
 if OpenDialog1.Execute then
  begin
   FHnd := FileOpen(OpenDialog1.FileName,$0000);
   //AssignFile(Address,OpenDialog1.FileName);
   //Reset(Address);
   ListBox1.Clear;
   repeat
    i := FileRead(FHnd,buf,1);
    //Read(Address,buf);
    ListBox1.Items.Add(inttostr(buf));
   until
    i = 0;
    //EOF(Address);
   FileClose(FHnd);
   //CloseFile(Address);
  end
 else
  showmessage('Failed');
end;

Die wegkommentierten Zeilen sind eine alternative methode die gleiche funktion zu schreiben,
das Problem bleibt jedoch gleich.
uall@ogc
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 1826
Erhaltene Danke: 11

Win 2000 & VMware
Delphi 3 Prof, Delphi 7 Prof
BeitragVerfasst: So 14.08.05 20:58 
du musst einen größeren buffer nehmen

z.b. nen array [0..8192-1] of byte;

dann geht das auch alles schneller

_________________
wer andern eine grube gräbt hat ein grubengrabgerät
- oder einfach zu viel zeit
patrick
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 1481

WIN2k, WIN XP
D6 Personal, D2005 PE
BeitragVerfasst: So 14.08.05 21:04 
ich persönlich nehm bei dateien bis 10MB n puffer mit 16kB.
wenn mehr dann 32kB+

_________________
Patrick
im zweifelsfall immer das richtige tun!!!
Phantom1
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 390



BeitragVerfasst: So 14.08.05 21:12 
Es wäre auch ratsam mit ListBox1.Items.BeginUpdate und ListBox1.Items.EndUpdate zu arbeiten!


Zuletzt bearbeitet von Phantom1 am So 14.08.05 21:26, insgesamt 2-mal bearbeitet
SideshowBob Threadstarter
Hält's aus hier
Beiträge: 11

Win XP Home, SuSE Linux 9.2
D6 Pers
BeitragVerfasst: So 14.08.05 21:15 
Zitat:
du musst einen größeren buffer nehmen

z.b. nen array [0..8192-1] of byte;

dann geht das auch alles schneller

hab das mal ausprobiert, irgendwie tut sich da gar nix.
Zitat:
ich persönlich nehm bei dateien bis 10MB n puffer mit 16kB.
wenn mehr dann 32kB+

wie deklariere ich denn einen puffer mit 16kb?
und wie kann ich die daten dann in einzelnen bytes darstellen?

könnte mir vielleicht irgendwer ein Beispiel geben?

sorry, wenn ich etwas schwer von begriff bin... :?
LigH
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 239

Win98SE, Win2000SP4
D7
BeitragVerfasst: So 14.08.05 21:20 
Es gibt auch Möglichkeiten, Dateizugriffe durch das Betriebssystem gepuffert durchzuführen. Dazu habe ich schon mal erfolgreich sowohl MMIO-Funktionen verwendet (leider nur bis zu 4 GB), als auch Win32-Funktionen (mit NTFS auch über 4 GB). Für letzteres empfehle ich sehr die Unit "GpHugeFile 3.10" von Primoz Gabrijelcic: gp.17slon.com/gp/

Vermutlich ist es aber dennoch effizienter,

- einen großen Puffer anzulegen (das "array of Byte" ist ein solcher, hier mit 8 KB)
- nicht immer nur 1 Byte aus der Datei zu lesen, sondern gleich den ganzen Puffer voll
- auszuwerten, ob nicht der ganze Puffer vollgelesen werden konnte
- dann auf die Bytes des Puffers zuzugreifen
SideshowBob Threadstarter
Hält's aus hier
Beiträge: 11

Win XP Home, SuSE Linux 9.2
D6 Pers
BeitragVerfasst: So 14.08.05 21:56 
ich habs mal umgeschrieben.
jetzt sieht es so aus:
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
repeat
 i := FileRead(FHnd,buf,8192);
 for j := 0 to 8191 do
  ListBox1.Items.Add(inttostr(buf[j]));
until
 i=0;

buf ist ein array [0..8191] of byte.

macht aber keinen Unterschied.
ich nehm an es liegt an der for-schleife, aber mir fällt grad
keine alternative dazu ein... :(
Phantom1
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 390



BeitragVerfasst: So 14.08.05 22:03 
@SideshowBob: hast du meinen Beitrag oben übersehen?

Hier der Code von dir, ich habe nur 2 Zeilen eingefügt. Probiers mal aus!

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
procedure TForm1.Button1Click(Sender: TObject);
var 
  buf: byte; 
  FHnd, i: integer;
begin
  if OpenDialog1.Execute then
  begin
    FHnd := FileOpen(OpenDialog1.FileName,$0000);
    ListBox1.Clear;
    ListBox1.Items.BeginUpdate;
    repeat
      i := FileRead(FHnd,buf,1);
      ListBox1.Items.Add(inttostr(buf));
    until i = 0;
    ListBox1.Items.EndUpdate;
    FileClose(FHnd);
  end
  else
    showmessage('Failed');
end;


mfg
Phantom1
LigH
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 239

Win98SE, Win2000SP4
D7
BeitragVerfasst: So 14.08.05 22:06 
Du machst immer noch den selben Fehler - du liest pro Dateizugriff immer nur ein Byte.

ausblenden Delphi-Quelltext
1:
i := FileRead(FHnd,buf,1);					


Du sollst aber nach Möglichkeit gleich 8192 Bytes auf einmal lesen, wenn der Puffer für 8192 Bytes Platz hat.

Das erfordert natürlich planvolles Vorgehen. Immerhin weiß man ja nie vorher, wie groß die Datei genau sein wird - also wie oft man 8192 Bytes lesen kann, und vie viele Bytes geliefert wurden, wenn nur noch weniger als 8192 Bytes bis zum Ende von der letzten Position aus übrig waren (weißt du, was "Modulo" = Divisionsrest bedeutet?)


Zuletzt bearbeitet von LigH am So 14.08.05 22:08, insgesamt 1-mal bearbeitet
retnyg
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2754

SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
BeitragVerfasst: So 14.08.05 22:07 
das langsamste an der sache ist das adden zu der listbox, weil da jedesmal sehr viel code ausgeführt wird
lösung: lies 8kb, erstelle nen string mit 24 kb, da machst du jedes einzelne zeichen und jeweils ein #13#10 dazu
danach machst du zb. memo1.text := memo1.text + mystring
dann wird alles unter einem mal übergeben

_________________
es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...
SideshowBob Threadstarter
Hält's aus hier
Beiträge: 11

Win XP Home, SuSE Linux 9.2
D6 Pers
BeitragVerfasst: So 14.08.05 22:33 
Zitat:
@SideshowBob: hast du meinen Beitrag oben übersehen?

die Sache mit dem BeginUpdate und EndUpdate hab ich ausprobiert,
hat leider auch nichts gebracht
Zitat:
Du machst immer noch den selben Fehler - du liest pro Dateizugriff immer nur ein Byte.

ich lese immer 8kb auf einmal:
ausblenden Delphi-Quelltext
1:
i := FileRead(FHnd,buf,8192);					

ich weiss nur nicht, wie ich dann die einzelnen bytes darstellen kann, ohne eine weitere
Schleife zu benutzen, die den puffer byte für byte ausliest. (ich denke mal das braucht
genauso viel zeit, wie die Datei selbst byte für byte auszulesen)
Logikmensch
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 390

Win XP
Delphi 2007 Prof., XE2, XE5
BeitragVerfasst: Mo 15.08.05 05:18 
Titel: Virutelle Listview statt Listbox
Hallo!

Die Performance wird sich trotz BeginUpdate und EndUpdate (was durchaus sinnvoll war) nicht verbessern, weil die Listbox mit einer byte für byte ausgelesenen Datei bei tausenden oder sogar Millionen von Zeilen schlicht überfordert ist. Ich würde hier vorschlagen, mit einer virtuellen ListView zu arbeiten (OwnerData, Items.Count:=..., OnData). Da braucht's dann nur einen Puffer (z.B. ein TMemoryStream oder TFileStream), in den die Datei sehr schnell eingelesen werden kann. Dort kann sie dann solange stehen, wie sie gebraucht wird.
Die OnData-Ereignisprozedur der ListView zeigt dann ohne Zeitverzögerung sofort die Daten an (weil sie virtuell arbeitet). Man muss nur mit Items.Count:=<Dateigröße> die Anzahl der Items angeben und die Daten im OnData-Ereignis selbst erzeugen. Geht wunderbar. Nehme ich immer, wenn es um wirklich 'große' Dinge zum Anzeigen geht.

Man könnte auch mal in dem Delphi(7)-Demos unter "Virtual Listview" stöbern...

Ist nur so 'ne Idee.

Liebe Grüße,

Claus.
LigH
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 239

Win98SE, Win2000SP4
D7
BeitragVerfasst: Mo 15.08.05 09:50 
user profile iconSideshowBob hat folgendes geschrieben:
ich weiss nur nicht, wie ich dann die einzelnen bytes darstellen kann, ohne eine weitere
Schleife zu benutzen, die den puffer byte für byte ausliest. (ich denke mal das braucht
genauso viel zeit, wie die Datei selbst byte für byte auszulesen)

Im Gegenteil! Das schlimmste, was passieren kann, ist (bei einem "file of Byte" beispielsweise):

- Du forderst ein Byte an.
- Ein kompletter Sektor wird von der Platte gelesen.
- Das eine Byte wird gesucht und zurückgegeben.
- Du forderst das nächste Byte an.
- Der komplette selbe Sektor wird noch mal von der Platte gelesen.
- Das eine Byte wird gesucht und zurückgegeben.
- Du forderst das nächste Byte an.
- Der komplette selbe Sektor wird noch mal von der Platte gelesen.
- Das eine Byte wird gesucht und zurückgegeben.
...

Jetzt klar, warum Ein-Byte-Lesen so lange dauern kann?

Ja, sicher, es gibt sowohl Dateicaches in Delphi-Routinen, als auch den VCache im System. Trotzdem ist es wirklich am effizientesten, eien ganzen Block einzulesen, und den Block in einer Schleife durchzugehen. Und ohne die Schleife wird's nicht gehen - aber ich sehe nicht, warum das sooooo schlecht sein soll.
SideshowBob Threadstarter
Hält's aus hier
Beiträge: 11

Win XP Home, SuSE Linux 9.2
D6 Pers
BeitragVerfasst: Mo 22.08.05 18:03 
Falls es nach einer Woche noch irgendwen interessiert:
Das Problem ist gelöst, der Fehler war, dass ich zwar einen Puffer von 8kb verwendet habe, diesen dann aber
byte für byte in einer for schleife in eine ListBox (später in ein Memo) ausgelesen habe.
Die Lösung: ich musste nur in der for schleife den Puffer in einen String auslesen, und diesen nach
abschluss der gesamten prozedur als ganzes ins Memo kopieren... eigentlich ganz einfach

Trotzdem, Danke an alle die geantwortet haben.
retnyg
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2754

SNES, GB, GBA, CPC, A500, 486/66, P4/3.0HT: NintendOS, AmigaOS, DoS
Delphi 5, Delphi 7
BeitragVerfasst: Mo 22.08.05 19:10 
ist das nicht genau das, was ich am 15. sagte ? :lol:

_________________
es gibt leute, die sind genetisch nicht zum programmieren geschaffen.
in der regel haben diese leute die regel...