| Autor |
Beitrag |
schitho
      
Beiträge: 288
XP Home SP2
D2005 Prof
|
Verfasst: Fr 19.11.04 12:54
Hi,
wie kann ich eine sehr große Datei (mehrere GB) möglichst rasch erstellen, wobei die Datei ruhig leer sein darf.
Gruß
Thomas
_________________ (Sorry! Leider ewiger Delphi-Neuling)
|
|
ShadowCaster
      
Beiträge: 312
|
Verfasst: Fr 19.11.04 13:23
Hallo schitho,
dein Problem kann man sicher auf mehrere Wege lösen. Ich persönlich arbeite gern mit Speicherblöcken, da sie wesentlich schneller als Streams sind. Delphi verfügt über optimierte Funktionen wie Blockread und Blockwrite, die große Blöcke sehr schnell schreiben können.
Um dein Problem zu lösen generierst du dir erst mal einen Basisblock der z.B. 1048576 Bytes (1 MB) groß ist. Dieser Block wird im Speicher angelegt und mit Nullen aufgefüllt. Jetzt fügst du noch eine Schleife an die entsprechend der MB-Zahl durchlaufen wird, die du in deine Datei schreiben möchtest.
Hier ein Codebeispiel:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30:
| procedure CreateDumpFile(FileName : String; FileSizeMB : Integer); var i : Integer; DumpFile : File; MemoryBuf : PChar; AmtWritten : Integer; const SizeMeg = 1048576; begin AmtWritten := 0; AssignFile(DumpFile, FileName); try Rewrite(DumpFile, 1); except CloseFile(DumpFile); Exit; end; GetMem(MemoryBuf, SizeMeg); FillChar(MemoryBuf, SizeOf(MemoryBuf), 0); for i := 0 to FileSizeMB - 1 do begin BlockWrite(DumpFile, MemoryBuf^, SizeMeg, AmtWritten); if AmtWritten < SizeMeg then break; end; FreeMem(MemoryBuf); CloseFile(DumpFile); end; |
Das ist die Prozedur zum erstellen beliebig großer Dateien. Jetzt werde ich noch ein Beispiel anfügen. Nehmen wir an du wolltest eine Datei namens "Dump.fil" auf Laufwerk C: anlegen, die 3000 MB groß ist, dann rufst du die Funktion im Programm wie folgt auf:
Delphi-Quelltext 1:
| CreateDumpFile('C:\Dump.fil', 3000); |
Das wars im Großen und ganzen. Wenn du die Geschwindigkeit des Schreibevorgangs noch beschleunigen willst, kannst du den temporären Buffer auch auf z.B. 10 MB vergrößern. Um dann 3000 MB zu schreiben, musst du die Funktion entsprechend mit CreateDumpFile('C:\Dump.fil', 300); aufrufen. Klar, oder?
Sollte der Quelltext kleinere Fehler enthalten, so bitte ich das zu entschuldigen. Ich habe auf diesem Rechner an der Fachhochschule keinen Delphi-Compiler.
Gruß
ShadowCaster
Anmerkung: Bei heutigen Festplatten sollte die Schreiberate bei mindestens 100-133 MB pro Sekunde liegen. Bei mir zu hause auf meinem Rechner habe ich bereits Dateien mit einigen GB größe in wenigen Sekunden erstellt.
|
|
BenBE
      
Beiträge: 8721
Erhaltene Danke: 191
Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
|
Verfasst: Fr 19.11.04 21:10
_________________ Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
|
|
schitho 
      
Beiträge: 288
XP Home SP2
D2005 Prof
|
Verfasst: Fr 19.11.04 21:51
Hi,
ich hab den Code von ShadowCaster ausprobiert.
Bekomme jedoch bei
Delphi-Quelltext 1:
| BlockWrite(DumpFile, MemoryBuf^, SizeMeg, AmtWritten); |
eine Exception mit folgender Fehlermeldung:
E/A-Fehler 1784
Da ich den Fehler nicht finde, brauch ich Eure Hilfe.
Danke.
Gruß
Thomas
_________________ (Sorry! Leider ewiger Delphi-Neuling)
|
|
BenBE
      
Beiträge: 8721
Erhaltene Danke: 191
Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
|
Verfasst: Fr 19.11.04 22:04
Aus der PSDK:
| System Error Codes hat folgendes geschrieben: | 1784 ERROR_INVALID_USER_BUFFER
The supplied user buffer is not valid for the requested operation. |
BTW: Windows kennt Fehlernummern von 0 bis 15999 (laut Liste).
_________________ Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
|
|
schitho 
      
Beiträge: 288
XP Home SP2
D2005 Prof
|
Verfasst: Fr 19.11.04 22:34
@BenBe
Ich hab Deinen Code nun ausprobiert:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14:
| Procedure SetVeryLargeFileSize(FHandle:THandle; NewSize:Int64); Begin SetFilePointer(FHandle, DWORD(NewSize), Pointer(Integer(@NewSize)+4), FILE_BEGIN); SetEndOfFile(FHandle); end;
procedure TForm1.Button1Click(Sender: TObject); var FHandle : THandle; begin CreateFile('c:\test.txt',GENERIC_WRITE,0,NIL,CREATE_NEW ,FILE_ATTRIBUTE_NORMAL,FHandle); SetVeryLargeFileSize(FHandle, 20000); CloseHandle(FHandle); end; |
Allerdings bekomm ich nun eine Exception bei CloseHandle. Die Datei wird zwar angelegt, hat jedoch O Bytes
Was hab ich da falsch gemacht?
Gruß
Thomas
_________________ (Sorry! Leider ewiger Delphi-Neuling)
|
|
schitho 
      
Beiträge: 288
XP Home SP2
D2005 Prof
|
Verfasst: Fr 19.11.04 22:37
| BenBE hat folgendes geschrieben: | Aus der PSDK:
| System Error Codes hat folgendes geschrieben: | 1784 ERROR_INVALID_USER_BUFFER
The supplied user buffer is not valid for the requested operation. |
BTW: Windows kennt Fehlernummern von 0 bis 15999 (laut Liste). |
Danke!
Der Zeiger MemoryBuf^=NIL.
Scheinbar gibt es also beim Reservieren und Füllen des Speichers einen Fehler, oder? Aber wo?
Gruß
Thomas
_________________ (Sorry! Leider ewiger Delphi-Neuling)
|
|
schitho 
      
Beiträge: 288
XP Home SP2
D2005 Prof
|
Verfasst: Fr 19.11.04 22:48
| schitho hat folgendes geschrieben: |
Allerdings bekomm ich nun eine Exception bei CloseHandle. Die Datei wird zwar angelegt, hat jedoch O Bytes
|
Hab den Fehler selbst gefunden
Es geht so:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16:
| Procedure SetVeryLargeFileSize(FHandle:THandle; NewSize:Int64); Begin SetFilePointer(FHandle, DWORD(NewSize), Pointer(Integer(@NewSize)+4), FILE_BEGIN); SetEndOfFile(FHandle); end;
procedure TForm1.Button1Click(Sender: TObject); var FHandle : THandle; begin FHandle:=CreateFile('c:\test.txt',GENERIC_WRITE,0,NIL,CREATE_NEW ,FILE_ATTRIBUTE_NORMAL,0);
SetVeryLargeFileSize(FHandle, 20000); CloseHandle(FHandle); end; |
Danke für Eure Hilfe!!!
Gruß
Thomas
_________________ (Sorry! Leider ewiger Delphi-Neuling)
|
|
ShadowCaster
      
Beiträge: 312
|
Verfasst: Sa 20.11.04 13:50
So ich hab mir meinen Code nochmal angeschaut. So schwer war der Fehler doch gar nicht zu finden. Lediglich ein Zeichen war falsch. Also hier nochmal der korrekte Code:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30:
| procedure CreateDumpFile(FileName : String; FileSizeMB : Integer); var i : Integer; DumpFile : File; MemoryBuf : PChar; AmtWritten : Integer; const SizeMeg = 1048576; begin AmtWritten := 0; AssignFile(DumpFile, FileName); try Rewrite(DumpFile, 1); except CloseFile(DumpFile); Exit; end; GetMem(MemoryBuf, SizeMeg); FillChar(MemoryBuf^, SizeOf(MemoryBuf), 0); for i := 0 to FileSizeMB - 1 do begin BlockWrite(DumpFile, MemoryBuf^, SizeMeg, AmtWritten); if AmtWritten < SizeMeg then break; end; FreeMem(MemoryBuf); CloseFile(DumpFile); end; |
Bei mir hat das Programm 1 Gigabyte in ca. 30 Sekunden auf die Platte geschrieben. Da ich 512 MB RAM habe, war es mir möglich den temporären Buffer auf 100 MB Größe zu ändern. Danach hat das Programm nurnoch 20 Sekunden gebraucht, um diese Daten mit Nullen auf die Platte zu schreiben.
Also ich hoffe, dass meine Lösung vielleicht irgendwie geholfen hat. 
|
|
|