Autor Beitrag
schitho
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 288

XP Home SP2
D2005 Prof
BeitragVerfasst: Fr 19.11.04 12:54 
Hi,

wie kann ich eine sehr große Datei (mehrere GB) möglichst rasch erstellen, wobei die Datei ruhig leer sein darf.

Gruß
Thomas

_________________
(Sorry! Leider ewiger Delphi-Neuling)
ShadowCaster
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 312



BeitragVerfasst: Fr 19.11.04 13:23 
Hallo schitho,

dein Problem kann man sicher auf mehrere Wege lösen. Ich persönlich arbeite gern mit Speicherblöcken, da sie wesentlich schneller als Streams sind. Delphi verfügt über optimierte Funktionen wie Blockread und Blockwrite, die große Blöcke sehr schnell schreiben können.

Um dein Problem zu lösen generierst du dir erst mal einen Basisblock der z.B. 1048576 Bytes (1 MB) groß ist. Dieser Block wird im Speicher angelegt und mit Nullen aufgefüllt. Jetzt fügst du noch eine Schleife an die entsprechend der MB-Zahl durchlaufen wird, die du in deine Datei schreiben möchtest.

Hier ein Codebeispiel:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
procedure CreateDumpFile(FileName : String; FileSizeMB : Integer);
var
  i         : Integer;
  DumpFile  : File;
  MemoryBuf : PChar;
  AmtWritten : Integer;
const
  SizeMeg = 1048576;
begin
  AmtWritten := 0;
  AssignFile(DumpFile, FileName);
  // Datei zum Schreiben vorbereiten
  try
    Rewrite(DumpFile, 1);
  except
    CloseFile(DumpFile);
    Exit;  // Funktion verlassen, falls Datei nicht erstellt werden kann
  end;
  GetMem(MemoryBuf, SizeMeg);
  FillChar(MemoryBuf, SizeOf(MemoryBuf), 0); // Buffer leeren
  // 1MB-Blöcke solange in die Datei schreiben, wie gefordert
  for i := 0 to FileSizeMB - 1 do
  begin
    BlockWrite(DumpFile, MemoryBuf^, SizeMeg, AmtWritten);
    if AmtWritten < SizeMeg then  // Wenn Festplattenkapazität voll, nicht mehr schreiben
      break;
  end;
  FreeMem(MemoryBuf);
  CloseFile(DumpFile);
end;


Das ist die Prozedur zum erstellen beliebig großer Dateien. Jetzt werde ich noch ein Beispiel anfügen. Nehmen wir an du wolltest eine Datei namens "Dump.fil" auf Laufwerk C: anlegen, die 3000 MB groß ist, dann rufst du die Funktion im Programm wie folgt auf:

ausblenden Delphi-Quelltext
1:
  CreateDumpFile('C:\Dump.fil', 3000);					


Das wars im Großen und ganzen. Wenn du die Geschwindigkeit des Schreibevorgangs noch beschleunigen willst, kannst du den temporären Buffer auch auf z.B. 10 MB vergrößern. Um dann 3000 MB zu schreiben, musst du die Funktion entsprechend mit CreateDumpFile('C:\Dump.fil', 300); aufrufen. Klar, oder? :wink:

Sollte der Quelltext kleinere Fehler enthalten, so bitte ich das zu entschuldigen. Ich habe auf diesem Rechner an der Fachhochschule keinen Delphi-Compiler.

Gruß

ShadowCaster

Anmerkung: Bei heutigen Festplatten sollte die Schreiberate bei mindestens 100-133 MB pro Sekunde liegen. Bei mir zu hause auf meinem Rechner habe ich bereits Dateien mit einigen GB größe in wenigen Sekunden erstellt.
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Fr 19.11.04 21:10 
Tipp: SetFilePointer und SetEndOfFile :D
ausblenden Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
//Nötige API-Funktionen
DWORD SetFilePointer(
    HANDLE hFile,  // handle of file 
    LONG lDistanceToMove,  // number of bytes to move file pointer 
    PLONG lpDistanceToMoveHigh,  // address of high-order word of distance to move  
    DWORD dwMoveMethod   // how to move 
    );
BOOL SetEndOfFile(
    HANDLE hFile   // handle of file whose EOF is to be set 
    );

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
Procedure SetVeryLargeFileSize(FHandle:THandle; NewSize:Int64);
Begin
    SetFilePointer(FHandle, DWORD(NewSize), Pointer(Integer(@NewSize)+4), FILE_BEGIN);
    SetEndOfFile(FHandle);
end;


FHandle bekommst du über CreateFile und solltest es danach mit CloseHandle wieder freigeben.

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
schitho Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 288

XP Home SP2
D2005 Prof
BeitragVerfasst: Fr 19.11.04 21:51 
Hi,

ich hab den Code von ShadowCaster ausprobiert.

Bekomme jedoch bei

ausblenden Delphi-Quelltext
1:
BlockWrite(DumpFile, MemoryBuf^, SizeMeg, AmtWritten);					


eine Exception mit folgender Fehlermeldung:

E/A-Fehler 1784

Da ich den Fehler nicht finde, brauch ich Eure Hilfe.

Danke.

Gruß
Thomas

_________________
(Sorry! Leider ewiger Delphi-Neuling)
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Fr 19.11.04 22:04 
Aus der PSDK:
System Error Codes hat folgendes geschrieben:
1784 ERROR_INVALID_USER_BUFFER
The supplied user buffer is not valid for the requested operation.


BTW: Windows kennt Fehlernummern von 0 bis 15999 (laut Liste).

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
schitho Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 288

XP Home SP2
D2005 Prof
BeitragVerfasst: Fr 19.11.04 22:34 
@BenBe

Ich hab Deinen Code nun ausprobiert:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
Procedure SetVeryLargeFileSize(FHandle:THandle; NewSize:Int64);
Begin
    SetFilePointer(FHandle, DWORD(NewSize), Pointer(Integer(@NewSize)+4), FILE_BEGIN);
    SetEndOfFile(FHandle);
end;


procedure TForm1.Button1Click(Sender: TObject);
var FHandle : THandle;
begin
  CreateFile('c:\test.txt',GENERIC_WRITE,0,NIL,CREATE_NEW ,FILE_ATTRIBUTE_NORMAL,FHandle);
  SetVeryLargeFileSize(FHandle, 20000);
  CloseHandle(FHandle);
end;



Allerdings bekomm ich nun eine Exception bei CloseHandle. Die Datei wird zwar angelegt, hat jedoch O Bytes

Was hab ich da falsch gemacht?

Gruß
Thomas

_________________
(Sorry! Leider ewiger Delphi-Neuling)
schitho Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 288

XP Home SP2
D2005 Prof
BeitragVerfasst: Fr 19.11.04 22:37 
BenBE hat folgendes geschrieben:
Aus der PSDK:
System Error Codes hat folgendes geschrieben:
1784 ERROR_INVALID_USER_BUFFER
The supplied user buffer is not valid for the requested operation.


BTW: Windows kennt Fehlernummern von 0 bis 15999 (laut Liste).


Danke!

Der Zeiger MemoryBuf^=NIL.

Scheinbar gibt es also beim Reservieren und Füllen des Speichers einen Fehler, oder? Aber wo?


Gruß
Thomas

_________________
(Sorry! Leider ewiger Delphi-Neuling)
schitho Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 288

XP Home SP2
D2005 Prof
BeitragVerfasst: Fr 19.11.04 22:48 
schitho hat folgendes geschrieben:

Allerdings bekomm ich nun eine Exception bei CloseHandle. Die Datei wird zwar angelegt, hat jedoch O Bytes


Hab den Fehler selbst gefunden :D

Es geht so:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
Procedure SetVeryLargeFileSize(FHandle:THandle; NewSize:Int64);
Begin
    SetFilePointer(FHandle, DWORD(NewSize), Pointer(Integer(@NewSize)+4), FILE_BEGIN);
    SetEndOfFile(FHandle);
end;


procedure TForm1.Button1Click(Sender: TObject);
var FHandle : THandle;
begin
  // Hier war der Fehler
  FHandle:=CreateFile('c:\test.txt',GENERIC_WRITE,0,NIL,CREATE_NEW ,FILE_ATTRIBUTE_NORMAL,0);

  SetVeryLargeFileSize(FHandle, 20000);
  CloseHandle(FHandle);
end;


Danke für Eure Hilfe!!!

Gruß
Thomas

_________________
(Sorry! Leider ewiger Delphi-Neuling)
ShadowCaster
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 312



BeitragVerfasst: Sa 20.11.04 13:50 
So ich hab mir meinen Code nochmal angeschaut. So schwer war der Fehler doch gar nicht zu finden. Lediglich ein Zeichen war falsch. Also hier nochmal der korrekte Code:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
procedure CreateDumpFile(FileName : String; FileSizeMB : Integer);  
var  
  i         : Integer;  
  DumpFile  : File;  
  MemoryBuf : PChar;  
  AmtWritten : Integer;  
const  
  SizeMeg = 1048576;  
begin  
  AmtWritten := 0;  
  AssignFile(DumpFile, FileName);  
  // Datei zum Schreiben vorbereiten  
  try  
    Rewrite(DumpFile, 1);  
  except  
    CloseFile(DumpFile);  
    Exit;  // Funktion verlassen, falls Datei nicht erstellt werden kann  
  end;  
  GetMem(MemoryBuf, SizeMeg);  
  FillChar(MemoryBuf^, SizeOf(MemoryBuf), 0); // Buffer leeren - hier war der Fehler  
  // 1MB-Blöcke solange in die Datei schreiben, wie gefordert  
  for i := 0 to FileSizeMB - 1 do  
  begin  
    BlockWrite(DumpFile, MemoryBuf^, SizeMeg, AmtWritten);  
    if AmtWritten < SizeMeg then  // Wenn Festplattenkapazität voll, nicht mehr schreiben  
      break;  
  end;  
  FreeMem(MemoryBuf);  
  CloseFile(DumpFile);  
end;


Bei mir hat das Programm 1 Gigabyte in ca. 30 Sekunden auf die Platte geschrieben. Da ich 512 MB RAM habe, war es mir möglich den temporären Buffer auf 100 MB Größe zu ändern. Danach hat das Programm nurnoch 20 Sekunden gebraucht, um diese Daten mit Nullen auf die Platte zu schreiben.

Also ich hoffe, dass meine Lösung vielleicht irgendwie geholfen hat. :?