Autor Beitrag
highhatcompy
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 190

Win2000,Win XP,Linux(SuSE9.2)
Delphi 5 Prof.
BeitragVerfasst: Do 19.08.04 13:27 
Hallo,

ich habe einen großen Datenbestand (MS ACCESS)zu warten. Nun will ich vor dem Kopieren prüfen ob eine Datei geändert wurde. Dieses mache ich erstens über die Größe und zweitens möchte ich zur Sicherheit noch die Checksumme bilden.
Meine Fragen:
1. Ich wollte es so machen, dass ich die Datei über ein MemoryStream lese und dann Byteweis auslese und die Bytes addiere. Ist das effektive oder gibt es eine bessere Lösung?

2. Oder würde es reichen eine Checksumme für bestimmten Teil der Datei zu ermitteln!? (Wäre bestimmt schneller?)

3. Oder gibt es eine ganz andere Möglichkeit?

Vielen Dank schon mal!!

Highhatcompy

_________________
Bist Du ein Programmierer, so wirst Du gegen Computer, Hardwarehersteller und Anwender verlieren. (Quelle: Murphy's Computer-Gesetz)
Martin W
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 116



BeitragVerfasst: Do 19.08.04 15:15 
Hi,

es geht viel schneller wenn du einfach die CRC32 Summe der Datei berechnen lässt, das geht auch bei großen Dateien innerhalb von wenigen Sekunden!!!

Der Quellcode ist folgendermaßen, ich habe ich von einem Forum einer Webseite, kann mich aber leider nicht mehr an die Quelle erinnern!

ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
34:
35:
36:
37:
38:
39:
40:
41:
42:
43:
44:
45:
46:
47:
48:
49:
50:
51:
52:
53:
54:
55:
56:
57:
58:
59:
60:
61:
62:
63:
64:
65:
66:
67:
68:
69:
70:
71:
72:
73:
74:
75:
76:
77:
78:
79:
80:
81:
82:
83:
84:
85:
86:
87:
88:
89:
90:
91:
92:
93:
94:
95:
96:
97:
98:
99:
100:
101:
102:
103:
104:
105:
106:
107:
108:
109:
110:
111:
112:
113:
114:
115:
116:
117:
118:
119:
120:
121:
122:
123:
124:
125:
126:
127:
128:
129:
130:
131:
132:
133:
134:
135:
136:
137:
138:
139:
140:
type
  {$IFDEF VER130}           // This is a bit awkward
    // 8-byte integer
    TInteger8 = Int64;     // Delphi 5
  {$ELSE}
  {$IFDEF VER120}
    TInteger8 = Int64;     // Delphi 4
  {$ELSE}
    TInteger8 = COMP;      // Delphi  2 or 3
  {$ENDIF}
  {$ENDIF}

const
  Table: array[0..255] of DWORD =
    ($00000000, $77073096, $EE0E612C, $990951BA,
    $076DC419, $706AF48F, $E963A535, $9E6495A3,
    $0EDB8832, $79DCB8A4, $E0D5E91E, $97D2D988,
    $09B64C2B, $7EB17CBD, $E7B82D07, $90BF1D91,
    $1DB71064, $6AB020F2, $F3B97148, $84BE41DE,
    $1ADAD47D, $6DDDE4EB, $F4D4B551, $83D385C7,
    $136C9856, $646BA8C0, $FD62F97A, $8A65C9EC,
    $14015C4F, $63066CD9, $FA0F3D63, $8D080DF5,
    $3B6E20C8, $4C69105E, $D56041E4, $A2677172,
    $3C03E4D1, $4B04D447, $D20D85FD, $A50AB56B,
    $35B5A8FA, $42B2986C, $DBBBC9D6, $ACBCF940,
    $32D86CE3, $45DF5C75, $DCD60DCF, $ABD13D59,
    $26D930AC, $51DE003A, $C8D75180, $BFD06116,
    $21B4F4B5, $56B3C423, $CFBA9599, $B8BDA50F,
    $2802B89E, $5F058808, $C60CD9B2, $B10BE924,
    $2F6F7C87, $58684C11, $C1611DAB, $B6662D3D,

    $76DC4190, $01DB7106, $98D220BC, $EFD5102A,
    $71B18589, $06B6B51F, $9FBFE4A5, $E8B8D433,
    $7807C9A2, $0F00F934, $9609A88E, $E10E9818,
    $7F6A0DBB, $086D3D2D, $91646C97, $E6635C01,
    $6B6B51F4, $1C6C6162, $856530D8, $F262004E,
    $6C0695ED, $1B01A57B, $8208F4C1, $F50FC457,
    $65B0D9C6, $12B7E950, $8BBEB8EA, $FCB9887C,
    $62DD1DDF, $15DA2D49, $8CD37CF3, $FBD44C65,
    $4DB26158, $3AB551CE, $A3BC0074, $D4BB30E2,
    $4ADFA541, $3DD895D7, $A4D1C46D, $D3D6F4FB,
    $4369E96A, $346ED9FC, $AD678846, $DA60B8D0,
    $44042D73, $33031DE5, $AA0A4C5F, $DD0D7CC9,
    $5005713C, $270241AA, $BE0B1010, $C90C2086,
    $5768B525, $206F85B3, $B966D409, $CE61E49F,
    $5EDEF90E, $29D9C998, $B0D09822, $C7D7A8B4,
    $59B33D17, $2EB40D81, $B7BD5C3B, $C0BA6CAD,

    $EDB88320, $9ABFB3B6, $03B6E20C, $74B1D29A,
    $EAD54739, $9DD277AF, $04DB2615, $73DC1683,
    $E3630B12, $94643B84, $0D6D6A3E, $7A6A5AA8,             
    $E40ECF0B, $9309FF9D, $0A00AE27, $7D079EB1,
    $F00F9344, $8708A3D2, $1E01F268, $6906C2FE,
    $F762575D, $806567CB, $196C3671, $6E6B06E7,
    $FED41B76, $89D32BE0, $10DA7A5A, $67DD4ACC,
    $F9B9DF6F, $8EBEEFF9, $17B7BE43, $60B08ED5,
    $D6D6A3E8, $A1D1937E, $38D8C2C4, $4FDFF252,
    $D1BB67F1, $A6BC5767, $3FB506DD, $48B2364B,
    $D80D2BDA, $AF0A1B4C, $36034AF6, $41047A60,
    $DF60EFC3, $A867DF55, $316E8EEF, $4669BE79,
    $CB61B38C, $BC66831A, $256FD2A0, $5268E236,
    $CC0C7795, $BB0B4703, $220216B9, $5505262F,
    $C5BA3BBE, $B2BD0B28, $2BB45A92, $5CB36A04,
    $C2D7FFA7, $B5D0CF31, $2CD99E8B, $5BDEAE1D,

    $9B64C2B0, $EC63F226, $756AA39C, $026D930A,
    $9C0906A9, $EB0E363F, $72076785, $05005713,
    $95BF4A82, $E2B87A14, $7BB12BAE, $0CB61B38,
    $92D28E9B, $E5D5BE0D, $7CDCEFB7, $0BDBDF21,
    $86D3D2D4, $F1D4E242, $68DDB3F8, $1FDA836E,
    $81BE16CD, $F6B9265B, $6FB077E1, $18B74777,
    $88085AE6, $FF0F6A70, $66063BCA, $11010B5C,
    $8F659EFF, $F862AE69, $616BFFD3, $166CCF45,
    $A00AE278, $D70DD2EE, $4E048354, $3903B3C2,
    $A7672661, $D06016F7, $4969474D, $3E6E77DB,
    $AED16A4A, $D9D65ADC, $40DF0B66, $37D83BF0,
    $A9BCAE53, $DEBB9EC5, $47B2CF7F, $30B5FFE9,
    $BDBDF21C, $CABAC28A, $53B39330, $24B4A3A6,
    $BAD03605, $CDD70693, $54DE5729, $23D967BF,
    $B3667A2E, $C4614AB8, $5D681B02, $2A6F2B94,
    $B40BBE37, $C30C8EA1, $5A05DF1B, $2D02EF8D);

procedure CalcCRC32(p: Pointer; ByteCount: DWORD; var CRCValue: DWORD);
var
  i: DWORD;
  q: ^BYTE;
begin
hauptform.lastkorrektprozbackup(99);
  q := p;
  for i := 0 to ByteCount - 1 do
  begin
    CRCvalue := (CRCvalue shr 8) xor
      Table[q^ xor (CRCvalue and $000000FF)];
    Inc(q)
  end
end {CalcCRC32};

function CalcStringCRC32(s: string; out CRC32: DWORD): Boolean;
var
  CRC32Table: DWORD;
begin
  Result := True;
  CRC32Table := $FFFFFFFF;
  CalcCRC32(Addr(Table[0]), SizeOf(Table), CRC32Table);
  CRC32Table := not CRC32Table;

  if CRC32Table <> $6FCF9E13 then ShowMessage('CRC32 Table CRC32 is ' +
      IntToHex(Crc32Table, 8) +
      ', expecting $6FCF9E13')
  else
  begin
    CRC32 := $FFFFFFFF;
    if Length(s) > 0
      then CalcCRC32(Addr(s[1]), Length(s), CRC32);
    CRC32 := not CRC32;
  end;
end;

procedure CalcFileCRC32(FromName: string; var CRCvalue: DWORD;
  var TotalBytes: TInteger8;
  var error: Word);
var
  Stream: TMemoryStream;
begin
  error := 0;
  CRCValue := $FFFFFFFF;
  Stream := TMemoryStream.Create;
  try
    try
      Stream.LoadFromFile(FromName);
      if Stream.Size > 0 then CalcCRC32(Stream.Memory, Stream.Size, CRCvalue)
      except
        on E: EReadError do
          error := 1
    end;
    CRCvalue := not CRCvalue
  finally
    Stream.Free
  end;
end;


Aufrufen tust du das ganze jetzt folgendermaßen (als Beispiel in eine Funktion gepackt):

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
// Um die Prüfsumme einen Strings herauszubekommen:

function CRC_string(s: string): string;
var
  CRC32: Dword;
begin
  CalcStringCRC32(tmpedit1str, CRC32);
  Result:= IntToStr(CRC32);
end;

// Die Prüfsumme einer Datei herausbekommen:
function CRC_file(file1: filename): string;
var
  CRC32: Dword;
  gesamtebytes: TInteger8;
  errorword: Word;
begin
  CalcFileCRC32(file1, CRC32, gesamtebytes, errorword);
  Result:= inttostr(CRC32);
end;

// Die 2te Prozedur funktioniert zwar, sollte noch weiter ausgebaut werden!



Ich hoffe ich konnt dir helfen

Gruß
Martin W.
highhatcompy Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 190

Win2000,Win XP,Linux(SuSE9.2)
Delphi 5 Prof.
BeitragVerfasst: Do 19.08.04 16:30 
Hi,
danke für deine schnelle Antwort! Hab mir das ganze mal ausgedruckt und Teste es!
Morgen kommt die Antwort ob es geht!

Danke nochmal

HHC

_________________
Bist Du ein Programmierer, so wirst Du gegen Computer, Hardwarehersteller und Anwender verlieren. (Quelle: Murphy's Computer-Gesetz)
Martin W
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 116



BeitragVerfasst: Do 19.08.04 16:45 
highhatcompy hat folgendes geschrieben:
Hab mir das ganze mal ausgedruckt und Teste es!


...ausgedruck??? Du weist das du die 256 Inhaltswerte des DWORD- Arrys der Konstante "Tabel" fehlerfrei übernehmen musst?!? Willst du alles abeschreiben ??? :?

Gruß
Martin W
highhatcompy Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 190

Win2000,Win XP,Linux(SuSE9.2)
Delphi 5 Prof.
BeitragVerfasst: Do 19.08.04 18:09 
Hallo,

klar weiss ich das :lol: !
Natürlich hab ich mir das ganze auch auf meinen MemStick kopiert!
Aber Danke für die Erinnerung!
Ich habe auch gleich nochmal eine Frage:
- was bedeutet die Zeile '88: hauptform.lastkorrektprozbackup(99);'

Bis bald
HHC

_________________
Bist Du ein Programmierer, so wirst Du gegen Computer, Hardwarehersteller und Anwender verlieren. (Quelle: Murphy's Computer-Gesetz)
Martin W
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 116



BeitragVerfasst: Do 19.08.04 22:17 
highhatcompy hat folgendes geschrieben:
was bedeutet die Zeile '88: hauptform.lastkorrektprozbackup(99);'


Diese Zeile gehört nicht dazu, sry... Bitte einfach löschen! Diese Zeile gehört zu meinem Programm Advanced Film Management und dient der Fehlerrückverfolgung, nicht zum Berechnen der CRC32 Prüfsumme ;-)

Gruß
Martin W.
MartinPb
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 698



BeitragVerfasst: Do 19.08.04 22:52 
highhatcompy hat folgendes geschrieben:
Hallo,

ich habe einen großen Datenbestand (MS ACCESS)zu warten. Nun will ich vor dem Kopieren prüfen ob eine Datei geändert wurde.


Schon mal von Archivflag gehört? Jede Datei hat den. Man löscht den und wenn die Datei verändert wurde, d.h. etwas geschreiben wurde, dann setzt das System den Archivflag automatisch wieder. Man muß also nur prüfen ob der Archivflag gesetzt ist.

Ob das allerdings auch für Datenbanken gilt, hab ich noch nicht getestet. Müßte aber sein. Hängt davon ab ob die Datenbank von sich aus "unwichtige" Änderungen vornimmt, was allerdings auch die Checksumme verändern würde. Es ist also egal. Nimm den Archivflag.

_________________
Gruß
Martin
Martin W
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 116



BeitragVerfasst: Do 19.08.04 22:57 
MartinPb hat folgendes geschrieben:
highhatcompy hat folgendes geschrieben:
Hallo,

ich habe einen großen Datenbestand (MS ACCESS)zu warten. Nun will ich vor dem Kopieren prüfen ob eine Datei geändert wurde.


Schon mal von Archivflag gehört? Jede Datei hat den. Man löscht den und wenn die Datei verändert wurde, d.h. etwas geschreiben wurde, dann setzt das System den Archivflag automatisch wieder. Man muß also nur prüfen ob der Archivflag gesetzt ist.

Ob das allerdings auch für Datenbanken gilt, hab ich noch nicht getestet. Müßte aber sein. Hängt davon ab ob die Datenbank von sich aus "unwichtige" Änderungen vornimmt, was allerdings auch die Checksumme verändern würde. Es ist also egal. Nimm den Archivflag.


Wenn er die Datenbank allerdings nicht privat sondern z.B. für seine Firma verwaltet ist meine Methode mit der Prüfsumme sicherer... Wer sagt ihm denn das ein Mitarbeiter das Attribut nicht einfach von Hand setzt (sei es ausversehen oder sonst was...)?
MartinPb
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 698



BeitragVerfasst: Do 19.08.04 23:38 
Ich will keinem seine Methode ausreden. Allerdings ist der Archivflag dazu gedacht zu sehen ob eine Datei verändert wurde. Das ist eigentlich die professionelle Methode für Backups. Was glaubst wie ein Backupprogramm bei einem Inkrementellen Backup arbeitet?

Wenn ich ein Sicherungsprogramm für eine Firma schreiben sollte, dann hätte ich keine Bedenken dem Falg zu nutzen. Wenn in Firma Leute Attribute ändern durfen, dann ist das nicht mein Problem, sonder das der Firma.

Aber wenn highhatcompy es mit Checksumme machen will, dann soll er.

_________________
Gruß
Martin
Martin W
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 116



BeitragVerfasst: Fr 20.08.04 00:11 
Zur Ergänzung zu MartinPb´s Beitrag sei noch ein Beispielquellcode von mir hinzugefügt:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
type
  TFileAttributes = set of (Archive);

function GetFileAttributes(const FileName: String): TFileAttributes;
var 
  srec: TSearchRec;
begin
  result:=[];
  if FindFirst(FileName, faAnyFile, srec) = 0 then begin
    try
      // Der Vollständigkeit halber mal elle Attribute aufgelistet
      if (srec.Attr and faSysFile)>0 then result:=result+[SysFile]; //Systemdatei
      if (srec.Attr and faReadOnly)>0 then result:=result+[ReadOnly]; //Schreibgeschützt
      if (srec.Attr and faHidden)>0 then result:=result+[Hidden]; //Verborgene Datei
      if (srec.Attr and faVolumeId)>0 then result:=result+[VolumeId]; //Laufwerks-ID
      if (srec.Attr and faAnyFile)>0 then result:=result+[AnyFile]; //Beliebige Datei
      if (srec.Attr and faDirectory)>0 then result:=result+[Directory]; //Verzeichnis
      if (srec.Attr and faArchive)>0 then result:=result+[Archive]; //Archivdatei
    finally
      FindClose(srec);
    end;
  end;
end;


Ermitteln, ob eine Datei dieses Flag nun hat, oder nicht hat, kann man folgendermaßen:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
procedure TForm1.ermittelstatus;
var 
  fa: TFileAttributes;
begin
  fa:=GetFileAttributes('d:\temp\test.bmp');
  if Archivein fa then 
    begin  
      ShowMessage('Datei wurde nicht verändert');
    end
  else
    begin
      ShowMessage('Datei wurde verändert');
    end;
end;


Nach jedem Backupvorgang muss noch folgende Funktion ausgeführt werden:

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
function setartivflag(filename: string): boolean;
begin
  if SetFileAttributes(filename, FILE_ATTRIBUTE_ARCHIVE) then
    Result := True;
  else
    Result := False;
end;



So, jetzt hat der Streit "welche Methode ist besser" endgültig ein Ende, da wir die Entscheidung jetzt highhatcompy überlassen werden ;-)

Gruß
Martin W.
highhatcompy Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 190

Win2000,Win XP,Linux(SuSE9.2)
Delphi 5 Prof.
BeitragVerfasst: Fr 20.08.04 21:21 
Hallo Leute!!!

Danke für eure vielen Beiträge.
@MartinPb: Also mit den Flag habe ich schon gearbeitet, aber in einen WSH Programm, da habe ich keine guten Erfahrungen gemacht! Aus dem Grund wollte ich es eigentlich nicht benutzen. Ich werde mir aber trotzdem Deinen Code mal ansehen und testen.
@Martin W: Hab es getestet es klappt wunderbar!!! Danke :lol: !

Grüsse aus Thüringen

HHC

_________________
Bist Du ein Programmierer, so wirst Du gegen Computer, Hardwarehersteller und Anwender verlieren. (Quelle: Murphy's Computer-Gesetz)