| Autor |
Beitrag |
opfer.der.genauigkeit
      
Beiträge: 754
Erhaltene Danke: 1
|
Verfasst: Mo 24.02.03 00:41
Mir hat jemand geraten, daß ich beim Kopieren von Dateien den größtmöglichen Buffer verwenden soll.
Zitat:
"Ich verwende immer den max. Ram"
Jetzt stellt sich mir die Frage ob das auch sinnvoll ist od. ob es sinnvoller ist den Buffer nur auf den benötigten Wert zu begrenzen?
(und vielleicht is ja wieder n haifisch dabei, der dieses posting liest... *fg*)
_________________ Stellen Sie sich bitte Zirkusmusik vor.
|
|
MSCH
      
Beiträge: 1448
Erhaltene Danke: 3
W7 64
XE2, SQL, DevExpress, DevArt, Oracle, SQLServer
|
Verfasst: Mo 24.02.03 18:32
Titel: Auweia
den größtmöglichen Ram? Der Arme Rechner - das sind immerhin 2 GB !!
Das Problem ist eher, das die Routinen Blockread/FileRead mit solchen riesigen Blöcken garnichts anfangen können.
Ich nutze immer Blöcke wie 256, 512, 768, 1024. Allerdings nicht statisch sondern via Getmem/Freemem.
Grüße
Mathias
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Mo 24.02.03 20:35
NEIN!
Wenn du eine Datei kopieren willst, die nur 10MB groß ist, und do schnappst dir den ganzen RAM (auszugehen ist von 128, 256 oder 512 MB), was machen dann die restlichen 118, 146 oder 502 MB? Richtig, die langweilen sich zu Tode, wiel keiner drauf zugreifen kann. Speicher, den du einmal für dein Programm bereitgestellt hast, ist für andere Windows-Anwendungen solange verloren, bis du ihn wieder freigibst. Windows ist (angeblich) ein Multitaskingsystem. Wenn du den gesamten Speicher für dich beanspruchst, gräbst du also anderen Anwendungen das Wasser ab, u.U. sogar den Kernel/Explorer selbst, und dann iss nix mehr.
Generell immer nur soviel Speicher bereitstellen, wie auhc benötigt wird. Die Puffergröße hängt aber auch vom Medium ab. Willst du von einer Festplatte auf die gleiche kopieren, empfiehlt sich ein Buffer von der Größe der Datei (wenn's unbedingt schnell sein soll und sich keiner um den Speicher kümmert, der da verbraucht wird). Denn eine Platte kann nicht gleichzeitig lesen und schreiben und ist schneller, wenn sie ständig liest und ständig schreibt, als ruckartig zu lesen und zu schreiben. Also einmal ganze Datei einlese und dannach schreiben. So lastest du auch den Datenbus (IDE/SCSI) besser aus.
Wenn du zwei Festplatten hast und von der einen auf die andere kopieren willst, wäre das RAM-Verschwendung und Datenrateverschwendung obendrein. Die eine platte kann nämlich lesen, während die andere schreibt, und wenn sie beide an verschiedenen IDE-Kanälen hängen, werden beide besser ausgelastet. Hier empfehlen sich Buffer, die kleiner als die Datei sind - wesentlich kleiner (1024 KB ist eine schlechte Zahl, 4096 eher, da FAT32 mittlerweile fast überall 4KB-Cluster hat (außer auf Riesenplatten, aber auch noch die Clustergröße auszulesen wäre etwas aufwändig)). Dann sind zwei Threads angebracht. Der eine liest. Dann fängt er an, auf die andere Platte zu schreiben. Gleichzeitig fängt der zweite Thread an, von der ersten Platte zu lesen. Ist er damit fertig, wartet er auf den anderen Thread, bis der wieder liest. usw. So ist die eine Platte ständig am Schreiben, während die andere fast ständig am lesen ist (lesen ist oft ein klein wenig schneller, keine Ahnung warum). Der RAM macht das locker mit. Bei heutigen Transferraten von 5 GB/s kümmert es den wenig, ob da ständig einer was von ihm will.
Soviel zu Festplatten. Bei Floppys und CDROMs dürfte es fast egal sein, denn das Floppy/CDOM ist immer langsamer als die Festplatte, also Streaming mit kleinen Blöcken oder großen Blöcken ist annähernd gleichgültig.
Bei analogen Medien (Line-In von der Soundkarte zum Beispiel, oder ein Band) empfiehlt sich sowieso immer Streaming, denn die Festplatte kommt performancemäßig eigentlich immer mit. Es sei denn, die Datenmengen sind relativ klein und man hat noch großes mit denen vor (nachbearbeitung), dann sollten sie im RAM bleiben, weil der einfach shcneller ist.
Soweit die kleine Kopiererkunde...
@MSCH: Wer hat denn 2GB RAM auf einem Desktop? Wenn ein Server das hat, gut, eine Workstation, auch noch gut, aber ein Desktop?
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
Raphael O.
      
Beiträge: 1596
VS 2013
|
Verfasst: Mo 24.02.03 20:46
er meinte dass weil o.d.g. gesagt hat, dass er immer den maximal (möglichen) Ram benutzt und der ist ~2Gb...
|
|
MSCH
      
Beiträge: 1448
Erhaltene Danke: 3
W7 64
XE2, SQL, DevExpress, DevArt, Oracle, SQLServer
|
Verfasst: Mo 24.02.03 20:56
Titel: Re:
| Zitat: | | Wenn du eine Datei kopieren willst, die nur 10MB groß ist, und do schnappst dir den ganzen RAM (auszugehen ist von 128, 256 oder 512 MB), was machen dann die restlichen 118, 146 oder 502 MB? Richtig, die langweilen sich zu Tode, wiel keiner drauf zugreifen kann. |
Sorry, aber schau dir mal (vorausgesetzt dein BS ist W2K) den Taskmanager an. Stichwort physikalischer Speicher. Bei Mir zur Zeit 785908 KB vorhanden, davon 300880 system. Von rumlungern kann da keine Rede sein. Windows ist ganz schön ausverschämt wenn um Speicher geht.
| Zitat: | | Speicher, den u einmal für dein Programm bereitgestellt hast, ist für andere Windows-Anwendungen solange verloren, bis du ihn wieder freigibst. Windows ist (angeblich) ein Multitaskingsystem. Wenn du den gesamten Speicher für dich beanspruchst, gräbst du also anderen Anwendungen das Wasser ab, u.U. sogar den Kernel/Explorer selbst, und dann iss nix mehr. |
Warum kann ich bei 07 GB Ram 2 GB Beanspruchen ? Ganz einfach, windows lagert aus. Leider kann man nicht vorraussehen, wann das BS anfängt auszulgern.
| Zitat: | | Generell immer nur soviel Speicher bereitstellen, wie auhc benötigt wird. |
korrekt.
| Zitat: | | Die Puffergröße hängt aber auch vom Medium ab. Willst du von einer Festplatte auf die gleiche kopieren, empfiehlt sich ein Buffer von der Größe der Datei (wenn's unbedingt schnell sein soll und sich keiner um den Speicher kümmert, der da verbraucht wird). |
Was theoretisch gut klingt, jedoch was ist, wenn besagte 10 MB Datei in den Speicher gelesen werden soll und Windows anfängt auszulagern ? Das ergibt dann doppelte Performance .
| Zitat: | | Denn eine Platte kann nicht gleichzeitig lesen und schreiben und ist schneller, wenn sie ständig liest und ständig schreibt, als ruckartig zu lesen und zu schreiben. Also einmal ganze Datei einlese und dannach schreiben. So lastest du auch den Datenbus (IDE/SCSI) besser aus. |
Korrekt, wenn da nicht den Cache einer Platte gibt. Insofern ruckels eh nicht mehr.
| Zitat: | | Wenn du zwei Festplatten hast und von der einen auf die andere kopieren willst, wäre das RAM-Verschwendung und Datenrateverschwendung obendrein. Die eine platte kann nämlich lesen, während die andere schreibt, und wenn sie beide an verschiedenen IDE-Kanälen hängen, werden beide besser ausgelastet. Hier empfehlen sich Buffer, die kleiner als die Datei sind - wesentlich kleiner (1024 KB ist eine schlechte Zahl, 4096 eher, da FAT32 mittlerweile fast überall 4KB-Cluster hat (außer auf Riesenplatten, aber auch noch die Clustergröße auszulesen wäre etwas aufwändig)). |
*bbbrrrr* FAT32. (ja ist ja ok)
| Zitat: | | Dann sind zwei Threads angebracht. Der eine liest. Dann fängt er an, auf die andere Platte zu schreiben. Gleichzeitig fängt der zweite Thread an, von der ersten Platte zu lesen. Ist er damit fertig, wartet er auf den anderen Thread, bis der wieder liest. usw. So ist die eine Platte ständig am Schreiben, während die andere fast ständig am lesen ist (lesen ist oft ein klein wenig schneller, keine Ahnung warum). Der RAM macht das locker mit. Bei heutigen Transferraten von 5 GB/s kümmert es den wenig, ob da ständig einer was von ihm will. |
Nett den Quellcode anzuschauen wie zwei Threads synchronisiert werden. Ob das den Aufwand rechtfertigt?
| Zitat: | | @MSCH: Wer hat denn 2GB RAM auf einem Desktop? Wenn ein Server das hat, gut, eine Workstation, auch noch gut, aber ein Desktop? |
Das sind so die Standardgrößen von Delphi.( Ein String kann so lang sein etc.) war nur als Beispiel gedacht.
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Di 25.02.03 14:55
Titel: Re:
Man kriegt auch mehr als 2GB in den Rechner. Zwar gibt es keine Riegel dafür, aber der Chipsatz macht das mittlerweile mit. Ich glaube der neue VIA-Chipsatz kann 16GB ansprechen. Aber nur ansprechen, daß es noch keine 4GB-Riegel gibt, ist mir klar.
| MSCH hat folgendes geschrieben: |
Sorry, aber schau dir mal (vorausgesetzt dein BS ist W2K) den Taskmanager an. Stichwort physikalischer Speicher. Bei Mir zur Zeit 785908 KB vorhanden, davon 300880 system. Von rumlungern kann da keine Rede sein. Windows ist ganz schön ausverschämt wenn um Speicher geht. |
Ja und? Meine Rede. Wenn du gleich 700 000 MB für dich reservierst, gräbst du dem OS den Speicher weg. Windows kompensiert das zu einem gewissen Bereich mit dem Swap-Speicher (auch Auslagerungsdatei genannt), aber irgendwann ist sowohl Platte, als auch RAM zugemüllt. Außerdem: Swap-Speicher bringt beim on th fly Kopieren überhaupt nix. Im Gegenteil:
Platte liest in Speicher. Speicher ist auf Festplatte also schreibt sie die daten wieder auf sich selbst. Dann liest man aus dem speicher (auf der Festplatte) und schreibt wieder in die Zieldatei. Swap mag zwar schön und gut sein, wenn er auf einer einzelnen Platte ist oder wenn programme das Zeug dynamisch erzeugen, aber wenn die Daten so schon vorliegen (in Form einer vollständigen Datei) bringt's absolut nix.
| Zitat: |
Warum kann ich bei 07 GB Ram 2 GB Beanspruchen ? Ganz einfach, windows lagert aus. Leider kann man nicht vorraussehen, wann das BS anfängt auszulgern.
|
Siehe oben. Es gibt aber Möglichkeiten, die benutzte Größe der Swapdatei zu ermitteln. Das wäre nicht das Problem. Das Problem ist, daß es absolut nix bringt, die Auslagerungsdatei beim Kopieren zu benutzen.
| Zitat: | | Zitat: | | Die Puffergröße hängt aber auch vom Medium ab. Willst du von einer Festplatte auf die gleiche kopieren, empfiehlt sich ein Buffer von der Größe der Datei (wenn's unbedingt schnell sein soll und sich keiner um den Speicher kümmert, der da verbraucht wird). |
Was theoretisch gut klingt, jedoch was ist, wenn besagte 10 MB Datei in den Speicher gelesen werden soll und Windows anfängt auszulagern ? Das ergibt dann doppelte Performance .
|
Siehe oben.
Ich bin in meinem ersten Posting vom Idealfall ausgegangen: Speihcer ist genug vorhanden.
| Zitat: |
| Zitat: | | Denn eine Platte kann nicht gleichzeitig lesen und schreiben und ist schneller, wenn sie ständig liest und ständig schreibt, als ruckartig zu lesen und zu schreiben. Also einmal ganze Datei einlese und dannach schreiben. So lastest du auch den Datenbus (IDE/SCSI) besser aus. |
Korrekt, wenn da nicht den Cache einer Platte gibt. Insofern ruckels eh nicht mehr.
|
Der Cache hat aber auch nur eine bestimmte Größe. Außerdem ist es unsicher, den zu verwenden, denn bei einem Systemabsturz, darf man die Datei wieder kopieren...
Außerdem müssen die Daten ja immer noch von und in den Speicher gelangen...
| Zitat: |
*bbbrrrr* FAT32. (ja ist ja ok)
|
Was? Ich finde auch, daß RFS und überhaupt die JFSs besser aufgebaut sind, aber MS ist nunmal nciht auf so eine geniale Idee gekommen, also muss man nehmen, was man hat. NTFS ist auch nciht besser.
| Zitat: |
| Zitat: | | Dann sind zwei Threads angebracht. Der eine liest. Dann fängt er an, auf die andere Platte zu schreiben. Gleichzeitig fängt der zweite Thread an, von der ersten Platte zu lesen. Ist er damit fertig, wartet er auf den anderen Thread, bis der wieder liest. usw. So ist die eine Platte ständig am Schreiben, während die andere fast ständig am lesen ist (lesen ist oft ein klein wenig schneller, keine Ahnung warum). Der RAM macht das locker mit. Bei heutigen Transferraten von 5 GB/s kümmert es den wenig, ob da ständig einer was von ihm will. |
Nett den Quellcode anzuschauen wie zwei Threads synchronisiert werden. Ob das den Aufwand rechtfertigt?
|
Hier ging's darum, was schneller/performancefördernder ist, oder? Und zwei Threads sind nunmal Performancefördernder, weil sie das System besser auslasten (zumindest wenn zwei Platten dirn sind).
| Zitat: |
| Zitat: | | @MSCH: Wer hat denn 2GB RAM auf einem Desktop? Wenn ein Server das hat, gut, eine Workstation, auch noch gut, aber ein Desktop? |
Das sind so die Standardgrößen von Delphi.( Ein String kann so lang sein etc.) war nur als Beispiel gedacht. |
Das liegt an was anderem.
Schonmal 2^31 gerechnet? Mehr kann nämlich die CPU nicht. In 32 Bit-CPUs ist nichts länger als 32 Bit. Wofür das fehlende Bit noch gebraucht wird, weiß ich nicht, aber wie willst du mit 32 Bit Zahlen mehr als 2 GB addressieren? Wenn du's hinkriegst, ohne zwei Zahlen zu nehmen (die wiederum ein abgewandeltes Management brauchen und außerdem nochmal mehr Speicher brauchen), solltest du damit zu Borland gehen.
Das wäre also der maximale speicher in einer Variable. Aber man kann ja die eine Hälfte der Datei in einen String speichern, und die andere Hälfte in einen anderen String. Daher weiß ich nciht, wie du auf maximal 2 GB für irgendwelche Operationen kommst. In der praxis funkt aber eh MS dazwischen (mal wieder...  ), denn das Verwendet die Addressräume über 2GB (oder waren's 4?) für eigene Angelegenheiten. Mehr als 2GB in einer MS-Maschine gehen also sowieso nicht. Von der Hardware ja, aber keiner kann's benutzen...
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
opfer.der.genauigkeit 
      
Beiträge: 754
Erhaltene Danke: 1
|
Verfasst: Mo 10.10.05 08:39
Raphael O. hat folgendes geschrieben: | | er meinte dass weil o.d.g. gesagt hat, dass er immer den maximal (möglichen) Ram benutzt und der ist ~2Gb... |
o.d.g hat sowas nie gesagt.
o.d.g hat gesagt, dass jemand gesagt hat, dass jemand das macht 
_________________ Stellen Sie sich bitte Zirkusmusik vor.
|
|
|