| Autor |
Beitrag |
delfiphan
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: Di 30.08.05 18:39
Hallo!
Gibt's ne Möglichkeit beim Programmstart einen möglichst grossen Memoryblock (am Stück!) im Virtuellen Speicher fürs Programm zu ergattern? Bei mir ist der grösste Block leider nur einige hundert MB gross. Ich würde gerne so 1.5GB reservieren (ohne zu committen).
Jemand eine Idee? Danke!
|
|
uall@ogc
      
Beiträge: 1826
Erhaltene Danke: 11
Win 2000 & VMware
Delphi 3 Prof, Delphi 7 Prof
|
Verfasst: Di 30.08.05 18:44
bekommst nur was über VirtualAlloc und da mag 4gb, da aber fürs system schon 2gb reerviert sind bekommste also max nur 2gb
leider sind dann noch paar dlls dazwischen, maximal würd ich sageb bekommste was von 0x00500000 bis 0x70000000
_________________ wer andern eine grube gräbt hat ein grubengrabgerät
- oder einfach zu viel zeit
|
|
delfiphan 
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: Di 30.08.05 18:46
Genau das ist das Problem. Gibt's keine Möglichekeit, dass die am Ende des Speichers geladen werden oder sowas? Freien Speicher hat's genug. Nur nicht am Stück. Kann man evtl. ein "scrollbares" Speicherfenster definieren oder nen neuen, sauberen Process kreieren?
|
|
uall@ogc
      
Beiträge: 1826
Erhaltene Danke: 11
Win 2000 & VMware
Delphi 3 Prof, Delphi 7 Prof
|
Verfasst: Di 30.08.05 18:49
hm ne denk net das das funzt
ich weiß aber nicht wie ne MMF aufgebaut ist vielleicht wird des besser verwaltet, über VirtualAlloc wirste nicht mehr bekommen, aber über MMF denk ich auch nicht
_________________ wer andern eine grube gräbt hat ein grubengrabgerät
- oder einfach zu viel zeit
|
|
delfiphan 
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: Di 30.08.05 18:57
Hmmm. Für das MMF steht ja genau der gleiche virtuelle Speicher zur Verfügung..
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Di 30.08.05 19:17
Du wolltest "scrollbaren" Speicher haben, MMFs bieten dir das. Ein View auf ein File Mapping muss nicht genauso groß sein wie das gesamte Mapping. Und die Größe eines Mappings ist wohl nur durch den Festplattenplatz begrenzt (nicht durch den physikalsichen Speicher), allerdings habe ich noch nie versucht, so große MMFs zu erzeugen
Außerdem vermute ich, daß andere Beschränkungen gelten, wenn das Mapping nicht durch eine physikalische Datei im Dateisystem repräsentiert wird, unter Umständen musst du also eine Datei auf der Festplatte anlegen.
However, allein das Benötigen von 1,5GB Speicher ist oft ein Anzeichen für ein schlechtes System-Design...
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
delfiphan 
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: Di 30.08.05 19:29
tommie-lie hat folgendes geschrieben: | | However, allein das Benötigen von 1,5GB Speicher ist oft ein Anzeichen für ein schlechtes System-Design... |
Das ist mir durchaus bewusst. Ich wollte trotzdem mal nachfragen ob das geht, denn theoretisch gibt's ja überhaupt keine Garantie auf grosse Blöcke (einige hundert MB).
Es geht um ein Programm (bzw. ein Nachfolger davon), welches ich hier irgendwo gepostet habe, welches in der Lage ist, bis zu 24 Audiokanäle gleichzeitig abzuhören und in Echtzeit bekannte Lieder oder Fragmente davon (können einige Sekunden kurz oder auch einige Stunden lang sein) zu loggen. Die Anzahl Lieder, die erkannt werden können ist nur durch das RAM beschränkt. Im Moment ist die Grenze bei ca. 10'000 Liedern.
Die jetzige Implementation macht kleine Fragmente, reserviert also keinen grossen Block. Da man ja aber extra Hardware in der Kiste hat, welche virtuellen Speicher auf den physikalischen Speicher abbildet, würd ich die auch gerne ausnützen. Mit einem Speicherfenster könnte man auch evtl. die 2GB Grenze sprengen.
Am liebsten wär mir auch, wenn der Speicher nicht gepaged wird. Ich will einfach viel, viel Speicher reservieren (falls vorhanden) und den brauchen...
|
|
uall@ogc
      
Beiträge: 1826
Erhaltene Danke: 11
Win 2000 & VMware
Delphi 3 Prof, Delphi 7 Prof
|
Verfasst: Di 30.08.05 19:48
vielleich solltest dann besser auf der festplatte suchen, bei sortierten daten kannste schon mit log(n) suchlaufzeit ausgehen
also anzahl_vergleiche = log(anzahl_elemente) / log (2)
bei 1 mio einträgen reichen dann ca 28 vergleiche (wenn ich mich jetzt nich irre)
_________________ wer andern eine grube gräbt hat ein grubengrabgerät
- oder einfach zu viel zeit
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Di 30.08.05 19:52
delfiphan hat folgendes geschrieben: | | denn theoretisch gibt's ja überhaupt keine Garantie auf grosse Blöcke |
Nope, denn praktisch ist nicht vorhersehbar, wie's in deinem Adressbereich aussieht.
| delpfiphan hat folgendes geschrieben: | | Am liebsten wär mir auch, wenn der Speicher nicht gepaged wird. Ich will einfach viel, viel Speicher reservieren (falls vorhanden) und den brauchen... |
Du kannst es mit MMFs probieren. Evtl sind die Schreibzugriffe gecached, dann sollte Windows solange den Speicher benutzen, bis er voll ist oder du das View entfernst. Gewissheit habe ich aber nicht, du kannst es nur ausprobieren. So ein Verfahren hätte auch gleich die Möglichkeit, daß du bis zur theoretischen Grenze für Dateien im NTFS gehen kannst (also faktisch bis die Festplatte voll ist), und nicht nur höchstens 3GB (32bit-Prozessor unter NT mit einer Option, deren Name mir entfallen ist) allokieren kannst, bzw einen 64bit-Prozessor vorraussetzen musst, wenn man mehr als 3GB braucht.
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
Motzi
      
Beiträge: 2931
XP Prof, Vista Business
D6, D2k5-D2k7 je Prof
|
Verfasst: Di 30.08.05 19:53
Also 1,5GB in einem Stück wirst du wohl kaum finden, da der Adressraum ja auch "fragmentiert" ist. Aber muss es denn ein einziger großer Block sein? Warum nicht mehrer kleinere, man muss sich halt nur ein bestimmtes Verwaltungssystem überlegen.
Wenn du genauer beschreiben würdest was da reinkommen soll könnte man sich auch eine möglichst effektive Art überlegen wie das ganze auf mehrere kleinere Blöcke aufteilen kann.
_________________ gringo pussy cats - eef i see you i will pull your tail out by eets roots!
|
|
delfiphan 
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: Di 30.08.05 20:03
Motzi hat folgendes geschrieben: | Also 1,5GB in einem Stück wirst du wohl kaum finden, da der Adressraum ja auch "fragmentiert" ist. Aber muss es denn ein einziger großer Block sein? Warum nicht mehrer kleinere, man muss sich halt nur ein bestimmtes Verwaltungssystem überlegen.
Wenn du genauer beschreiben würdest was da reinkommen soll könnte man sich auch eine möglichst effektive Art überlegen wie das ganze auf mehrere kleinere Blöcke aufteilen kann. |
Wie gesagt macht die jetztige Implementation schon eine Zerlegung.
Ich wollte nur Möglichkeiten prüfen, um das zu umgehen. Bzw. auch aus allgemeinem Interesse, ob das überhaupt möglich ist. Vor allem auch die Möglichkeit >2GB zu reservieren.
Die Festplatte ist leider nicht genügend schnell, da die Seek-Zeit zu gross ist. Die Festplatte kann vielleicht 100 mal in der Sekunde an eine andere Stelle seeken, viel mehr nicht. Auch wenn ich nur 100 Bytes zu lesen brauch, wenn jedes Byte an einer komplett anderen Stelle ist, geht's nicht.
Was funktioniert ist, ein Memory Stick zu nehmen und dort eine 1GB-Datei draufzuknallen. Wie dem auch sei. Ich wollte nur wissen, ob's möglich ist. Sonst bleibt einfach alles beim alten  Reine Neugierde
Ich schau mir die MMF's mal genauer an.
//Edit:
| MSDN:Address Windowing Extensions: | | AWE allows applications to have data caches larger than 4GB (where sufficient physical memory is present). AWE uses physical nonpaged memory and window views of various portions of this physical memory within a 32-bit virtual address space. |
Klingt vielversprechend!
Anmerkung: Für AWE braucht man Win2000 Pro oder WinXP Pro und man muss dem einzelnen User das Recht "Lock pages in memory" geben.
|
|
delfiphan 
      
Beiträge: 2684
Erhaltene Danke: 32
|
Verfasst: Di 30.08.05 23:01
Die AWEs funktionieren, ich kann den gesamten freien, physikalischen Speicher ungepaged auf einen Schlag bedingungslos für mich reservieren! Yay
Nur kann ich die Grösse des verwendeten Speichers nicht mehr verändern...
tommie-lie hat folgendes geschrieben: | | Du kannst es mit MMFs probieren. |
Sieht auch interessant aus. Ich seh aber hier auch nirgends, wie ich die Grösse verändern könnte (nicht die Grösse des Maps sondern des Files)... Oder hab ich da was übersehn?
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Mi 31.08.05 10:43
delfiphan hat folgendes geschrieben: | | Ich seh aber hier auch nirgends, wie ich die Grösse verändern könnte (nicht die Grösse des Maps sondern des Files)... Oder hab ich da was übersehn? |
Nope, ein File Mapping hat eine statische Größe. Die kann zwar größer sein als die physikalische Datei dahinter (dann wird diese vergrößert), aber du kannst nicht über die Größe des Mappings hinaus per View auf die Datei zugreifen (wird die Datei durch normale Dateioperationen größer, ist der Teil, der über das Mapping hinausragt einfach nicht über das Mapping zugänglich).
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|