Für solche Aufgaben, bei denen große Datenmengen verwaltet werden müsen, gibt es schon seit Ewigkeiten Memory Mapped Files. Wenn man jeweils mit 1MB-Windows arbeitet und diese möglichst lange offen halten kann (oder sequentiell das nächste öffnet), dann kann man da sehr viel Performance rausholen und wird vom OS sogar noch durch Read-Ahead und andere Späße unterstützt. Und dank NTFS sind auch Datenmengen bis 16EiB in den RAM zu mappen kein Thema. Nur Windows ist derzeit da auf 16TB limitiert, was aber dennoch knapp 128 * 2^40 Zahlen sind. Sollte also für den Anfang reichen

Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.