Was erwartest du denn, wenn du die Datei komplett lädst? Dabei werden eben große Datenmengen benötigt, insbesondere bei einem RichEdit. Wenn du das ganze schneller machen willst, dann bleibt nur, dass du dich selbst darum kümmerst, dass immer nur der aktuelle Teil der Datei geladen wird.
So etwas geht zum Beispiel mit MMFs recht gut.
Das ist aber nichts was man mal eben so erledigt, das ist erstens nicht trivial und zweitens sehr viel Aufwand. Mit den Standardbefehlen usw. (hier Lines.LoadFromFile) kommst du da jedenfalls nicht weit.
