Autor Beitrag
MH Solutions.inc
Hält's aus hier
Beiträge: 4

WIN 3.1, WIN 95, WIN 98, WIN XP
D7
BeitragVerfasst: Mi 10.11.04 17:39 
Hi,
mal ne Frage, ich mag ein Programm schreiben, dass eine Textdatei von ca. 10-20 MB ausließt. Das ganze soll folgendes machen:
Zitat:
text.txt
abcd
sdfg
sdf
def
sdf
xyz
xyz
abcd

Diese Datei (in Wirklichkeit natürlich viel größer) soll ausgelesen und auf doppelte Begriffe überprüft werden. (Jeder steht in eienr Extra Zeile)
Das einfachste ist natürlich:
1. Wort auslesen, mit 2. prüfen, 3...., 4.....,.... (Wenn Wort gleich, dann Zeile löschen)
2. Wort auslesen, mit 3. prüfen, 4......,....

So, da die Datei recht groß ist, weiß ich nciht, mit was ich arbeiten soll, es gäbe da Dynamsiche Arrays, es gäbe die Möglichkeit einfach nur den derzeitigen Wert einlesen und dann gleich zu schreiben. Wenn jemand ne effizientere Idee hat, bitte sagen.
Wegen der Ausleseart bin cih mir auch ncoh unsicher, soll ich AssignFile und dann ReadLN nehmen oder soll ich das ganze mit FileStreams machen. (Ich hab hier in nem Beitrag was von BlockRead gelesen, das kenn cih allerdings nicht...)


Marius
.Chef
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 1112



BeitragVerfasst: Mi 10.11.04 17:43 
Nimm "TStringList.LoadFromFile". Dann ist die Verwaltung der Einträge zumindest einfach. Ob es schnell genug ist, musst du selbst beurteilen. Aber so ist erstmal die bei weitem einfachste Lösung.

Gruß,
Jörg

_________________
Die Antworten auf die 5 häufigsten Fragen:
1. Copy(), Pos(), Length() --- 2. DoubleBuffered:=True; --- 3. Application.ProcessMessages bzw. TThread --- 4. ShellExecute() --- 5. Keine Vergleiche von Real-Typen mit "="!
MH Solutions.inc Threadstarter
Hält's aus hier
Beiträge: 4

WIN 3.1, WIN 95, WIN 98, WIN XP
D7
BeitragVerfasst: Mi 10.11.04 18:05 
Danke erstmal, weißt du, wieviel RAM das dann ca. verbruacht? verbraucht das bei 20 MB Textdatei auch nur 20 MB RAM?

Marius
.Chef
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 1112



BeitragVerfasst: Mi 10.11.04 18:08 
In etwa. Etwas Verwaltungsüberschuss wird dabei sein. Wenns aufs einzelne Byte ankommt, musst du's mal messen. :nixweiss:

_________________
Die Antworten auf die 5 häufigsten Fragen:
1. Copy(), Pos(), Length() --- 2. DoubleBuffered:=True; --- 3. Application.ProcessMessages bzw. TThread --- 4. ShellExecute() --- 5. Keine Vergleiche von Real-Typen mit "="!
MH Solutions.inc Threadstarter
Hält's aus hier
Beiträge: 4

WIN 3.1, WIN 95, WIN 98, WIN XP
D7
BeitragVerfasst: Mi 10.11.04 18:27 
Ne, passt ganz gut, cih dachte, es wäre einiges mher, also Danke erstmal, ich probiers mal aus, dann meld ich mcih wieder.

Marius
MH Solutions.inc Threadstarter
Hält's aus hier
Beiträge: 4

WIN 3.1, WIN 95, WIN 98, WIN XP
D7
BeitragVerfasst: Sa 13.11.04 11:23 
So, Ich bedank mich mal ganz herzlich.
War mir eine Sehr große Hilfe.
Glücklicherweise hatte Delphi so ne Funktion, das Programm wurde schon im Extremfall getestet.
Eine 67 MB große Datei wurde damit durchgelesen, der Rechner hat 7 Stunden gerattert^^.
Aber es hat einwandfrei funktioniert. Hinterher hatte die Datei ncoh 60 MB ungefähr.

Marius
AXMD
ontopic starontopic starontopic starontopic starontopic starontopic starofftopic starofftopic star
Beiträge: 4006
Erhaltene Danke: 7

Windows 10 64 bit
C# (Visual Studio 2019 Express)
BeitragVerfasst: Sa 13.11.04 11:38 
7 Stunden :shock: ? Solang dürfte er nichtmal brauchen, wenn die Datei 2 GB groß ist. Oder liegts vielleicht an dem Algo, den du zum Entfernen der doppelten Einträge benutzt... Welchen Algo verwendest du?

AXMD

Das ließe sich bestimmt auf eine Minute verkürzen
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Sa 13.11.04 19:49 
Tipp:
1. BeginUpdate\EndUpdate
2. Wenn möglich Datei vorher sortieren. Dann brauchst du nur zwei aufeinanderfolgende Elemente zu prüfen und das zweite Löschen, wenn die Elemente gleich sind.

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.