| Autor |
Beitrag |
wulfskin
      
Beiträge: 1349
Erhaltene Danke: 1
Win XP
D5 Pers (SSL), D2005 Pro, C, C#
|
Verfasst: Do 30.12.04 20:33
Hallo,
ich schreibe gerade ein Programm, dass Dateien analysiert die auch Unicode-Strings enthalten. Leider komm ich damit nicht ganz klar, denn Sonderzeichen wie ü, ä usw. werden nicht richtig dargestellt.
Nun würde ich gerne wissen, wie ich nullterminierte Widestrings aus einem Stream laden kann, wobei ich die Anfangsposition kenne und weiss, dass sie mit einem 0-Zeichen enden.
Mein Ansatz war bis jetzt folgender: Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18:
| function TMyFileStream.ReadNTWideString: WideString; var B: Byte; W: WideChar; begin Result := ''; Read(B, SizeOf(B)); while (B <> 0) do begin if B > 127 then begin Seek(-1, soFromCurrent); Read(W, SizeOf(W)); Result := Result + W; end else Result := Result + WideChar(B); Read(B, SizeOf(B)); end; end; | Kann mir jemand sagen, was ich falsch mache oder mir einfach einen besserer Lösungsweg aufzeigen?
Mit freundlichen Grüßen,
Hans-Peter
_________________ Manche antworten um ihren Beitragszähler zu erhöhen, andere um zu Helfen.
|
|
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1
|
Verfasst: Do 30.12.04 20:36
Mit was stellst du denn die Zeichen dar? Die standard VCL Komponenten sind alle nicht Unicode fähig.
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Do 30.12.04 21:07
Ich verstehe nicht so ganz, was du da machst
if B > 127 then beginWas soll diese Abfrage? Ich vermute, daß du so versuchst zu erkennen, ob es ein UTF-16-Zeichen ist, leider haut das aber so nicht hin, denn ANSII-Zeichen nutzen den gesamten Range eines Bytes, so ist z.B. in der Schriftart MS Sans Serif an der Stelle 128 das Euro-Zeichen, oder bei 181 das griechische My.
Unicode-Textdateien haben normalerweise einen sogenannten Unicode-Identifier, bestehend aus zwei Byte, mit dem Wert $FFFE (bei Big Endian $FEFF). Ob diese in deinem Stream vorliegen, weiß ich natürlich nicht. Wenn du sicher bist, daß es Unicode-Zeichen sind, kannst du sie so lesen:
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9:
| function TMyFileStream.ReadNTWideString: WideString; var w: WideChar; begin repeat Read(w, SizeOf(WideChar)); Result := Result + w; until Word(w) = 0; end; | Es sollte dir aber bewusst sein, daß es nicht clever ist, einen WideString iterativ zu vergrößern. Ein Ausweg wäre das vorherige komplette Scannen des Strings (um zuerst die Länge herauszufinden und den String entsprechend zu allokieren), oder eine verkettete Liste, in die du zunächst die Zeichen einliest und die Länge der Liste speichers. Anschließend kannst du dann die Liste komplett in den vollständig allokierten String kopieren.
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
BenBE
      
Beiträge: 8721
Erhaltene Danke: 191
Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
|
Verfasst: Do 30.12.04 23:53
Aus Performance-Gründen würde ich aber folgenden Tipp geben:
Read von einzelnen Zeichen ist Null-Performance^Maximum ...
Besser ist es da, jeweils einen Block, von sagen wir 512 Bytes zu lesen, an den WideChar anzuhängen (nachdem wir sie mit Realloc reserviert haben) und dann zu prüfen wo das Terminator-Zeichen steht. Danach noch Per Pointer-Arithmetik die Größe im Speicher ermitteln und diese Größe + Ausgangsposition im Stream als neue Datei-Position einzutragen.
Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12:
| AP := Stream.Pos; Size := 0; StrPos := 0; PWC := nil; Repeat Inc(Size, 512); PWC := Realloc(PWC, Size); PWC2 := PWideChar(Integer(PWC) + StrPos); RdSize := Stream.Read(PWC2, 512); Suchen, Wo Nullterminator steht, solnage im reservierten Speicherbereicht gesucht wird. Until NullTerminatorFound; PWC := Realloc(PWC, StrPos); |
_________________ Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
|
|
wulfskin 
      
Beiträge: 1349
Erhaltene Danke: 1
Win XP
D5 Pers (SSL), D2005 Pro, C, C#
|
Verfasst: Fr 31.12.04 00:36
| Luckie hat folgendes geschrieben: | | Mit was stellst du denn die Zeichen dar? Die standard VCL Komponenten sind alle nicht Unicode fähig. |
Zunächst einmal versuche ich nur Zeichen wie ä und ü richtig darzustellen. Dazu brauch ich dann keine Komponente die das kann. Später werde ich dann die Zeichen in einer VirtualTreeView darstellen, die Unicode unterstützt.
| tommie-lie hat folgendes geschrieben: | | Ich verstehe nicht so ganz, was du da machst [...]. |
Ich hatte bis jetzt noch nie mit Unicode Strings gearbeitet und habe deshalb keinen blasen Schimmer davon. Habe deshalb mich nur ein bisschen darüber schlau gemacht und da hab ich sowas in der Art gefunden. Die Strings die in der Datei sind, sind gemischt aus AnsiChars und WideChars, dass merke ich daran, dass alle Zeichen korrekt dargestellt werden, bis auf die Sonderzeichen, die dann Unicode codiert werden. Deshalb klappt leider dein Beispiel bei mir auch nicht.
| BenBe hat folgendes geschrieben: | | Besser ist es da, jeweils einen Block, von sagen wir 512 Bytes zu lesen [...] |
Danke für den Tipp. Werde ich auch machen, wenn ich mal verstanden habe, wie ich die "Decodierung" nun vorgenommen wird. Bis jetzt war das ganze ja nur zu Testzwecken.
Danke für eure Hilfe. Vielleicht habt ihr ja noch eine Idee, wie ich vorgehen muss. Ansonsten wäre es schon Hilfreich, wenn ich genau wüsste, nach welcher Art Literatur ich schauen müsste!
Gruß Hape!
_________________ Manche antworten um ihren Beitragszähler zu erhöhen, andere um zu Helfen.
|
|
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1
|
Verfasst: Fr 31.12.04 01:24
| wulfskin hat folgendes geschrieben: | | Luckie hat folgendes geschrieben: | | Mit was stellst du denn die Zeichen dar? Die standard VCL Komponenten sind alle nicht Unicode fähig. | Zunächst einmal versuche ich nur Zeichen wie ä und ü richtig darzustellen. Dazu brauch ich dann keine Komponente die das kann. Später werde ich dann die Zeichen in einer VirtualTreeView darstellen, die Unicode unterstützt.
|
Ich glaube nicht, dass das was ändert Unicode ist Unicode und wenn die VCL Komponenten dies nicht unterstützen, dann wirst du auchmit deutschen Umlauten kein Glück haben.
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Fr 31.12.04 11:51
| wulfskin hat folgendes geschrieben: | | Die Strings die in der Datei sind, sind gemischt aus AnsiChars und WideChars, dass merke ich daran, dass alle Zeichen korrekt dargestellt werden, bis auf die Sonderzeichen, die dann Unicode codiert werden. |
Sicher, daß es Unicode ist, und nicht einfach nur ein anderes Charset, z.B. UTF-8 (8bit-Unicode)?
Denn irgendwie wüsste ich nicht, wie man ANSI- und Unicode-Zeichen so mischen kann, daß man sie auseinanderhalten kann. Ein UTF16-Zeichen sind immerhin auch nur 2 Byte hintereinander, die jeden beliebigen Wert haben können, wie will man rauskriegen, ob die beiden nun zusammengehören, oder ob es zwei getrennte Unicode-Zeichen sind?
Komisches Format deins... 
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
wulfskin 
      
Beiträge: 1349
Erhaltene Danke: 1
Win XP
D5 Pers (SSL), D2005 Pro, C, C#
|
Verfasst: Fr 31.12.04 13:17
| tommie-lie hat folgendes geschrieben: | Sicher, daß es Unicode ist, und nicht einfach nur ein anderes Charset, z.B. UTF-8 (8bit-Unicode)?
Denn irgendwie wüsste ich nicht, wie man ANSI- und Unicode-Zeichen so mischen kann, daß man sie auseinanderhalten kann. |
Nein, ich bin mir nicht sicher, denn das mit dem UTF-8 Zeichensatz klingt mir einleuchtend. Wie kann ich den einen UTF8-Zeichensatz in einen gewöhnlichen Zeichensatz umwandeln?
Danke das ihr geduld mit mir habt und schönes feiern!
Gruß Hape!
_________________ Manche antworten um ihren Beitragszähler zu erhöhen, andere um zu Helfen.
|
|
Luckie
Ehemaliges Mitglied
Erhaltene Danke: 1
|
Verfasst: Fr 31.12.04 13:26
Dafür gibt es in der Unit SysUtils eine Funktion.
|
|
wulfskin 
      
Beiträge: 1349
Erhaltene Danke: 1
Win XP
D5 Pers (SSL), D2005 Pro, C, C#
|
Verfasst: Fr 31.12.04 16:05
| Luckie hat folgendes geschrieben: | | Dafür gibt es in der Unit SysUtils eine Funktion. |
Ich denke du meinst UTF8Decode. Leider gibt es diese Funktion nicht für Delphi 5 oder irre ich mich da?!
Gruß Hape!
_________________ Manche antworten um ihren Beitragszähler zu erhöhen, andere um zu Helfen.
|
|
Dezipaitor
      
Beiträge: 220
|
Verfasst: Mo 31.10.05 20:55
Hi, ich weiß, der Beitrag ist alt, aber wohl noch nicht ganz beantwortet.
Schaut euch mal meine Funktionen zum Laden und Speichern an:
Habs nun schon ne Weile ausprobiert, sowie den Speicher angeschaut und keine Probleme festgestellt.
Allerdings könnte es noch zu Speicherverletzungen kommen. Also keine Gewähr.
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23:
| procedure ReadWideString(Stream : TStream; out text : WideString); var d : Integer; c : WideChar; begin text := ''; Stream.Read(d,sizeof(Integer)); if (d > 0) then begin SetLength(Text,d);
FillChar(PWideChar(Text)^,Length(Text)*2,#0);
Stream.Read(PWideChar(Text)^,d*2); end; end;
procedure WriteWideString(Stream : TStream;Text : WideString); var d : Integer; begin d := Length(Text); Stream.Write(d,sizeof(Integer)); Stream.Write(PWideChar(Text)^,Length(Text)*2); end; |
|
|
BenBE
      
Beiträge: 8721
Erhaltene Danke: 191
Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
|
Verfasst: Mo 31.10.05 21:15
@Dezipaitor: Deine Version des Sources funktioniert nur für Pascal-Style-WideStrings ... In diesem Thread ging es jedoch um Nullterminierte WideStrings. Und für die gibt es (leider) bei Nutzung von Streams nur Möglichkeiten über Zeichenanalyse das Ende zu finden, was ein Problem aller ANSIZ \UNICODEZ Strings ist.
_________________ Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
|
|
Dezipaitor
      
Beiträge: 220
|
Verfasst: Mo 31.10.05 22:19
Das ist wohl nicht weiter schlimm. Als ich auf das Problem stieß (denn es geht ja nicht sooo einfach),
suchte ich hier nach "widestring stream" und kam sofort auf dieses Thema.
Als wer WideString in Streams speichern und lesen möchte, kann dies auch so tun.
|
|
wulfskin 
      
Beiträge: 1349
Erhaltene Danke: 1
Win XP
D5 Pers (SSL), D2005 Pro, C, C#
|
Verfasst: Di 01.11.05 11:49
Hallo,
vielleicht kurz zur Aufklärung (Jahre später  ). Es ging um das Spiel Warcraft III und um die "Auswertung" des Chat-Logs. Es hat sich tatsächlich herausgestellt, dass die Strings im Format UTF-8 codiert wurden und da ich jetzt Delphi 2005 habe (gewonnen auf den Delphi-Tagen), kann ich sie auch wunderbar mit UTF8Decode entschlüsseln.
Kann mir bitte jemand das Beispiel von BenBe für ReadNTString fertigschreiben, weil ich keine Ahnung von Zeigerarithmetik habe und nicht verstehe wie ich bei Zeigern nach dem 0 am Ende schaue. Wäre wirklich freundlich (normal bitte ich nicht um so etwas...)!
Gruß Hape!
_________________ Manche antworten um ihren Beitragszähler zu erhöhen, andere um zu Helfen.
|
|
|