Autor Beitrag
Ace67
Hält's aus hier
Beiträge: 2



BeitragVerfasst: Mo 03.05.04 15:31 
hallo erstmal.

mein problem: ich muß aus einer tabelle in einer oracle-db etwa 2 mio. datensätze in eine textdatei schreiben (um sie dann innerhalb delphis weiter zu verarbeiten und letztlich an die db in eine andere tabelle zurückzugeben). um nicht aus dem addressierbaren speicherbereich heraus zu fallen, teile ich die gesamte menge in 10.000er-blöcke auf.
für die ersten 10.000 datensätze brauche ich ca. 10 s, für die zweiten 18 s, die dritten 30 s, die vierten 42 s ... bei block 14 brauche ich schon knapp 6 min. es scheint, daß jeder neue block die ursprünglichen etwa 10 s plus der zeit des vorhergehenden blockes benötigt. wieviel zeit ich bei dieser methode für den 200. und damit letzten block benötige, möge sich jeder interessierte selbst ausrechnen.

hat jemand eine schlaue idee, wie ich diesem problem begegnen kann?
JoelH
ontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic starofftopic star
Beiträge: 806
Erhaltene Danke: 17

Win10
Delphi Alexandria 11.2 Patch 1
BeitragVerfasst: Mo 03.05.04 15:54 
Titel: hmm,
kann ich mal die Query sehen und wie du das in die Textdatei schreibst ? Am besten die ganze Funktion.

Wenn ich sowas mache dann schreib ich von der Query in eine Memobox und speichere diese via SaveToFile, ist relativ einfach und auch schnell.

_________________
mfg. Joel
tommie-lie
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 4373

Ubuntu 7.10 "Gutsy Gibbon"

BeitragVerfasst: Mo 03.05.04 15:57 
Hallo und :welcome: im DF Ace67,

Ich habe deinen Doppelpost aus der Dateisystem-Sparte entfernt. Doppelposts sind, wie jede andere Art des "Vordrängelns" bei uns unerwünscht und somit untersagt.



Ansonsten bräuchte man mehr Quellcode um dein Problem zu lösen, z.B. die Queries und den Code, der die Queries in die Textdatei(en) schreibt...

_________________
Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
Ace67 Threadstarter
Hält's aus hier
Beiträge: 2



BeitragVerfasst: Mo 03.05.04 16:05 
ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
34:
35:
36:
37:
38:
39:
40:
41:
42:
43:
44:
45:
46:
47:
48:
49:
50:
51:
52:
53:
54:
55:
56:
57:
58:
59:
60:
61:
62:
63:
64:
65:
66:
67:
68:
69:
70:
71:
72:
73:
74:
75:
76:
77:
procedure TThreadP05CreateInputFiles.createAccLocFile();
var
  i       : Int64;
  ln      : string;
  fName   : String;
  mySQL   : Widestring;
  Ausgabe : Textfile;
begin
  AddLogMsg(0,120,false,'Start: createAccLocFile()');
  i := -1;

  try
    AddLogMsg(0,120,false,'Datenbankabfrage für Location wird gestartet!');

    mySQL := 'select acct_location_id, address1, city, ' +
             'upper(trim(hausnr)) as hausnr, '+
             'upper(trim(hausnr_zu)) as hausnr_zu, '+
             'postal_code_id, soundex(address1), soundex(city), soundex(hausnr) '+
             'from account_location where duploc=0 '+
             'order by soundex(city), soundex(address1), 1';

    AddLogMsg(2,120,false,'SQL Statement: '+ mySQL);

    DataModuleAxentForm.ADODS_P05_CreateFiles.CommandText := mySQL;
    DataModuleAxentForm.DS_P05_CreateFiles.DataSet := DataModuleAxentForm.ADODS_P05_CreateFiles;

    with DataModuleAxentForm.DS_P05_CreateFiles.DataSet do
    begin
      Active := true;
      First();
    end;
    AddLogMsg(0,120,false,'Datenbankabfrage für Location erfolgreich beendet!');
  except
    on E: Exception do
      AddLogMsg(0,120,true,'FATALERROR on get DB Data!: ' + E.Message);
  end;

  //Datei erstellen und öffnen
  fName := PFAD_UNDO + ACCLOC_FN_NEW;
  AddLogMsg(1,120,false, fName + ' -> Erstelle Datei!');
  AssignFile(Ausgabe, fName);
  Rewrite(Ausgabe);

  AddLogMsg(0,120,false, fName + ' -> Starte schreiben in die Datei!');
  while not DataModuleAxentForm.DS_P05_CreateFiles.DataSet.Eof do
  begin
    with DataModuleAxentForm.DS_P05_CreateFiles.DataSet do
    begin
      inc(i);
      ln:= FieldByName('ACCT_LOCATION_ID').AsString +'|' +
           FieldByName('ADDRESS1').AsString + '|' +
           FieldByName('CITY').AsString + '|' +
           FieldByName('HAUSNR').AsString + '|' +
           FieldByName('HAUSNR_ZU').AsString + '|' +
           FieldByName('POSTAL_CODE_ID').AsString + '|' +
           FieldByName('SOUNDEX(ADDRESS1)').AsString + '|' +
           FieldByName('Soundex(CITY)').AsString + '|' +
           FieldByName('Soundex(HAUSNR)').AsString;
      Next();
    end;

    try
      writeln(Ausgabe, ln);
    except
      on E: Exception do
        AddLogMsg(0,120,true, fName +
                        ' -> WARN: Error on write Data to file!: ' + E.Message);
    end;
  end;
  AddLogMsg(0,120,false, fName + ' -> Datensätze insgesamt geschrieben = ' + inttostr(i));

  DataModuleAxentForm.DS_P05_CreateFiles.DataSet.Active:= false;
  AddLogMsg(2,120,false, fName + ' -> Schliesse Datei!');
  Closefile(Ausgabe);
  AddLogMsg(1,120,false, fName + ' -> Beende schreiben in die Datei!');
  AddLogMsg(0,120,false,'End: createAccLocFile()');
end;
lubo37
Hält's aus hier
Beiträge: 14

Win 95, Win 98, Win 2K WS/SV, XP Home+Prof
D1- D6 EE, D7/ AR, D8 AR, K3
BeitragVerfasst: Do 06.05.04 11:14 
Titel: Wo sind denn die 10.000er Happen ?
Hallo,

wenn die Datensätze für die 10.000er Unterteilung jeweils in einer
Schleife gelesen werden und nur geschrieben wird,
wenn ein Zähler im gewünschten 10.000 Block sitzt, dann
muss die DB tatsächlich alle vorherigen Datensätze lesen, was
die Verlängerungen erklären würde.

Welches Problem gibt es mit dem Speicher ?
Beim Schreiben der CVS-Dateien jedenfalls keins.

Gruß
Lutz Bodes