Autor Beitrag
Agawain
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 460

win xp
D5, MySQL, devxpress
BeitragVerfasst: Mo 05.11.07 14:24 
hi

ich habe eine Routine geschrieben, die die angehängte Datei in meine Datenbank importiert. Das funktioniert auch soweit, muß noch die Lieferantenprüfung einfügen und abfangen, wenn es eine ungültige Jahreszahl ist.

Grob gesagt, die Spalten werden jeweils nach nichtleer gefiltert und
in ein 2. Arbeitsblatt kopiert, dort werden dann alle Zellen durchlaufen.

So, nun dauert der Import aber ca. 2 min, je nach Füllstand der Datei, hier sind es 505 Datensätze.
Da das aber mit 150 - 200 Dateien gemacht wird, kann man nebenbei Pulloverstricken :wink:.
Ne, da er alle Dateien in einem Verzeichnis verarbeiten kann und keine Benutzereingaben erforderlich sind, könnte das Ganze auch Nachts, oder nebenbei laufen.

Trotzdem würde ich gerne noch ein paar Sekunden rauskitzeln.

Es ist klar, daß hier vor allem das Verifizieren der Artikelnummer auf die Bremse tritt.
ArtikelNr ist übrigens in der Stammdaten-Tabelle indiziert.

Hab schon daran gedacht, Locate durch FindKey zu ersetzen, weil ich gelesen hab, dass ab Delphi5 locate anders implementiert ist, aber die Hilfe von MyDAC sagt dazu, daß man Locate den Vorzug geben sollte, weil FindKey nur noch aus BDE-Kompitabilitätsgründen da wäre.

Hat irgendjemand eine Idee, wie man der Sache noch auf die Sprünge helfen könnte?

ausblenden volle Höhe Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
19:
20:
21:
22:
23:
24:
25:
26:
27:
28:
29:
30:
31:
32:
33:
34:
35:
36:
37:
38:
39:
40:
41:
42:
43:
44:
45:
46:
47:
48:
49:
50:
51:
52:
53:
54:
55:
56:
57:
58:
59:
60:
61:
62:
63:
64:
65:
66:
67:
68:
69:
70:
71:
72:
73:
74:
75:
76:
77:
78:
79:
80:
81:
82:
83:
84:
85:
86:
87:
88:
89:
90:
91:
92:
93:
94:
95:
96:
97:
98:
99:
100:
101:
102:
103:
104:
105:
106:
107:
108:
109:
procedure ImportiereDatei(Dateiname: String; i: integer);
var

b : Variant;
GamNr : integer;
Buchungsmonat : integer;
BuchungsJahr: integer;
col, Row : integer;
Lieferant: array [0..6] of integer;
result: boolean;


begin

   SendMessage(f_absatz.WindowHandle, wm_SetRedraw, 0, 0);
   Excel.Workbooks.Open(DateiName);
   GamNr := excel.sheets['Quartalsdatei'].cells[2,2].value;
   if not f_start.myq_gam.Locate('GAMNr', GamNr, []) then
      begin
        Showmessage('GAM ist nicht angelegt oder fehlerhaft' + #13#10 + 'Datei wird nicht verabeitet');
        f_start.myq_importfehler.insert;
        f_start.myq_importfehler.fieldvalues['FehlerNr'] := 1;
        f_start.myq_importfehler.fieldvalues['Datei'] := Dateiname;
        f_start.myq_importfehler.fieldvalues['Grund'] := 'GAM fehlerhaft, Datei wird nicht verarbeitet';
        f_start.myq_importfehler.post;
        Excel.Workbooks.Close(DateiName);
        exit;
      end;

   Buchungsmonat := excel.sheets['Quartalsdatei'].cells[2,8].value;

   Case Buchungsmonat of
     1: Buchungsmonat := 3;
     2: Buchungsmonat := 6;
     3: Buchungsmonat := 9;
     4: Buchungsmonat := 12;
   else
      begin
        Showmessage('kein korrektes Quartal angegeben,' + #13#10 + 'Datei wird nicht verarbeitet');
        f_start.myq_importfehler.insert;
        f_start.myq_importfehler.fieldvalues['Datei'] := Dateiname;
        f_start.myq_importfehler.fieldvalues['Grund'] := 'falsches Quartal';
        f_start.myq_importfehler.fieldvalues['FehlerNr'] := 2;
        f_start.myq_importfehler.post;
        Excel.Workbooks.Close(DateiName);
        exit;
      end;
   end; //Case
   Buchungsjahr  := excel.sheets['Quartalsdatei'].cells[2, 9].value;
   Excel.Sheets.Add;
   excel.sheets['Quartalsdatei'].activate;
   for col := 0 to 6 do begin
      if Vartype(Excel.sheets['Quartalsdatei'].cells[3, 6 + col].value) = varDouble  then
        Lieferant[col] := Excel.sheets['Quartalsdatei'].cells[3, 6 + col].value + 5000;
   end;
   for col := 0 to 6 do
   begin
   if Lieferant[col] > 5000 then
      begin
         Excel.sheets['Quartalsdatei'].activate;
         Excel.Sheets['Quartalsdatei'].cells[1,1].Select;
         If Excel.ActiveSheet.Filtermode then
              Excel.ActiveSheet.ShowAllData;
         Excel.Selection.Autofilter(Field := col + 6, Criteria1 := '<>');
         B := Excel.Sheets['QuartalsDatei'].Autofilter.Range;
         Excel.CutCopyMode := False;
         B.Copy;
         excel.sheets[1].activate;
         Excel.Sheets[1].cells[1,1].Select;
         Excel.ActiveSheet.Paste;
         for row := 3 to Excel.selection.Rows.Count do
            begin
               result := f_start.myq_artikel.locate('ArtikelNr', Excel.Selection.cells[row, 4].value, []);
               if result then
                  begin
                     f_start.myq_absatz.insert;
                     f_start.myq_absatz.fieldvalues['Erfassungsjahr'] := Buchungsjahr;
                     f_start.myq_absatz.fieldvalues['Erfassungsmonat'] := Buchungsmonat;
                     f_start.myq_absatz.fieldvalues['Lieferant'] := Lieferant[col];
                     f_start.myq_absatz.fieldvalues['ArtikelNr'] := Excel.Selection.cells[row, 4].value;
                     f_start.myq_absatz.fieldvalues['AnzahlIst'] := Excel.Selection.cells[row, 5 + col].Value;
                     f_start.myq_absatz.fieldvalues['GAMNr'] := GamNr;
                     f_start.myq_absatz.post;
                  end
                else
                  begin
                    f_start.myq_importfehler.insert;
                    f_start.myq_importfehler.fieldvalues['FehlerNr'] := 3;
                    f_start.myq_importfehler.fieldvalues['Buchungsmonat'] := Buchungsmonat;
                    f_start.myq_importfehler.fieldvalues['Buchungsjahr'] := Buchungsjahr;
                    f_start.myq_importfehler.fieldvalues['GAMNr'] := GamNr;
                    f_start.myq_importfehler.fieldvalues['GFGHNr'] := Lieferant[col];
                    f_start.myq_importfehler.FieldValues['ArtikelNr'] := Excel.Selection.cells[row, 4].value;
                    f_start.myq_importfehler.fieldvalues['Kisten'] := Excel.Selection.cells[row, 5 + col].Value;
                    f_start.myq_importfehler.fieldvalues['DateiName'] := DateiName;
                    f_start.myq_importfehler.fieldvalues['Grund'] := 'Artikelnummer nicht gefunden. Satz wurde nicht verarbeitet';
                    f_start.myq_importfehler.post;
                  end;
           end;
           Excel.Sheets[1].cells.select;
           Excel.Selection.ClearContents;
         end;
       end;
    f_absatz.cxChecklistBox1.Items[i].Checked := true;
    SendMessage(f_Absatz.WindowHandle, wm_SetRedraw, 1, 0);
    RedrawWindow(f_absatz.WindowHandle, nil, 0, RDW_INVALIDATE or RDW_ALLCHILDREN or RDW_UPDATENOW);
    application.ProcessMessages;

end;
Einloggen, um Attachments anzusehen!
_________________
Gruß Aga


Zuletzt bearbeitet von Agawain am Di 06.11.07 01:03, insgesamt 1-mal bearbeitet
Alpha_Wolf
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 297

Ubuntu, Win XP, Win Vista
C#, Delphi 6 Prof, Delphi 2007 Prof, Java
BeitragVerfasst: Mo 05.11.07 14:33 
So mal auf die schnelle und ohne deinen Quellcode genau angesehen zu haben würde ich sagen..

Transaktionen:
Probiers einfach.. denn ich denke mal das der Flaschenhals hier eher die Verbindung zur DB ist. Besonders zu empfehlen sind Transaktionen auch deshalb, da falls während des Imports ein Fehler auftritt ein Rollback durchgeführt werden kann und somit keine fehlerhaften (Teil) Daten in die DB geschrieben werden.
Suche in: Delphi-Forum, Delphi-Library TRANSAKTIONEN

Application.ProcessMessages:
Es sind zwar nur ms aber ProcessMessages verlangsamt das ganze schon arg da es jedes mal aktualisieren muss.

EDIT:
Achja und dein Redraw etc. diese Sachen kosten Zeit.. also wenn nicht unbedingt nötig.. raus damit.

Hoffe das hilft ein wenig ;)

_________________
Diskutiere nie mit einem Irren - er zieht dich auf sein Niveau und schlägt dich mit seiner Erfahrung.
Agawain Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 460

win xp
D5, MySQL, devxpress
BeitragVerfasst: Di 06.11.07 01:30 
jo, hi, danke

das redraw bringt hier nix, beim Aufbau der Listbox beim Verzeichniseinlesen, leistet es wertvolle Dienste, aber da das Fenster während der Verarbeitung eh keine Aktualisierungen erhält und wenn Fenster von anderen Programmen über den Client-Bereich drüberfahren, auf dem Client-Bereich lustig draufrummalen, sieht es genauso *besch... aus wie mit dem redraw.

Also eines schon mal, hatte die Tabelle versehentlich als MySQLISAM, da mir zumindest subjektiv INNODB schneller vorkommt, werd ich das als erstes mal mit INNODB testen...so nach meiner Schätzung war nämlich eingentlich eine Minute für die Chose angestrebt.

Hab noch ein paar mögliche Hebelansätze gefunden...
zum einen an den DB-ini-Einstellungen rumspielen, der Server, auf dem die DB läuft, hat in der Hauptsache Fileserving-Aufgaben und halt die DB und läuft mit Standardeinstellungen.
Mal probieren, ob buffering von mehr als 16 mb was bringt, glaubs in dem Fall eher fast nicht, weil die paar integers sind echt nicht die Welt. Werd ihm mal vorsichtige 100 mb gönnen.

Das wären dann 10 % des RAM ca., wenn sich das bemerkbar macht, kriegt er mehr.

Den Gedanken mit den Transactionen werd ich auch aufgreifen, wobei mir immer noch nicht klar ist, ob mydac bei Einzelsatzverarbeitung nicht implizit mit Transaktionen arbeitet, muss ich mal testen.

Dann, ich verwende fieldvalues, das sind Variant-Typen, könnt sein, dass wenn ich mit typisierten Feldtypen arbeite Konvertierung und Prüfung an irgendeiner Stelle entfällt, da versprech ich mir sogar im Moment am meisten von.

Und als ultima ratio hab ich von mydac noch cached update, aber das ist mir ein bissel suspect.
Widerspricht irgendwie meinem Cobol-inherited :wink:

So und da das Ganze wohl doch mehr mit Datenbanken, als mit Excel zu tun hat, wär denn ein geneigter Mod so lieb, das ganze in die entsprechende Rubrik zu verschieben?

Lieben Dank

_________________
Gruß Aga
uko
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 220
Erhaltene Danke: 1

Win XP, VISTA, WIndows 7
Delphi 2007/2010 Prof
BeitragVerfasst: Di 06.11.07 05:53 
Hallo Aga,

bevor Du hier rumratest, wo du die Zeit verlierst: installier einen Profiler und miß es! Oft ist es nämlich nicht unbedingt das, was man meint.
Zum Code selbst: Du könntest z.B.das GUI nur nach jedem 10/25. Datensatz aktualisieren (im Normalfall kann ja eh kein Mensch so schnell mitlesen). Was eher was bringen könnte: laß die Datenbank auf gültige Werte prüfen (wenn die es kann!): Spalten die nicht leer sein dürfen mit Not Null in der DB anlegen, dann meckert die DB beim posten und Du kannst dann den Fehler wegprotokollieren. Genauso an Stellen, wo Du auf eine gültige andere Zahl etc. prüfst: Überprüf das mit Foreign Key Constraints.

Grüße,
Uli
ene
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 779
Erhaltene Danke: 1

Vista, XP, W2K
Delphi, .Net, Deutsch und Englisch
BeitragVerfasst: Di 06.11.07 07:20 
Hi,

ich habs auch nur quer gelesen, aber ich versteh immer nicht, warum man durch die Brust ins Auge schiessen muss. Importiere die Tabelle einfach komplett in eine Importtabelle und juckel dann mit SQL drüber, aus meiner Sicht, habe ich noch nichts schnelleres gefunden. Was für ein DBMS benutzt du?

_________________
Wir, die guten Willens sind, geführt von Ahnungslosen, Versuchen für die Undankbaren das Unmögliche zu vollbringen.
Wir haben soviel mit so wenig so lange versucht, daß wir jetzt qualifiziert sind, fast alles mit Nichts zu bewerkstelligen.
mkinzler
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 4106
Erhaltene Danke: 13


Delphi 2010 Pro; Delphi.Prism 2011 pro
BeitragVerfasst: Di 06.11.07 07:23 
MySQLISAM und INNODB hört sich stark nach MySQL an.

_________________
Markus Kinzler.
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Di 06.11.07 09:34 
Äh ... Die Performancebremse hier müsste doch EXCEL selbst sein. Ich verwende mittlerweile native BIFF-Implementierungen (BIFF = EXCEL-Format < 2007).

Ich kann doch mit MySQL mal eben 1000+ von Schlüsseln pro Sekunde prüfen, zumal die Stammdaten Indexiert sind, das sollte nicht das primäre Problem sein. Zur Not saugt man die Schlüssel in eine Hashmap, dann wäre man bei ca. 700.000 Prüfungen/Sekunde, handelt es sich um Zahlen, schaffst Du sogar 20 Mio Prüfngen/Sek.

Ich würde zunächst von OLE-Excel auf eine andere BIFF-Bibliothek umschwenken. Wenn das nicht geht, oder zu kniffelig ist, dann EXCEL starten, Datei einlesen, als CSV-Speichern und das dann -wupps- per TStringlist einlesen (DelimiterChar=';')

Anschließend, also wenn ich weiss, das das einlesen und verarbeiten der Tabelle schon schnell genug ist (ich schätze, so eine Tabelle ist in < 100ms eingelesen und verarbeitet), ja anschließend kann ich mich noch mit der DB, der GUI und sonstewas auseinandersetzen.

Wir reden ja schließlich vom Pullover stricken und nicht Kaffee holen. :mrgreen:

_________________
Na denn, dann. Bis dann, denn.
ene
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 779
Erhaltene Danke: 1

Vista, XP, W2K
Delphi, .Net, Deutsch und Englisch
BeitragVerfasst: Di 06.11.07 10:20 
Die Activates und Selects könntest du auch umgehen, wenn du dir einfach die Werte holst. Ansonsten geht es doch um den Import von Daten? Da würde ich lieber erstmal alles rüberpipen und dann auswerten.

_________________
Wir, die guten Willens sind, geführt von Ahnungslosen, Versuchen für die Undankbaren das Unmögliche zu vollbringen.
Wir haben soviel mit so wenig so lange versucht, daß wir jetzt qualifiziert sind, fast alles mit Nichts zu bewerkstelligen.
Agawain Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 460

win xp
D5, MySQL, devxpress
BeitragVerfasst: Fr 09.11.07 11:32 
Hi

zunächst mal vielen Dank für die Hinweise.

Ich habs jetzt raus, woran es gelegen hat :autsch: :autsch: :rofl:

Vorweg, ich hab ein paar Tests gemacht, z.B. mit Fieldbyname usw., aber das brachte bei der relativ geringen Menge von Daten keinen messbaren Effekt.
Für solche Benchmarks hab ich hier nicht die geeignete Testumgebung, da braucht nur ein Switch mal kurz Husten haben, oder so, schon hat man ne Verzögerung von 1-2 Sekunden drin.
Ich interessier mich ja auch mehr für den Minutenbereich, als für den Millisekundenbereich.

Das mit dem Biff-Format ist eine interessante Idee, aber solange ich mit D5 arbeite, lohnt es sich nicht, dafür Geld auszugeben.

Hab auch in meinem Quelltext eine Stelle gefunden, wo ich unnötigerweise ein zweites mal die ArtikelNr aus der Excel-Zelle lese. Inzwischen speicher ich die in einer lokalen Variable und verwende sie dann wieder.
Eingedenk Alzaimars Worten, daß hier Excel den Flaschenhals bildet, hätte das eigentlich zu einem Effekt führen müssen, aber nada, niente.

Also hab ich mal das Locate ausgeschaltet und solche :shock: gemacht, als ich auf ein Ergebnis von 4 Sekunden kam.

Woran lags, ich verwende die Abfrage Artikelnr auch für eine DevExpress GridKomponente als Datenquelle, die liegt bei der Verarbeitung zwar im Hintergrund, heißt, das Formular ist zwar created, aber nicht visible, aber das schert das Grid herzlich wenig.
So führt das Springen des DatensatzCursors durch Locate offenbar dazu, daß sich die Komponente immer wieder heimlich neu zeichnet.

Also, wenn man bedenkt, daß die alte Programmversion für eine Datei ca. 1 Minute länger braucht und dabei soetwas, wie bei mir nicht passieren kann, ist der Geschwindigkeitsunterschied jetzt enorm, damit hab ich überhaupt nicht gerechnet. *staun.

Hab eher damit gerechnet, daß ich das auf eine Minute runterkrieg.

Es gibt noch ein paar Optimierungsmöglichkeiten, die überdenkenswert wären, aber so reicht mir das erstmal, die Zeit für den Gesamtprozeß, heißt also für 150 - 200 Dateien reicht zwar jetzt locker zum Kaffee holen, aber da krieg ich ja noch nicht mal ne Zig geraucht :mrgreen:

_________________
Gruß Aga
ene
ontopic starontopic starontopic starontopic starontopic starofftopic starofftopic starofftopic star
Beiträge: 779
Erhaltene Danke: 1

Vista, XP, W2K
Delphi, .Net, Deutsch und Englisch
BeitragVerfasst: Fr 09.11.07 11:45 
Dann würd ich ne Schleife einbauen, ohne Dampf kein Kampf ;) SCNR

_________________
Wir, die guten Willens sind, geführt von Ahnungslosen, Versuchen für die Undankbaren das Unmögliche zu vollbringen.
Wir haben soviel mit so wenig so lange versucht, daß wir jetzt qualifiziert sind, fast alles mit Nichts zu bewerkstelligen.
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Fr 09.11.07 12:41 
Mich wundert es zwar auch, das Excel nicht der Flaschenhals war, aber stimmt... die 500 oder so Zeilen sollten keine Minuten zum Navigieren benötigen.

Tipp:
Verwende bei der Navigierung in Datenmengen grundsätzlich 'DisableControls/EnableControls', am Besten mit einem Bookmark, also z.B so.
ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
Var
  B : TBookmark;

Begin
  MyDataset.GetBookmark (B);
  MyDataset.DisableControls;
  Try
    // ... Locate bis zum erbrechen
  Finally
    MyDataset.GotoBookmark (B);
    MyDataset.FreeBookmark (B);
    MyDataset.EnableControls;
  End
End;

Ich habe mir das mittlerweile angewöhnt, egal ob nun datensensitive Steuerelemente mit dem Dataset verbunden sind oder nicht.

_________________
Na denn, dann. Bis dann, denn.