| Autor |
Beitrag |
Agawain
      
Beiträge: 460
win xp
D5, MySQL, devxpress
|
Verfasst: Mo 05.11.07 14:24
hi
ich habe eine Routine geschrieben, die die angehängte Datei in meine Datenbank importiert. Das funktioniert auch soweit, muß noch die Lieferantenprüfung einfügen und abfangen, wenn es eine ungültige Jahreszahl ist.
Grob gesagt, die Spalten werden jeweils nach nichtleer gefiltert und
in ein 2. Arbeitsblatt kopiert, dort werden dann alle Zellen durchlaufen.
So, nun dauert der Import aber ca. 2 min, je nach Füllstand der Datei, hier sind es 505 Datensätze.
Da das aber mit 150 - 200 Dateien gemacht wird, kann man nebenbei Pulloverstricken  .
Ne, da er alle Dateien in einem Verzeichnis verarbeiten kann und keine Benutzereingaben erforderlich sind, könnte das Ganze auch Nachts, oder nebenbei laufen.
Trotzdem würde ich gerne noch ein paar Sekunden rauskitzeln.
Es ist klar, daß hier vor allem das Verifizieren der Artikelnummer auf die Bremse tritt.
ArtikelNr ist übrigens in der Stammdaten-Tabelle indiziert.
Hab schon daran gedacht, Locate durch FindKey zu ersetzen, weil ich gelesen hab, dass ab Delphi5 locate anders implementiert ist, aber die Hilfe von MyDAC sagt dazu, daß man Locate den Vorzug geben sollte, weil FindKey nur noch aus BDE-Kompitabilitätsgründen da wäre.
Hat irgendjemand eine Idee, wie man der Sache noch auf die Sprünge helfen könnte?
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: 24: 25: 26: 27: 28: 29: 30: 31: 32: 33: 34: 35: 36: 37: 38: 39: 40: 41: 42: 43: 44: 45: 46: 47: 48: 49: 50: 51: 52: 53: 54: 55: 56: 57: 58: 59: 60: 61: 62: 63: 64: 65: 66: 67: 68: 69: 70: 71: 72: 73: 74: 75: 76: 77: 78: 79: 80: 81: 82: 83: 84: 85: 86: 87: 88: 89: 90: 91: 92: 93: 94: 95: 96: 97: 98: 99: 100: 101: 102: 103: 104: 105: 106: 107: 108: 109:
| procedure ImportiereDatei(Dateiname: String; i: integer); var
b : Variant; GamNr : integer; Buchungsmonat : integer; BuchungsJahr: integer; col, Row : integer; Lieferant: array [0..6] of integer; result: boolean;
begin
SendMessage(f_absatz.WindowHandle, wm_SetRedraw, 0, 0); Excel.Workbooks.Open(DateiName); GamNr := excel.sheets['Quartalsdatei'].cells[2,2].value; if not f_start.myq_gam.Locate('GAMNr', GamNr, []) then begin Showmessage('GAM ist nicht angelegt oder fehlerhaft' + #13#10 + 'Datei wird nicht verabeitet'); f_start.myq_importfehler.insert; f_start.myq_importfehler.fieldvalues['FehlerNr'] := 1; f_start.myq_importfehler.fieldvalues['Datei'] := Dateiname; f_start.myq_importfehler.fieldvalues['Grund'] := 'GAM fehlerhaft, Datei wird nicht verarbeitet'; f_start.myq_importfehler.post; Excel.Workbooks.Close(DateiName); exit; end;
Buchungsmonat := excel.sheets['Quartalsdatei'].cells[2,8].value;
Case Buchungsmonat of 1: Buchungsmonat := 3; 2: Buchungsmonat := 6; 3: Buchungsmonat := 9; 4: Buchungsmonat := 12; else begin Showmessage('kein korrektes Quartal angegeben,' + #13#10 + 'Datei wird nicht verarbeitet'); f_start.myq_importfehler.insert; f_start.myq_importfehler.fieldvalues['Datei'] := Dateiname; f_start.myq_importfehler.fieldvalues['Grund'] := 'falsches Quartal'; f_start.myq_importfehler.fieldvalues['FehlerNr'] := 2; f_start.myq_importfehler.post; Excel.Workbooks.Close(DateiName); exit; end; end; Buchungsjahr := excel.sheets['Quartalsdatei'].cells[2, 9].value; Excel.Sheets.Add; excel.sheets['Quartalsdatei'].activate; for col := 0 to 6 do begin if Vartype(Excel.sheets['Quartalsdatei'].cells[3, 6 + col].value) = varDouble then Lieferant[col] := Excel.sheets['Quartalsdatei'].cells[3, 6 + col].value + 5000; end; for col := 0 to 6 do begin if Lieferant[col] > 5000 then begin Excel.sheets['Quartalsdatei'].activate; Excel.Sheets['Quartalsdatei'].cells[1,1].Select; If Excel.ActiveSheet.Filtermode then Excel.ActiveSheet.ShowAllData; Excel.Selection.Autofilter(Field := col + 6, Criteria1 := '<>'); B := Excel.Sheets['QuartalsDatei'].Autofilter.Range; Excel.CutCopyMode := False; B.Copy; excel.sheets[1].activate; Excel.Sheets[1].cells[1,1].Select; Excel.ActiveSheet.Paste; for row := 3 to Excel.selection.Rows.Count do begin result := f_start.myq_artikel.locate('ArtikelNr', Excel.Selection.cells[row, 4].value, []); if result then begin f_start.myq_absatz.insert; f_start.myq_absatz.fieldvalues['Erfassungsjahr'] := Buchungsjahr; f_start.myq_absatz.fieldvalues['Erfassungsmonat'] := Buchungsmonat; f_start.myq_absatz.fieldvalues['Lieferant'] := Lieferant[col]; f_start.myq_absatz.fieldvalues['ArtikelNr'] := Excel.Selection.cells[row, 4].value; f_start.myq_absatz.fieldvalues['AnzahlIst'] := Excel.Selection.cells[row, 5 + col].Value; f_start.myq_absatz.fieldvalues['GAMNr'] := GamNr; f_start.myq_absatz.post; end else begin f_start.myq_importfehler.insert; f_start.myq_importfehler.fieldvalues['FehlerNr'] := 3; f_start.myq_importfehler.fieldvalues['Buchungsmonat'] := Buchungsmonat; f_start.myq_importfehler.fieldvalues['Buchungsjahr'] := Buchungsjahr; f_start.myq_importfehler.fieldvalues['GAMNr'] := GamNr; f_start.myq_importfehler.fieldvalues['GFGHNr'] := Lieferant[col]; f_start.myq_importfehler.FieldValues['ArtikelNr'] := Excel.Selection.cells[row, 4].value; f_start.myq_importfehler.fieldvalues['Kisten'] := Excel.Selection.cells[row, 5 + col].Value; f_start.myq_importfehler.fieldvalues['DateiName'] := DateiName; f_start.myq_importfehler.fieldvalues['Grund'] := 'Artikelnummer nicht gefunden. Satz wurde nicht verarbeitet'; f_start.myq_importfehler.post; end; end; Excel.Sheets[1].cells.select; Excel.Selection.ClearContents; end; end; f_absatz.cxChecklistBox1.Items[i].Checked := true; SendMessage(f_Absatz.WindowHandle, wm_SetRedraw, 1, 0); RedrawWindow(f_absatz.WindowHandle, nil, 0, RDW_INVALIDATE or RDW_ALLCHILDREN or RDW_UPDATENOW); application.ProcessMessages;
end; |
Einloggen, um Attachments anzusehen!
_________________ Gruß Aga
Zuletzt bearbeitet von Agawain am Di 06.11.07 01:03, insgesamt 1-mal bearbeitet
|
|
Alpha_Wolf
      
Beiträge: 297
Ubuntu, Win XP, Win Vista
C#, Delphi 6 Prof, Delphi 2007 Prof, Java
|
Verfasst: Mo 05.11.07 14:33
So mal auf die schnelle und ohne deinen Quellcode genau angesehen zu haben würde ich sagen..
Transaktionen:
Probiers einfach.. denn ich denke mal das der Flaschenhals hier eher die Verbindung zur DB ist. Besonders zu empfehlen sind Transaktionen auch deshalb, da falls während des Imports ein Fehler auftritt ein Rollback durchgeführt werden kann und somit keine fehlerhaften (Teil) Daten in die DB geschrieben werden.
TRANSAKTIONEN
Application.ProcessMessages:
Es sind zwar nur ms aber ProcessMessages verlangsamt das ganze schon arg da es jedes mal aktualisieren muss.
EDIT:
Achja und dein Redraw etc. diese Sachen kosten Zeit.. also wenn nicht unbedingt nötig.. raus damit.
Hoffe das hilft ein wenig 
_________________ Diskutiere nie mit einem Irren - er zieht dich auf sein Niveau und schlägt dich mit seiner Erfahrung.
|
|
Agawain 
      
Beiträge: 460
win xp
D5, MySQL, devxpress
|
Verfasst: Di 06.11.07 01:30
jo, hi, danke
das redraw bringt hier nix, beim Aufbau der Listbox beim Verzeichniseinlesen, leistet es wertvolle Dienste, aber da das Fenster während der Verarbeitung eh keine Aktualisierungen erhält und wenn Fenster von anderen Programmen über den Client-Bereich drüberfahren, auf dem Client-Bereich lustig draufrummalen, sieht es genauso *besch... aus wie mit dem redraw.
Also eines schon mal, hatte die Tabelle versehentlich als MySQLISAM, da mir zumindest subjektiv INNODB schneller vorkommt, werd ich das als erstes mal mit INNODB testen...so nach meiner Schätzung war nämlich eingentlich eine Minute für die Chose angestrebt.
Hab noch ein paar mögliche Hebelansätze gefunden...
zum einen an den DB-ini-Einstellungen rumspielen, der Server, auf dem die DB läuft, hat in der Hauptsache Fileserving-Aufgaben und halt die DB und läuft mit Standardeinstellungen.
Mal probieren, ob buffering von mehr als 16 mb was bringt, glaubs in dem Fall eher fast nicht, weil die paar integers sind echt nicht die Welt. Werd ihm mal vorsichtige 100 mb gönnen.
Das wären dann 10 % des RAM ca., wenn sich das bemerkbar macht, kriegt er mehr.
Den Gedanken mit den Transactionen werd ich auch aufgreifen, wobei mir immer noch nicht klar ist, ob mydac bei Einzelsatzverarbeitung nicht implizit mit Transaktionen arbeitet, muss ich mal testen.
Dann, ich verwende fieldvalues, das sind Variant-Typen, könnt sein, dass wenn ich mit typisierten Feldtypen arbeite Konvertierung und Prüfung an irgendeiner Stelle entfällt, da versprech ich mir sogar im Moment am meisten von.
Und als ultima ratio hab ich von mydac noch cached update, aber das ist mir ein bissel suspect.
Widerspricht irgendwie meinem Cobol-inherited
So und da das Ganze wohl doch mehr mit Datenbanken, als mit Excel zu tun hat, wär denn ein geneigter Mod so lieb, das ganze in die entsprechende Rubrik zu verschieben?
Lieben Dank
_________________ Gruß Aga
|
|
uko
      
Beiträge: 220
Erhaltene Danke: 1
Win XP, VISTA, WIndows 7
Delphi 2007/2010 Prof
|
Verfasst: Di 06.11.07 05:53
Hallo Aga,
bevor Du hier rumratest, wo du die Zeit verlierst: installier einen Profiler und miß es! Oft ist es nämlich nicht unbedingt das, was man meint.
Zum Code selbst: Du könntest z.B.das GUI nur nach jedem 10/25. Datensatz aktualisieren (im Normalfall kann ja eh kein Mensch so schnell mitlesen). Was eher was bringen könnte: laß die Datenbank auf gültige Werte prüfen (wenn die es kann!): Spalten die nicht leer sein dürfen mit Not Null in der DB anlegen, dann meckert die DB beim posten und Du kannst dann den Fehler wegprotokollieren. Genauso an Stellen, wo Du auf eine gültige andere Zahl etc. prüfst: Überprüf das mit Foreign Key Constraints.
Grüße,
Uli
|
|
ene
      
Beiträge: 779
Erhaltene Danke: 1
Vista, XP, W2K
Delphi, .Net, Deutsch und Englisch
|
Verfasst: Di 06.11.07 07:20
Hi,
ich habs auch nur quer gelesen, aber ich versteh immer nicht, warum man durch die Brust ins Auge schiessen muss. Importiere die Tabelle einfach komplett in eine Importtabelle und juckel dann mit SQL drüber, aus meiner Sicht, habe ich noch nichts schnelleres gefunden. Was für ein DBMS benutzt du?
_________________ Wir, die guten Willens sind, geführt von Ahnungslosen, Versuchen für die Undankbaren das Unmögliche zu vollbringen.
Wir haben soviel mit so wenig so lange versucht, daß wir jetzt qualifiziert sind, fast alles mit Nichts zu bewerkstelligen.
|
|
mkinzler
      
Beiträge: 4106
Erhaltene Danke: 13
Delphi 2010 Pro; Delphi.Prism 2011 pro
|
Verfasst: Di 06.11.07 07:23
MySQLISAM und INNODB hört sich stark nach MySQL an.
_________________ Markus Kinzler.
|
|
alzaimar
      
Beiträge: 2889
Erhaltene Danke: 13
W2000, XP
D6E, BDS2006A, DevExpress
|
Verfasst: Di 06.11.07 09:34
Äh ... Die Performancebremse hier müsste doch EXCEL selbst sein. Ich verwende mittlerweile native BIFF-Implementierungen (BIFF = EXCEL-Format < 2007).
Ich kann doch mit MySQL mal eben 1000+ von Schlüsseln pro Sekunde prüfen, zumal die Stammdaten Indexiert sind, das sollte nicht das primäre Problem sein. Zur Not saugt man die Schlüssel in eine Hashmap, dann wäre man bei ca. 700.000 Prüfungen/Sekunde, handelt es sich um Zahlen, schaffst Du sogar 20 Mio Prüfngen/Sek.
Ich würde zunächst von OLE-Excel auf eine andere BIFF-Bibliothek umschwenken. Wenn das nicht geht, oder zu kniffelig ist, dann EXCEL starten, Datei einlesen, als CSV-Speichern und das dann -wupps- per TStringlist einlesen (DelimiterChar=';')
Anschließend, also wenn ich weiss, das das einlesen und verarbeiten der Tabelle schon schnell genug ist (ich schätze, so eine Tabelle ist in < 100ms eingelesen und verarbeitet), ja anschließend kann ich mich noch mit der DB, der GUI und sonstewas auseinandersetzen.
Wir reden ja schließlich vom Pullover stricken und nicht Kaffee holen. 
_________________ Na denn, dann. Bis dann, denn.
|
|
ene
      
Beiträge: 779
Erhaltene Danke: 1
Vista, XP, W2K
Delphi, .Net, Deutsch und Englisch
|
Verfasst: Di 06.11.07 10:20
Die Activates und Selects könntest du auch umgehen, wenn du dir einfach die Werte holst. Ansonsten geht es doch um den Import von Daten? Da würde ich lieber erstmal alles rüberpipen und dann auswerten.
_________________ Wir, die guten Willens sind, geführt von Ahnungslosen, Versuchen für die Undankbaren das Unmögliche zu vollbringen.
Wir haben soviel mit so wenig so lange versucht, daß wir jetzt qualifiziert sind, fast alles mit Nichts zu bewerkstelligen.
|
|
Agawain 
      
Beiträge: 460
win xp
D5, MySQL, devxpress
|
Verfasst: Fr 09.11.07 11:32
Hi
zunächst mal vielen Dank für die Hinweise.
Ich habs jetzt raus, woran es gelegen hat
Vorweg, ich hab ein paar Tests gemacht, z.B. mit Fieldbyname usw., aber das brachte bei der relativ geringen Menge von Daten keinen messbaren Effekt.
Für solche Benchmarks hab ich hier nicht die geeignete Testumgebung, da braucht nur ein Switch mal kurz Husten haben, oder so, schon hat man ne Verzögerung von 1-2 Sekunden drin.
Ich interessier mich ja auch mehr für den Minutenbereich, als für den Millisekundenbereich.
Das mit dem Biff-Format ist eine interessante Idee, aber solange ich mit D5 arbeite, lohnt es sich nicht, dafür Geld auszugeben.
Hab auch in meinem Quelltext eine Stelle gefunden, wo ich unnötigerweise ein zweites mal die ArtikelNr aus der Excel-Zelle lese. Inzwischen speicher ich die in einer lokalen Variable und verwende sie dann wieder.
Eingedenk Alzaimars Worten, daß hier Excel den Flaschenhals bildet, hätte das eigentlich zu einem Effekt führen müssen, aber nada, niente.
Also hab ich mal das Locate ausgeschaltet und solche  gemacht, als ich auf ein Ergebnis von 4 Sekunden kam.
Woran lags, ich verwende die Abfrage Artikelnr auch für eine DevExpress GridKomponente als Datenquelle, die liegt bei der Verarbeitung zwar im Hintergrund, heißt, das Formular ist zwar created, aber nicht visible, aber das schert das Grid herzlich wenig.
So führt das Springen des DatensatzCursors durch Locate offenbar dazu, daß sich die Komponente immer wieder heimlich neu zeichnet.
Also, wenn man bedenkt, daß die alte Programmversion für eine Datei ca. 1 Minute länger braucht und dabei soetwas, wie bei mir nicht passieren kann, ist der Geschwindigkeitsunterschied jetzt enorm, damit hab ich überhaupt nicht gerechnet. *staun.
Hab eher damit gerechnet, daß ich das auf eine Minute runterkrieg.
Es gibt noch ein paar Optimierungsmöglichkeiten, die überdenkenswert wären, aber so reicht mir das erstmal, die Zeit für den Gesamtprozeß, heißt also für 150 - 200 Dateien reicht zwar jetzt locker zum Kaffee holen, aber da krieg ich ja noch nicht mal ne Zig geraucht 
_________________ Gruß Aga
|
|
ene
      
Beiträge: 779
Erhaltene Danke: 1
Vista, XP, W2K
Delphi, .Net, Deutsch und Englisch
|
Verfasst: Fr 09.11.07 11:45
Dann würd ich ne Schleife einbauen, ohne Dampf kein Kampf  SCNR
_________________ Wir, die guten Willens sind, geführt von Ahnungslosen, Versuchen für die Undankbaren das Unmögliche zu vollbringen.
Wir haben soviel mit so wenig so lange versucht, daß wir jetzt qualifiziert sind, fast alles mit Nichts zu bewerkstelligen.
|
|
alzaimar
      
Beiträge: 2889
Erhaltene Danke: 13
W2000, XP
D6E, BDS2006A, DevExpress
|
Verfasst: Fr 09.11.07 12:41
Mich wundert es zwar auch, das Excel nicht der Flaschenhals war, aber stimmt... die 500 oder so Zeilen sollten keine Minuten zum Navigieren benötigen.
Tipp:
Verwende bei der Navigierung in Datenmengen grundsätzlich 'DisableControls/EnableControls', am Besten mit einem Bookmark, also z.B so.
Delphi-Quelltext 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14:
| Var B : TBookmark;
Begin MyDataset.GetBookmark (B); MyDataset.DisableControls; Try Finally MyDataset.GotoBookmark (B); MyDataset.FreeBookmark (B); MyDataset.EnableControls; End End; |
Ich habe mir das mittlerweile angewöhnt, egal ob nun datensensitive Steuerelemente mit dem Dataset verbunden sind oder nicht.
_________________ Na denn, dann. Bis dann, denn.
|
|
|