Autor Beitrag
luki.pas
Hält's aus hier
Beiträge: 10



BeitragVerfasst: Fr 18.11.05 19:44 
Hallo,
da wir alle keine Zeit haben möchte ich nicht groß um den heißen Brei herumreden:
Ich arbeite gerade an einem Programm, dass sehr viele Werte einliest und auswertet. Da es sich um wirklich viele Werte (7 x 600.000 = 4.200.000 Werte) handelt sollte die Wahl der Datenbank wohl überlegt sein. Ich hab bereits ein wenig mit Arrays herumprobiert, doch die scheinen mir für diesen Zweck ungeeignet, da sie zu unübersichtlich und langsam sind. Ich stelle sonst keine weiteren Anforderungen an die Datenbank. So muss ich zum Beispiel nicht einzelne Daten heraussuchen sondern meißtens nur mit den gesamten Einträge bzw. einzelnen Ausschnitten arbeiten. Die Datenbank hat etwa diese Form:

id | uhrzeit | datum | kompressor 1 | kompressor 2 | kompressor 3 | kompressor 4 | bar |
---|----------|----------|-------------------|-------------------|------------------|-------------------|------|

Wobei, id ist eigentlich gar nicht nötig, da ich nur einzelne Abschnitte, die ich anhand des Datums und der Uhrzeit ermittle, bearbeiten möchte (zum Beispiel einen einzelnen Tag).
Die Datenbank soll auch nur im Hintergrund laufen. Das heißt ich brauche keine Datenbankoberfläche, wo ich mich durch die Daten klicken kann.

Welche Datenbank könntet ihr mir empfehlen, die auch bei eventueller kommerzieller Nutzung zur Verfügung steht?

Ich hoffe ich konnte euch einen einigermaßen guten Überblick über die benötigten Datenbank geben und hoffe auch, dass ihr mir mit ein paar guten Tips und Ratschlägen zur Seite stehen könnt.

Lukas
hansa
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 3079
Erhaltene Danke: 9



BeitragVerfasst: Fr 18.11.05 20:42 
Wie passt das :

user profile iconluki.pas hat folgendes geschrieben:
..So muss ich zum Beispiel nicht einzelne Daten heraussuchen sondern meißtens nur mit den gesamten Einträge bzw. einzelnen Ausschnitten arbeiten.


zu dem :

user profile iconluki.pas hat folgendes geschrieben:
da ich nur einzelne Abschnitte, die ich anhand des Datums und der Uhrzeit ermittle, bearbeiten möchte (zum Beispiel einen einzelnen Tag).


Du mußt also nichts suchen, sondern nur alle Daten zu einem Tag zusammensuchen ? :shock:

_________________
Gruß
Hansa
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Fr 18.11.05 21:00 
user profile iconluki.pas hat folgendes geschrieben:
...Da es sich um wirklich viele Werte (7 x 600.000 = 4.200.000 Werte) handelt sollte die Wahl der Datenbank wohl überlegt sein. ...

Och, ...na nun... so viel ist das doch nicht. Das passt doch auch in den Speicher. Dann in eine Datei streamen bzw. aus ihr lesen. Tabellarisch aufarbeiten und summieren sollte auch nicht das Problem sein.

Aber wenns denn nun eine DB sein soll... in welchem Zeitraum werden die Daten denn gesammelt? (600.000 records pro Sekunde? Stunde? Tag?) Denn die paar Daten kann so jede DB speichern und recht flott aufarbeiten. Nur, wie schnell sie *gespeichert* werden sollen, da trennt sich die Spreu vom Weizen.

_________________
Na denn, dann. Bis dann, denn.
hardy1234
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 16

Windows XP pro/ SuSe LINUX 9.2
Delphi7 enterprise/ Kylix3 prof
BeitragVerfasst: Fr 18.11.05 21:09 
Hi,

ich würde Firebird nehmen. Die kostet nix und ist ein echter SQL-Server (gibts für Windoofs und LINUX). Der F kann mit den geforderten Datenmengen umgehen und ist echt schnell. SQL bietet den Vorteil temporär jedes beliebige Feld zum Schlüssel zu erklären, womit Du deine Abfragen frei gestalten kannst und eben auch ganze Record-Sets erwischt.

Allerdings sollte man bei solchen Datenmengen schon über eine Löschstrategie nachdenken und Datensicherung betreiben. Ich vermag mir allerdings nicht vorzustellen, das man derartige Datenmengen wirklich über längere Zeit gespeichert halten will.

Da scheint es eher sinvoll eine ständige Auswertung laufen zu lassen und dann die verdichteten Daten zu speichern.

Aber sei's drum, du kannst die Delphi IB-Komponenten verwenden oder dir die Zeos-Lib besorgen (Zeos empfiehlt sich aber eher, kompatibel mit KYLIX). Damit kannst Du dann das Prog unter LINUX gleichermaßen laufen lassen wie unter Windoofs.
luki.pas Threadstarter
Hält's aus hier
Beiträge: 10



BeitragVerfasst: Fr 18.11.05 21:58 
Vielen Danl. Das waren ja schon echt viele Antworten in echt schneller Zeit. Und das an einem Freitag Abend.

An hansa: Okay, da hab ich mich wohl doch etwas schlecht ausgedrückt. Ich wollte damit sagen, dass ich nicht schnell an irgendeinen einzelnen Wert kommen muss sondern nur Pakete abrufen muss. Da mir jetzt auch auffällt, dass man dafür ja Anfang und Ende des Tages einzeln in der Tabelle suchen muss um dann von a bis b alle Daten rauszunehmen, macht das eigentlich keinen Unterschied. Du hast Recht die beiden Sätze waren irgendwie widersprüchlich.

An alzaimer: Nunja, die Daten sind Auswertungen von 4 Kompressoren plus dem Druck die jeweils mit Datum und Uhrzeit gespeichert werden. Die komplette Auswertung betrifft eine Woche und speichert Druck und Kilowatt der Kompressoren jede Sekunde.
Speichern muss ich die Werte eigentlich nicht. Ich möchte Sie umrechnen, analysieren, einen Graphen zeichne n, Kosten berechnen etc. Ansich ist das Programm schon fertig. Ich bin nur mit den Arrays unzurieden, weil es keine sehr professionelle Lösung ist. Außerdem fressen sie viel Speicher und sind etwas langsam. Ich weiß nicht inwiefern eine Datenbank eine Verbesserung in Sachen Leistung ist aber allein von der Übersicht her würde ich gerne zu einer DB wechseln, damit ich keine sieben Arrays benutzen muss.

An hardy1234: Danke für die Vorschläge. Was davon würde auch bei kommerzieller Nutzung erlaubt sein?
hansa
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 3079
Erhaltene Danke: 9



BeitragVerfasst: Fr 18.11.05 22:07 
Nichts speichern ? Was soll dann eine DB überhaupt machen. :shock: Da reicht ein TChart. In dem Fall wohl TLinesSeries oder wie das heißt. Wenn jetzt allerdings einer kommt und sagt, er brauche die Meßwerte vom 1.11. dann läßt sich das TChart schnell wieder neu damit füllen und wir wären wieder bei DB.

_________________
Gruß
Hansa
luki.pas Threadstarter
Hält's aus hier
Beiträge: 10



BeitragVerfasst: Fr 18.11.05 23:19 
Die Messwerte sind nur zusammen interessant. Jedoch muss ich bestimmte Situationen (Last-Zustand, Leerlauf, Aus) bestimmen und dazu muss ich Abschnitte miteinander Vergleichen um herauszufinden wann dieser Zeitpunkt eintrifft.
Die Datenbank habe ich nur in Erwähnung gezogen, weil ich denke, dass sie das alles schneller erledigen kann als ein Array. Wenn du sagst, TChart ist schnell genug und kriegt das auch alles so hin. Mit binärer Suche müsste ich dann ja recht schnell an mein Datum kommen.

Also soll ich jetzt TChart nehmen? Was genau macht es denn und welche Vorteile habe ich gegenüber Arrays? Kann ich die gesamte Tabelle (so wie oben) einspeichern?
hansa
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 3079
Erhaltene Danke: 9



BeitragVerfasst: Sa 19.11.05 01:12 
user profile iconluki.pas hat folgendes geschrieben:
...dass sie das alles schneller erledigen kann als ein Array.

Kann ich die gesamte Tabelle (so wie oben) einspeichern?


Was nun ? Speichern oder ist es doch unnötig ? Wenn ein Array langsam ist, dann ist das ein Design Fehler im Programm.

_________________
Gruß
Hansa
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Sa 19.11.05 08:44 
Ich befürchte, Du hast keinen Plan, was genau Du machen willst.
Einerseits Alles abspeichern, andererseits nur verdichten und auswerten.
Du sagst also, pro Sekunde fällt mal ein Datensatz an... Und dann willst Du die Menge analysieren und nach einem bestimmten Ereignis suchen. Was machst Du mit dem Ereignis? Was mit den Messwerten? Willst Du eine Kurve zeichnen? Benötigst Du ein Protokoll?

Wir haben mal Messreihen für Eisenbahnmotoren gemessen, die Werte in einer Kurve dargestellt, analysiert und die Ergebnisse in einem Messprotokoll ausgedruckt. Abgespeichert wurde eine verdichtete Darstellung der Messdaten (damit die Kurve auch im Nachhinein gezeichnet und das Ergebnis auch nachvollzogen werden kann), die Ergebnisse der Analyse, sowie natürlich die Stammdaten des Motors.

Du hast die Wahl:
A-die 4-5 Mio Datensätze erstmal zu sammeln und nach Beendigung der Messreihe zu analysieren, verdichten etc.
oder
B-die Datensätze ständig (also im Hintergrund) in status nascendi zu verdichten und während der Messung zu analysieren.

In jedem Fall dürfte der Speicher ausreichen: Es gibt Nichts schnelleres als ein Array Of TMessPunkt

Überlege Dir, wie Du die Daten repräsentieren und ob bzw. was du speichern willst. Dann kannst Du immer noch an eine Visualisierung (TChart) denken. Eine Datenbank kommt meiner Meinung nach erstmal nicht in Betracht.

_________________
Na denn, dann. Bis dann, denn.
luki.pas Threadstarter
Hält's aus hier
Beiträge: 10



BeitragVerfasst: Sa 19.11.05 12:56 
Entschuldigung also irgendwie war meine Wortwahl ungeschickt.

Am besten ich fang nochmal ganz vorne an:

Ich habe ein Auswertung eines Gerätes das 4 Kompressoren eine Woche lang jede Sekunde auf ihre Leistung untersucht. Dabei speichert es in eine Datei die Uhrzeit, das Datum, die Leistung der Kompressoren 1-4 und den Druck (in psi. wird später in bar umgerechnet).
Nun will ich mit diesen Daten folgendes machen:
- ein "cos phi" berechnen, in dem ich herausfinde wann der Kompressor im Last-, Leer- bzw. Auszustand sind
- mit diesem "cos phi" alle Werte in KWatt umrechnen
- dann mit den Werten einen Graphen zeichnen (Benutzer hat Möglichkeit einzelne Ausschnitte zu wählen)
- und danach die Kosten berechnen (die Kosten pro KW kann man in den Einstellungen eingeben).

Momentan läuft alles noch mit Arrays. Aber ich habe 7 Arrays und wenn ich an einen Auschnitt kommen will, muss ich erst den Datumarray nach den beiden Zeiten durchsuchen und dann mit den Positionen in dem Kompressorarray den Abschnitt auswählen.

Ich habe hier nur nach Datenbanken gefragt, weil mir jemand den Tip gegeben hat, es könne damit schneller laufen.

Danke trotzdem nochmal für Eure Geduld. Wenn ich mich schlecht ausgedrückt habe, dann lag das vielleicht, dass es gestern etwas spät und ich total übermüdet war. Ich hoffe jetzt ist es besser.
hansa
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 3079
Erhaltene Danke: 9



BeitragVerfasst: Sa 19.11.05 15:09 
Das Hauptproblem ist wohl, daß Du uns (zumindest mich) etwas verwirrst mit den Arrays. Ich gehe jetzt mal nur hiervon aus :
Zitat:
Dabei speichert es in eine Datei die Uhrzeit, das Datum, die Leistung der Kompressoren 1-4 und den Druck


und vergesse den Rest. Was würde ich jetzt selber machen ? Da es um einen Wert pro Sek. geht ist das mit der Geschwindigkeit wohl kein Problem. Allerdings würde ich die Werte nicht in einer Datei speichern, sondern tatsächlich in einer Datenbank. Denn vermutlich hat die Datei den Array Geschwindigkeitsvorteil schon längst kaputt gemacht, durch lange Lade- und Sortierzeiten. Ich hätte dann alle Meßwerte von jeder Sek. an einer Stelle und könnte leicht z.B. eine Auswertung anzeigen auch vom 1.1.2005 von Kompressor 1.

Die Tabelle würde so aussehen :

ausblenden SQL-Anweisung
1:
2:
3:
4:
5:
6:
7:
8:
CREATE TABELLE MESSWERTE (
  ID integer,
  KOMPRESSORNR  smallint,
  DATUM date,
  UHRZEIT time,
  LEISTUNG decimal (15,2)
  DRUCK decimal (15,2) 
);


Im Programm würde ich nur folgendes tun :

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
MessDataset.Insert;
MessDataset.ParamByName ('KOMPRESSORNR').AsInteger := KomprNr;
MessDataset.ParamByName ('LEISTUNG').AsFloat := Leistung;
MessDataset.ParamByName ('DRUCK').AsInteger := Druck;
MessDataset.Post;


Im Prinzip wäre das zum Speichern schon alles. Wegen der Uhrzeit und der ID (hier fast überflüssig) wäre allerdings noch ein Before Insert Trigger dabei, der sich automatisch die ID holt und auch gleich Datum und Zeit setzt. Brauche ich jetzt die Werte von gestern 12:00 bis 24:00 und will die Kompressornr. eingeben, dann kriege ich die ganz einfach so :

ausblenden Delphi-Quelltext
1:
2:
3:
4:
5:
MessDataset.Close;
MessDataset.ParamByName ('KOMPRESSORNR') := Edit1.Text;
MessDataset.SelectSQL.Text := 'SELECT * FROM MESSWERTE WHERE DATUM = 18.11.2005 AND UHRZEIT >= 12:00 AND KOMPRESSORNR = :KOMPRESSORNR ORDER BY UHRZEIT';
MessDataset.Open;
// ab hier können die Werte angezeigt werden drucken in Chart in Stringgrid usw.

Statt DATE und TIME könnte man auch nur ein TIMESTAMP in der DB verwenden, aber dann muß man daraus wieder extra Datum und Zeit extrahieren. Wie die Kompressornr. könnte man auch Datum usw. als Parameter übergeben. Es ist immer wieder verblüffend, wie man mit ein paar Zeilen Code so was machen kann.

Also gut, bevor die nächste Frage kommt. Alleine schon wegen des Triggers fallen u.a. folgende 'DBs' raus : Access, Paradox/BDE, ADS local. In Interbase/Firebird geht es mit Sicherheit so wie beschrieben. Mit MS-SQL, Oracle usw. geht das mit Sicherheit auch. Benutzt man den Trigger nicht und verlagert etwas mehr Logik ins Programm zurück, dann ist die DB relativ egal, sofern sie nur SQL-fähig ist.

_________________
Gruß
Hansa
stifflersmom
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 194

XP /XP PRO/ SuSE div.
D1 - D7, BDS 2006
BeitragVerfasst: Sa 19.11.05 16:15 
Wieso einen Trigger?

Die Messwerte werden der datenbank übergeben und sollen sie nicht selber setzen.
Also werden wohl Datum und Uhrzeit ein übergebener Wert sein.
Die ID braucht keinen Trigger, es reicht ein autoincremement Feld.
Also ist so ziemlich jede Sql-DB in der Lage die Messwerte aufzunehmen.
Es würde sogar Paradox ausreichen.
Und für die gestellten Anforderungen, würde ich es sogar ohne SQL-Server machen.

Moin
hansa
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 3079
Erhaltene Danke: 9



BeitragVerfasst: Sa 19.11.05 16:47 
Letzten Satz wohl nicht gelesen ? Trotzdem bin ich anderer Meinung : wenn schon dann richtig und nicht irgendwie was machen was irgendwann für einen einzigen Zweck tatsächlich geht. Was z.B. wenn 2 Rechner die Daten sekundengenau eintragen sollen ? Dann muß man auch noch die Uhren der Rechner im Auge haben. Von Netzwerk will ich gar nicht reden. Ein Trigger wäre nun die Gewähr, daß die Zeiten mit Sicherheit auch in der Datenbank synchron sind ! Jetzt mit der mickrigsten Datenbank neu anzufangen, das wäre einfach nur dumm. :lol: Wie wärs, das Ganze gleich mit Textdateien zu machen ? :mrgreen:

_________________
Gruß
Hansa
stifflersmom
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 194

XP /XP PRO/ SuSE div.
D1 - D7, BDS 2006
BeitragVerfasst: Sa 19.11.05 18:09 
Tja, bevor wir uns jetzt über Sinn und Unsinn von Verhältnismäßigkeiten streiten,
wäre es wohl sinnvoller noch Info's vom Threadstarter zu erfragen über das tatsächliche Anforderungsprofil
seiner Meßdatenerfassung (wer und wieviele denn jetzt tatsächlich Meßdaten erfassen),
denn wenn nur eine Meßstation vorhanden ist, fände ich es mehr als dumm und dazu noch unangemessen
einen SQL-Server aufzusetzen.

Moin
luki.pas Threadstarter
Hält's aus hier
Beiträge: 10



BeitragVerfasst: Sa 19.11.05 18:20 
Hansa, vielen Dank für deine große Mühe. Ich denke, das hilft mir schon mächtig weiter. ID lass ich aber komplett raus, weil es eh nix bringt wenn man alle Werte in eine Spalte steckt und diese dann - wie du es gemacht hast, nur anhand der Kompressornummer unterscheidet.
Wenn ich es nach deinem Vorschlag mache sähe meine Tabelle dann so aus, richtig?

| Datum | Uhrzeit | Leistung | Kompressor NR | Druck |

Da der Druck unabhängig von den Kompressoren ist, hab ich dann zwar 4mal dieselben Druckwerte, aber wenn ich den Druck haben will, dann sortier ich einfach nach dem Datum und hole nur die Werte mit derselben Kompressornummer (haben ja alle die gleiche Druckentwicklung).

Wegen der Textdatei. Das Problem ist, dass das Gerät welches die Werte speichert und auf das ich keinen Einfluss habe, alles in eine Textdatei speichert. Die muss ich erstmal einlesen und umformatieren bevor ich mit den Werten arbeiten kann. Aber das Problem hab ich schon gelöst.

Jetzt muss ich nurnoch meine Arrays durch die DB ersetzen. Wie sieht es denn nun mit den Lizensen von Firebird, Oracle oder MS-SQL aus?
alzaimar
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 2889
Erhaltene Danke: 13

W2000, XP
D6E, BDS2006A, DevExpress
BeitragVerfasst: Sa 19.11.05 19:29 
Nimm Access, das ist recht schnell, jedenfalls schnell genug. Wichtiger als die DB sind sowieso wohlüberlegte Indexe. Access schafft ca. 20% der Insert-Performance einer MSDE, aber da Du nur eine TPS benötigst, ist das eh schnurz. Ich verwende den MS-SQL Server, aber jede andere DB, insbesondere Firebird tuts auch. Ich erwähne Access eigentlich nur deshalb, weil bei fast jedem PC die Jet-Engine installiert ist und viele eine Access-Version besitzen. Oder besser: Haben.

Hansa hat sicherlich recht, wenn er grundsätzliche Kriterien (Trigger etc.) anbringt, aber hier ist das imho overkill. Wenn Du mit den Daten noch mehr vorhast, dann besorg dir ne ordendliche DB.

_________________
Na denn, dann. Bis dann, denn.
hansa
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 3079
Erhaltene Danke: 9



BeitragVerfasst: Sa 19.11.05 21:05 
Zuerst zu der Tabellenstruktur : Ist mit Leistung nur die Maximalleistung gemeint ? Dann bräuchte man die ja nicht mitzuschleppen, da sie wohl über die Nr. eindeutig ist. Wird ein Kompressor ausgetauscht gegen einen mit anderer Leistung, dann gibt man dem eben die Nr. 5 und hat trotzdem noch die Daten von dem kaputten 4.

Was der Künstler :lol: meint ist wichtig, sofern das Programm in größerem Stil verbreitet werden soll. Auf die Jet-Engine von Access würde ich mich aber nicht verlassen. Wenn ich Ofice installiere, dann IMMER ohne Access. Dasselbe gilt für Delphi und BDE etc. Was soll ich damit ? Deshalb noch eine kleine Nebenfrage : Wenn die Festplatte verreckt ist und Windows (sonst nichts) wird neu installiert. Würde das Access Programm dann auch laufen ?

user profile iconstifflersmom hat folgendes geschrieben:
..denn wenn nur eine Meßstation vorhanden ist, fände ich es mehr als dumm und dazu noch unangemessen einen SQL-Server aufzusetzen.


Kann es sein, daß Du nur nicht genau weißt was das ist ? :mrgreen: Sollte es lediglich um eine Station gehen und ich will nicht großartig was installieren wie Alzaimer auch vorgeschlagen hat mit Access, dann geht es wohl nicht mehr einfacher als so (Voraussetzung nur : leere Festplatte + Windows) : ich kopiere mein Programm drauf, die Datenbank und noch eine DLL. Das ist dann das "Aufsetzen eines SQL-Servers" und zwar mit Firebird embedded.

Der entscheidende Vorteil ist nun dieser : erstens habe ich eine anständige nicht abgespeckte DB und das ohne Installation. Kommt noch eine Station dabei, dann lösche ich die DLL und muß mir 2 Min. Zeit nehmen, bis der "richtige" Server installiert ist und das wars dann. Keine Änderung am Programm oder der DB ! Die 2 Min. Zeit zum "SQL-Server aufsetzen" kann man sich natürlich auch direkt am Anfang nehmen. 8)

_________________
Gruß
Hansa
luki.pas Threadstarter
Hält's aus hier
Beiträge: 10



BeitragVerfasst: So 20.11.05 15:38 
Vielen vielen Dank. Habe mich jetzt ein wenig über Firebird schlau gemacht und denke, dass es eine gute Entscheidung ist.
Wenn ihr mir jetzt noch einen kleinen Tip geben könnt, wie ich meine Datenbank einrichte und mit Delphi ansteuere bin ich vollends zufrieden.
Achso und nochwas: Muss ich die Datenbank nur einmal erstellen oder ist dies bei jedem Programmaufruf erneut nötig?