Hallo zusammen,

ich wende mich an euch um mich beraten zu lassen und hoffe ich habe den richtigen Forum bereich gefunden.

Eine Beispiel Anwendung:

Ich möchte in einem Zeitabstand einen Messwert erfassen für eine gewisse Arbeit, diese Arbeit hat ein Anfang und ein Ende, jedoch kann die Dauer immer unterschiedlich sein.

Hier meine Fragen wobei ich nicht weiß wie es am besten zu lösen wäre:

1: Wenn ich die Messwerte in eine Datenbank in bestimmten Intervallen ablege, wie bekomme ich diese Daten aus einer Datenbank noch zusätzlich in eine einzelne Datei.
2: Welcher Dateiformat wäre für die oben beschriebene Ablage zum Empfehlen bzw. was verwendet man für solche Anwendungsfälle generell?
3: Wie bekomme ich Messwerte anstatt in eine Datenbank direkt in eine Datei abgelegt, welche Methoden sind da zu empfehlen?
4: Wie bekomme ich diese Daten wieder zurück auf meinen Bildschirm meiner Anwendung bzw. wie kann ich solche Daten wieder anzeigen, welche Methoden sind da zu Empfehlen?

Ich arbeite mit Visual Studio 2012 - C#

Würde mich sehr freuen wenn ihr mich da beraten könnt.

Viele Grüße und vielen Dank im voraus.

Für eine Empfehlung wären die Rahmenbedingungen entscheidend.

a.) Wie viele Messwerte werden dauerhaft gespeichert.
b.) Wie schnell müssen Messwerte angefügt werden können.
c.) Wie sollen die Daten weiterverwendet werden.

Je nach Antwort wäre dann noch wichtig ob die zusätzliche Datei ein sofort Ding ist (die muss gleichzeitig mitgeschrieben werden um auch sofort zur Verfügung zu stehen) oder ist es eher ein zu einen beliebigen Zeitpunkt erstellbar Export aus der Datenbank. Du deutest unter 3 zwar schon ersteres an. Es klingt aber merkwürdig gleichzeitig 2 Formate schreiben zu wollen. Oder ist die Überlegung eher eine Datei anstatt einer Datenbank zu verwenden und nicht zusätzlich? Wenn du darüber nachdenkst nur eine Datei zu verwenden ist es wichtig zu Wissen wie du gedenkst die Daten auszuwerten. Einen Datenbank bringt ja eine einfache Auswertemöglichkeit mit (im simpelsten Fall halt SQL) bei einer Datei fehlt dir jegliche Infrastruktur. Wenn deine Auswerte bedeutet man muss eh alle Daten in den Speicher laden wäre das aber möglicherweise irrelevant.

Hallo Ralf danke für deine Antwort freue mich das du mich hier berätst.

a.) Es wären an die 120 (Max 240) Messwerte die ich mir vorstelle.
b.) Die Messwerte werden dann in einem Intervall von 500ms angefügt.
c.) Die Daten sollten schon kurz nach dem Vorgang wieder angezeigt werden können aber auch zu einem späteren Zeitpunkt zur Verfügung stehen.

Um es zu vereinfachen, ich würde gerne die Daten in einer Datenbank haben aber bei Bedarf als eine Datei abspeichern können.
Diese Datei würde ich dann gerne wieder öffnen können und den Inhalt Anzeigen z.B. an einer anderen Stelle an einem anderen Ort.

Danke und Viele Grüße

Zitat:

a.) Es wären an die 120 (Max 240) Messwerte die ich mir vorstelle. b.) Die Messwerte werden dann in einem Intervall von 500ms angefügt.

Die Frage hast du vermutlich missverstanden. Ich wollte bei a.) den ungefähren Gesamtumfang wissen als das was sich nach Monate/Jahren so anhäuft. Oder wie viel an Daten pro Zeiteinheit zusammenkommt.
1000 Datensätze/Tag oder 1Millionen Datensätze/Monat oder sowas. Was du schreibst bzw. ich so verstehe sind bei 240 Messwerte in 0.5 Sekunden Intervall die Anwendung nach 2 Minuten am Kapazitätsende. Das kannst du so nicht gemeint haben

Angesichts von "ich würde gerne die Daten in einer Datenbank haben aber bei Bedarf als eine Datei abspeichern können" würde ich jetzt mal SQLite empfehlen.

Das ist eine Dateibasierte Datenbank. Das heißt, du hast zwar eine ganz normale Datei (der Endbenutzer braucht keinen fetten Datenbankserver installieren) aber du kannst trotzdem mit einigen Datenbank-Features drauf zugreifen. Das lässt sich wohl auch einfach über ein nuget-Package installieren: www.nuget.org/packages/System.Data.SQLite/
Leider muss ich gestehen, dass ich noch nicht viel damit gemacht habe, aber was ich gesehen uns gelesen habe, sieht sehr vielversprechend aus

Hallo Ralf, tut mir leid das ich erst jetzt Antworte.

Ich habe mir die geplante Anwendung mal durch den Kopf gehen lassen folgendes ist entstanden :

Dauerhaft sollen pro Tag alles mal grob gerechnet 5,5MB bzw. 1440 Datensätze gespeichert werden, es wären in meinem Fall letztendlich 120 Messwerte pro Minute.

Allgemein möchte ich bei einem Prozess der eine Arbeit durchführt (Dauer eines Prozesses 60s) einen 32bit Wert z.B. eine Temperatur in 0,5s Schritten ablegen und als Datei abspeichern.
Diese Datei sollte dann nach dem Prozess in eine Datenbank abgelegt werden so das ich diese unter einer bestimmten ID wiederfinden kann.
Zusätzlich soll es möglich sein diese Messwerte nach dem Prozess direkt anzeigen zu können oder auch bei bedarf, weiterhin sollte diese Datei am besten bei bedarf exportierbar sein z.B. speichern auf einen USB Stick.

Um die Daten sicher speichern zu können, habe ich eher daran gedacht diese in eine Datei lokal in einem PC zu Speichern, falls der Intervall Anstatt 500ms dann irgendwann 10ms werden sollte, will ich Datenverluste vermeiden wenn die Datenbank im Extremfall weiter entfernt ist oder anderseits überlege ich die Datensätze auf einer kleinen lokalen Datenbank zu speichern und dann nach Prozessende ohne Stress in eine Datei abzulegen .... . Ist der Gedanken weg so richtig?

Viele Grüße und Danke.

Hallo jfheins,

danke für den Link gerne schaue ich mir das an.
Du sagtest du hast noch nicht viel damit gemacht, würde mich aber interessieren was dieses nicht viel war?
Welche Daten hast du da gespeichert und in welchem Umfang?

Würd mich freuen wenn du da was zu schreiben würdest.

Viele Grüße

Zitat:

Ist der Gedanken weg so richtig?

Weiß noch nicht Ich habe den tatsächlichen Bedarf für eine Datenbank noch nicht rausgehört.

Was du einen Prozess nennst (das was 60 Sekunden dauert) würde in deiner Überlegung einer Datei entsprechen?`
Und diese Prozesse sind unabhängig voneinander? Es gibt also keine Prozessübergreifende Auswertung oder sowas in der Richtung?
Dann sehe ich keinen Bedarf für eine Datenbank und würde gleiche nur die Dateien erstellen.

In dem Prozess wird sagen wir mal in 60s ein Kuchen gebacken (Absoluter Schwachsinn aber gilt nur als Beispiel).

Der Kuchen wird dann eine eigene ID haben und unter der ID wird dann die Back Temperatur als Datei in eine Datenbank gelegt.
Vorerst wäre eine Datenbank nur dafür angedacht. Die aktuellen Messwerte im Prozess werden auf einem Trend angezeigt.

Wenn es zu dem Thema anscheinend nach einer Datei aussieht, würde mich sehr interessieren wie weit die Grenzen für eine Datei sind.
Könnte ich Problemlos 10 * 120 Messwerte pro Minute aufnehmen? Gibt es da Kapazität Grenzwerte?

Würde dort z.B. eine XML Datei in Frage kommen? Wichtig wäre für mich das ich die Messwerte aus der Datei heraus wieder anzeigen kann.

Ralf was meinst du genau mit:

Zitat:

Und diese Prozesse sind unabhängig voneinander? Es gibt also keine Prozessübergreifende Auswertung oder sowas in der Richtung?

Viele Grüße

mkRE hat folgendes geschrieben :

Wenn es zu dem Thema anscheinend nach einer Datei aussieht, würde mich sehr interessieren wie weit die Grenzen für eine Datei sind. Könnte ich Problemlos 10 * 120 Messwerte pro Minute aufnehmen? Gibt es da Kapazität Grenzwerte?

Also wenn es da Grenzwerte gibt, dann wohl die Performance des Speichermediums und die Maximalgröße einer Datei.

Hat NTFS eine Obergrenze? Ich glaube nicht
Bis Du da eine Grenze erreicht hast, gibt es die neue 3D XPoint-Technik (Spannende Sache, unbedingt mal danach suchen ^^) in jedem PC

Die Performance-Geschichte:
10 * 120 Messwerte pro Minute, das heißt, bei jedem Messwert bleiben etwa 50ms, das ganze zu schreiben.
Ob das knapp wird, kann ich nicht beurteilen. Wenn es pro Messung nur einzelne Integer-Werte sind und die Messung selber schnell genug ist, sollte das klappen.
Alternativ kannst Du die Werte sammeln und in einem seperaten Thread z.B. alle 30 Sekunden auf die Platte schreiben.
Ob das alles ist: Probiere es aus. Der Flaschenhals wird hier die HDD sein - denke ich

mkRE hat folgendes geschrieben :

Würde dort z.B. eine XML Datei in Frage kommen? Wichtig wäre für mich das ich die Messwerte aus der Datei heraus wieder anzeigen kann.

XML würde ich bei sowas nicht nutzen. Besonders, wenn Du auch mal 1200 Werte pro Minute anpeilen willst, wird XML problematisch.
Der Grund ist, dass XML im Grunde immer komplett geladen und dann am Stück wieder geschrieben werden muss, das wäre ein riesiger Overhead, der nicht nötig ist.
Besser wäre ein einfaches Format (irgendwas simples, Trennzeichen getrennt zum Beispiel), wo ein Datensatz in einer Zeile liegt. Das lässt sich simpel schreiben und lesen, außerdem kannst Du einen Stream öffnen und ohne viel Zeitverlust den neuen Wert stumpf ans Ende anhängen.



Ich habs oben schon geschrieben, aber nochmal zusammen gefasst:
Ich würde die Messwerte sammeln und in einem bestimmten Zeitintervall auf die Festplatte schreiben. Wann, das solltest Du daran fest machen, wie viel Verlust (zeitlich betrachtet) Du verschmerzen kannst.
Wenn es sich um einfache atomare Werte handelt, kann das ruhig in einer Datei zeilenweise z.B. mit Trennzeichen getrennt geschrieben werden. Lesen und Schreiben ist schnell und einfach möglich. Allerdings können komplexere Daten schnell Probleme machen. XML - finger weg ^^
Eine Datenbank wie SQLite ist vielleicht auch ganz brauchbar. Pro Tag eine neue Datenbank-Datei, das lässt sich leicht kopieren und einen besseren Mittelweg zwischen Flexibilität und Performance findest Du eigentlich nur noch bei NoSQL.
Auf Basis der einzelnen Datenbank-Dateien kannst Du dann arbeiten. Export in z.B. CSV ist simpel, anzeigen auch und Schreiben der Daten ist definitiv schneller, als XML. Gleichzeitig lässt es sich aber leichter bzw. komplexer ergänzen, also bei einem eigenen zeilenbasierten Format.

Hallo zusammen,

ich denke ich würde der Einfachheit halber eine DataTable nehmen, die Messpunkte immer in .Rows.Add(neuer Messpunkt) mitführen und wenn die Messung vorüber ist mit .WriteToXML(\..\DeineMessID.xml) weg schreiben. Für jede Messung wird eine Datei angelegt, die mit DataTable.ReadXML(DeineMessID.xml) wieder eingelesen werden kann.

Mit einer serialisierbaren Klasse und einer Liste würde das natürlich auch gehen, da könnte man noch prima andere Werte mit speichern. Aber wie gesagt, mit einer DataTable und den WriteXML und ReadXML ist das sehr einfach und schnell gelöst.

Messen ist immer eine interessante Angelegenheit

Ich bin ja so gar kein Freund von der DataTable
Untypisiert und es wirkt für mich wie eine Lösung, die Falheit und mangels besseren Wissens ausgewählt wurde.
Dann doch lieber die Klasse, deren Objekte in eine Liste kommen und das ganze wird dann mit dem XmlSerializer serialisiert.

Dann bleibt aber noch das Problem: Tritt irgendwo ein Fehler auf, kann es im schlimmsten Fall sein, dass die ganze Messung für'n Ar*** ist.
Wird direkt auf die Platte geschrieben, kann theoretisch alles passieren, solange die HDD noch in Takt ist, gibt es alle Messungen bis zu dem Punkt, wo abgebrochen wurde.

Also wenn ich das richig sehe, besteht dein Datensatz nur aus einem Integer Wert, korrekt? Wenn der Datensatz wirklich so primitiv ist würde ich einen BinaryWriter nehmen. Der ist schnell und erzeugt keinen unnötigen overhead wie XML Tags. Da braucht ein Integer tatsächlich nur 4 Byte.

Was die Performance der HDD angeht: ich meine, irgendwo gelesen zu haben, dass Windows alle HDD Zugriffe puffert. Solange du also die Datei offen lässt, solltest du dir keine Gedanken darüber machen.

C# hat folgendes geschrieben :

Was die Performance der HDD angeht: ich meine, irgendwo gelesen zu haben, dass Windows alle HDD Zugriffe puffert. Solange du also die Datei offen lässt, solltest du dir keine Gedanken darüber machen.

Wie sieht das denn aus, wenn der Stream nicht geschlossen wird?
Behält Windows die Daten im Puffer und schreibt sie weiter in die Datei, oder gehen die verloren, wenn z.B. das Programm abschmiert?

Palladin007 hat folgendes geschrieben :

C# hat folgendes geschrieben : Was die Performance der HDD angeht: ich meine, irgendwo gelesen zu haben, dass Windows alle HDD Zugriffe puffert. Solange du also die Datei offen lässt, solltest du dir keine Gedanken darüber machen. Wie sieht das denn aus, wenn der Stream nicht geschlossen wird? Behält Windows die Daten im Puffer und schreibt sie weiter in die Datei, oder gehen die verloren, wenn z.B. das Programm abschmiert?

Wenn der Stream nicht geschlossen wird und auch kein flush durchgeführt wurde, dann sind die noch nicht geschriebenen Daten bei einem Absturz des Programms verloren.
Aber auch nach dem Schließen des Streams können die Daten noch verloren gehen, wenn Windows selbst abstürzt, oder der Strom ausfällt, bevor Windows die Daten aus seinem Buffer wirklich auf die HDD geschrieben hat.

Windows hat eine Caching Funktion, die kann an- und ausgeschaltet werden. Die Cache ist dann einfach nur ein Bereich im RAM. Wenn Daten auf die Platte geschrieben werden sollen, werden sie statt dessen in den RAM geschrieben und Windows wird benachrichtigt, dass noch offene Speicheroperationen anstehen. Sobald dann Kapazitäten frei sind, werden die Daten vom Cache auf die Platte geschrieben und aus dem Cache entfernt.

mkRE hat folgendes geschrieben :

Ralf was meinst du genau mit: Zitat: Und diese Prozesse sind unabhängig voneinander? Es gibt also keine Prozessübergreifende Auswertung oder sowas in der Richtung?

Du beschreibst deine Prozesse so als hätten sie mit den anderen nix zu tun. Wenn die nix miteinander zu tun haben und es keine gemeinsame Auswertung gibt (z.B. erzeuge Statistiken über alle Prozesse), also etwas wo eine Datenbank stark drin wäre, sehe ich nicht warum man die in einer Datenbank zusammenwerfen sollte wenn das einzige was sie da tun zusammen rumzuliegen ist. Schon gar nicht wenn noch im Raum steht gleichzeitig Dateien mit den gleichen Daten erzeugen zu wollen.

Um zu entscheiden welches Fileformat (wenn man ohne DB arbeitet) das richtige wäre, überlage ob

a.) das File sofort bei Eingang des Messwerts geschrieben werden muß oder reicht ein Flush zu einem oder mehreren bestimmten Zeitpunkten (z.B. am Ende der Messreihe)
b.) Sollte das File auch ohne deine Anwendung einsehbar oder sinnvoll weiterverarbeitbar sein
c.) Das Format der Messwerte. ISt es wirklich einfach nur ein Wert oder doch mehr (z.B. Wert, Zeitpunkt, gemessene Resource etc.)

Palladin007 hat folgendes geschrieben :

Ich bin ja so gar kein Freund von der DataTable Untypisiert und es wirkt für mich wie eine Lösung, die Falheit und mangels besseren Wissens ausgewählt wurde. Dann doch lieber die Klasse, deren Objekte in eine Liste kommen und das ganze wird dann mit dem XmlSerializer serialisiert. Dann bleibt aber noch das Problem: Tritt irgendwo ein Fehler auf, kann es im schlimmsten Fall sein, dass die ganze Messung für'n Ar*** ist. Wird direkt auf die Platte geschrieben, kann theoretisch alles passieren, solange die HDD noch in Takt ist, gibt es alle Messungen bis zu dem Punkt, wo abgebrochen wurde.

Hi,

ich habe das auch nur der Einfachheit wegen vorgeschlagen. Für diesen Anwendungsfall würde das sehr gut funktionieren und wäre in ca. 5min realisiert.

Mit einem Fehler beim messen ist das eh so eine Sache. Bei mir ist das so, wenn ein Fehler auftritt, ist die Messung für den A.... und muss wiederholt werden. Gibt es Messungen die man wieder ab der Unterbrechung aufnehmen kann? Da wo ich herkomme nicht.

Hallo Zusammen, tut mir leid das ich mich erst jetzt melde.

Allgemein gefallen mir wirklich alle Lösungsvorschläge am meisten wegen der Einfachheit halber von Christoph1972 jedoch bitte nimmt das nicht persönlich.
Es wird meine erste Anwendung in Hochsprache in dieser Form sein daher frage ich vorab nach Ideen von euch aber gerne möchte ich noch alle Frage beantworten und die Antwort abwarten .

Achso noch ein paar Fragen:

Palladin007 hat folgendes geschrieben :

Dann doch lieber die Klasse, deren Objekte in eine Liste kommen und das ganze wird dann mit dem XmlSerializer serialisiert.

Wird mit listen z.B. eine TextDatei gemeint?

Palladin007 hat folgendes geschrieben :

Wird direkt auf die Platte geschrieben, kann theoretisch alles passieren, solange die HDD noch in Takt ist, gibt es alle Messungen bis zu dem Punkt, wo abgebrochen wurde.

Was wird genau mit auf Platte schreiben gemeint und welche Datei kann ich mir da vorstellen?

Vielen Dank an alle.

Hallo Ralf,

die Messwerte werden nur zu dem jeweiligen "Kuchen" ausgewertet, gemeinsame Auswertungen sind (noch) nicht eingeplant.

Ralf Jansen hat folgendes geschrieben :

a.) das File sofort bei Eingang des Messwerts geschrieben werden muß oder reicht ein Flush zu einem oder mehreren bestimmten Zeitpunkten (z.B. am Ende der Messreihe) b.) Sollte das File auch ohne deine Anwendung einsehbar oder sinnvoll weiterverarbeitbar sein c.) Das Format der Messwerte. ISt es wirklich einfach nur ein Wert oder doch mehr (z.B. Wert, Zeitpunkt, gemessene Resource etc.)

Zu a: Es reicht hier das die Messwerte zu einem bestimmten Zeitpunkt geschrieben werden aber zusätzlich noch auf dem Bildschirm bis zum beginn eines neuen Prozesses erhalten bleiben.
Zu b: Ja es sollte möglich sein auch ohne meiner Anwendung die Messwerte zu sehen ( z.b. Excel).
Zu c: Danke das du das angesprochen hast habe ich komplett vergessen, natürlich möchte ich auch den Zeitpunkt mit schreiben.

Danke

Viele Grüße