Autor Beitrag
phoeni-x
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 18

Win XP pro, Vista, OpenSuSE 10.3 / 11.0, MAC OS X 10.5
Delphi 5 pro, Delphi 6 ent. Lazarus 0.9.26
BeitragVerfasst: Mo 06.03.06 20:02 
Hallo zusammen,

ich habe folgendes Problem:

Ich muss über eine select-Anweisung Datensätze in einem DBGrid anzeigen.
Soweit ja kein Problem ;-)

ABER:

- Ich habe einen Oracle DB Server, der über eine Standleitung angebunden ist (512 KBit)
- In der Tabelle sind derzeit ca. 150.000 Datensätze
- Ich MUSS!!! die BDE verwenden (ich weiss, totsünde!!!)

Das Resultat ist eine ziemlich langsame Lieferung des Ergebisses (ca. 40 Sekunden)

Ich habe meine select-Anweisung dahingehend schon optimiert, dass ich nur bestimmte Spalten in den
select mit einbeziehe (also kein select * from...) und mit "where" nur die wirklich notwendigen
raussuche. Allerdings sind das immer noch ca. 120.000 Datensätze.

Gibt es eine Möglichkeit, das Ergebnis der Query in kleinen Häppchen zu übertragen?
Ich muss in der Anzeige zunächst nur ca. 100 Datensätze anzeigen, bei Bedarf aber den Rest "nachfordern"

Oder, falls das nicht geht:

- das Ergebnis des Select auf 100 Datensätze zu begrenzen, und wenn die anderen dann noch benötigt werden,
dann in Gottesnamen die "große Abfrage" auszuführen.


Danke schon im voraus für Eure Hilfe
Bernhard Geyer
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starofftopic star
Beiträge: 721
Erhaltene Danke: 3



BeitragVerfasst: Di 07.03.06 09:10 
Normalerweise sollte (wenn die Einstellungen Grid/DB-Verbindung/...) passen eh nur die zur aktuellen Anzeige im Grid notwendigen Datensätze abgefordert werden. Aber jetzt könnte es noch sein das:

- Schon allein die Grund-Kommunikation einiges ein Zeit benötigt
- Die Abfrage auch mit "dicker" Leitung Zeit benötigt
- Durch irgendwelche Einstellung (BDE kenn ich mich nicht mehr aus) alle Datensätze sofort zum Client übertragen werden
- Im Code sowas wie MyQuery.Last oder MyQuery.RecordCount steht.
phoeni-x Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 18

Win XP pro, Vista, OpenSuSE 10.3 / 11.0, MAC OS X 10.5
Delphi 5 pro, Delphi 6 ent. Lazarus 0.9.26
BeitragVerfasst: Di 07.03.06 10:31 
Hallo,

wenn ich den select auf einem Oracle-Testserver im lokalen Netz ausführe, geht's rasend schnell (1 sekunde)
Der lokale Test-Server ist mit 100 MBit angebunden.
Die einzige Einstellung in der BDE, die meiner Meinung das zu sagen hätte, ist MAX ROWS. Diese Eigenschaft steht auf -1 (also alle)
Dass muss Sie aber auch, sonst kann der select nicht auf alle Datensätze zugreifen.
Im Code ist kein MyQuery.Last oder MyQuery.RecordCount enthalten.

Du hast recht, normalerweise sollten wirklich nur die zur Anzeige notwendigen Datensätze im Grid angezeigt werden, aber
so isses leider nicht.

Hast du noch ne Idee?

Danke
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Di 07.03.06 10:55 
Steht dein SQLQUERYMODE auf SERVER? Falls nicht, dann stelle das mal um.
phoeni-x Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 18

Win XP pro, Vista, OpenSuSE 10.3 / 11.0, MAC OS X 10.5
Delphi 5 pro, Delphi 6 ent. Lazarus 0.9.26
BeitragVerfasst: Di 07.03.06 11:01 
Ja, steht auf Server !
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Di 07.03.06 11:11 
Titel: Re: Große Datenmengen bei select übers Netzwerk (Oracle Serv
user profile iconphoeni-x hat folgendes geschrieben:
Gibt es eine Möglichkeit, das Ergebnis der Query in kleinen Häppchen zu übertragen?
Ich muss in der Anzeige zunächst nur ca. 100 Datensätze anzeigen, bei Bedarf aber den Rest "nachfordern"

Es gibt eine passende Where-Klausel für SQL:
ausblenden SQL-Anweisung
1:
2:
select * from tabelle
where rownum <= 100

Problem:
Wenn du ein order by drin hast, wird nur innerhalb der ersten 100 Datensätze sortiert. Sollten also bei den restlichen 119900 Datensätze enthalten sein, die gemäß Sortierung in die ersten hundert gehören, erscheinen die dort nicht.
Robert.Wachtel
ontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic starofftopic star
Beiträge: 895
Erhaltene Danke: 7

Windows 7 Ultimate x64
D5 Ent, D7 Arch, RAD Studio 2010 Pro, VS 2008
BeitragVerfasst: Di 07.03.06 11:30 
Titel: Re: Große Datenmengen bei select übers Netzwerk (Oracle Serv
Nunja, dann nimmt man halt bei Oracle z.B.

ausblenden SQL-Anweisung
1:
2:
3:
select * from
(select * from tabelle order by wasweissich)
where rownum <= 100
jasocul
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 6395
Erhaltene Danke: 149

Windows 7 + Windows 10
Sydney Prof + CE
BeitragVerfasst: Di 07.03.06 11:32 
Das funkioniert aber nur, wenn die Sortierung wirklich auf dem Server durchgeführt wird. Ich weiß nicht, was die BDE mit dem Statement macht. Oder hast du da schon Erfahrungen gemacht? BDE ist so lange her. :wink:
Robert.Wachtel
ontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic starofftopic star
Beiträge: 895
Erhaltene Danke: 7

Windows 7 Ultimate x64
D5 Ent, D7 Arch, RAD Studio 2010 Pro, VS 2008
BeitragVerfasst: Di 07.03.06 14:54 
Ich wette, bei mir ist es noch länger her :mrgreen: Aber da Du ja schon
Zitat:
SQLQUERYMODE auf SERVER
erwähntest, gehe ich mal stark davon aus, dass das Statement auf dem Server ausgeführt wird. Nebenbei würde die BDE mit so einem Statement garantiert überfordert sein, geschweige denn, dass sie ROWNUM kennt.
raiguen
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 374

WIN 2000prof, WIN XP prof
D7EP, MSSQL, ABSDB
BeitragVerfasst: Di 07.03.06 17:19 
Mooin :-)

AFAIK ist die BDE ne reine Desktop-'anwendung', sprich selbst SQL-Statements werden über BDE gehandelt. Und ferner: alle Datensätze werden 'in einem Rutsch' übertragen und leider nicht scheibschenweise :-( Somit wirst Du wohl mit der langen Antwortzeit leben müssen... und bei einer 512k-Leitung dauert das halt ewig löänger als wenn du ne 100MBit-Daten-Super-Highway-Anbindung hast.

Ist das ne fertige Anwendung oder kannst Du im Code was optimieren?

Gruß
Grenzgaenger
Ehemaliges Mitglied
Erhaltene Danke: 1



BeitragVerfasst: Di 07.03.06 21:38 
du hast schon den richtigen schalter erwischt.

ausblenden Delphi-Quelltext
1:
maxrows = -1					


sind alle datensätze auf einmal. setz den schalter doch z.b. auf

ausblenden Delphi-Quelltext
1:
maxrows = 100					


dann musst du den rest per fetch nachfordern.

viel erfolg.

EDIT: maxrows gibts nich, hab nachgesehen... aber schau dir mal die hilfe zur methode fetchAll an.


Zuletzt bearbeitet von Grenzgaenger am Di 07.03.06 23:10, insgesamt 1-mal bearbeitet
Robert.Wachtel
ontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic starofftopic star
Beiträge: 895
Erhaltene Danke: 7

Windows 7 Ultimate x64
D5 Ent, D7 Arch, RAD Studio 2010 Pro, VS 2008
BeitragVerfasst: Di 07.03.06 21:44 
user profile iconraiguen hat folgendes geschrieben:
AFAIK ist die BDE ne reine Desktop-'anwendung', sprich selbst SQL-Statements werden über BDE gehandelt.


Nein, die BDE ist eine Datenzugriffsschicht. Sie bietet nur die Möglichkeit, bei reinen Desktop-Datenbanken einen SQL-Layer "dazwischenzuschieben".
Quake User
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 159



BeitragVerfasst: Di 07.03.06 23:03 
Titel: Re: Große Datenmengen bei select übers Netzwerk (Oracle Serv
Was willst Du mit 120.000 ! Datensätzen am Client? Das ist nicht der Weg.
Überlege, welche Datensätze dein User braucht.

Ggf. erklärst Du wofür das Programm genau dienen soll. Unter o.g. Prämisse


user profile iconphoeni-x hat folgendes geschrieben:


- Ich habe einen Oracle DB Server, der über eine Standleitung angebunden ist (512 KBit)
- In der Tabelle sind derzeit ca. 150.000 Datensätze
- Ich MUSS!!! die BDE verwenden (ich weiss, totsünde!!!)

Warum?

Gibt es eine Möglichkeit, das Ergebnis der Query in kleinen Häppchen zu übertragen?
Ich muss in der Anzeige zunächst nur ca. 100 Datensätze anzeigen, bei Bedarf aber den Rest "nachfordern"

Grenzgaenger
Ehemaliges Mitglied
Erhaltene Danke: 1



BeitragVerfasst: Di 07.03.06 23:12 
tja, der user will für das nächste halbe jahr beschäftigt sein ;-) und ausserdem braucht man einen grund das netzwerk aufzubohren ;-)

ps: Quake hast recht. das prog. design muss ziemlich übel sein... vielleicht sollt er besser über die bücher gehen und sich fragen was er braucht.
phoeni-x Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 18

Win XP pro, Vista, OpenSuSE 10.3 / 11.0, MAC OS X 10.5
Delphi 5 pro, Delphi 6 ent. Lazarus 0.9.26
BeitragVerfasst: Di 21.03.06 12:58 
Hallo,

danke für den Tipp, das Statement:
ausblenden SQL-Anweisung
1:
2:
3:
select * from
(select * from tabelle order by wasweissich)
where rownum <= 100


funktioniert, aber nur unter Oracle 9i und höher.

Der Server, der später aber verwendet wird, ist ein Oracle 8 Server.
Da funktioniert das ganze schon nicht mehr.

Fehler: ORA-00923: FROM keyword not found where expected.

Wenn ich das richtig verstehe, ist das Oracle-Statement in INLINE-VIEW.
Kann Oracle 8 damit noch nicht umgehen ?