| Autor |
Beitrag |
Gekko
      
Beiträge: 49
Win XP, Vista
Visual C# Express, Python Ruby
|
Verfasst: Fr 09.06.06 10:13
Ich versuche für ein LAN ein effizentes Verteilen von grösseren Datenmengen zu realisieren, ohne explizit einen Fileserver dazu zu verwenden. Nach meinen Überlegungen wäre wohl am besten, ein P2P Netzwerk aufzuziehen.
Ich glaube das P2P mit Torrent so funktioniert:
Ich setze auf einem Rechner einen Torrent-Tracker auf. Im Client muss man diesen Tracker dann eintragen.
Jetzt kann man mittels Client (z.B. utorrent oder ähnliches) eine oder mehrere Dateien in ein Torrent eintragen und dieses über z.B. eine Webapplikation zum Download anbieten und fängt an die mit dem Torrent verknüpften Daten zu seeden. Ein weiterer Client lädt sich eben jenes Torrent dann, verbindet sich zum Tracker, der dann die notwendigen Clients liefert, auf dem schon Junks existieren und lädt somit von mehreren Clients gleichzeitig, die dieses Torrent seeden.
Ich habe NICHT vor den Torrentracker öffentlich zu machen, sondern in einem abgeschotteten LAN zur Verteilung von Daten zu verwenden, und zwar HAUPTSÄCHLICH um zu verstehen wie Torrent funktioniert. Was ich nicht bräuchte sind Alternativen hierzu.
Frage 1:
Funktioniert Torrent in etwa so wie ich es vermute?
Frage 2:
Hat wer Informationen (urls, Guides, Howto's, etc.) wo man einen Torrenttracker herkriegt und wie es genau funktioniert?
_________________ ++[>++++>>+++++<<<-]>[>+++++++++<-]>-.>[>+++++<-]>[>++<-]>+.++++++..++++.
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Fr 09.06.06 12:02
Gekko hat folgendes geschrieben: | | Nach meinen Überlegungen wäre wohl am besten, ein P2P Netzwerk aufzuziehen. |
Wenn du so viele Peers hast. Wie sieht dein Netzwerk aus und warum kein Fileserver?
| Gekko hat folgendes geschrieben: | | Ich setze auf einem Rechner einen Torrent-Tracker auf. |
Ja.
| Gekko hat folgendes geschrieben: | | Im Client muss man diesen Tracker dann eintragen. |
Nein, der Tracker steht zusammen mit den Prüfsummen und Dateinamen im Torrent.
| Gekko hat folgendes geschrieben: | | Jetzt kann man mittels Client (z.B. utorrent oder ähnliches) eine oder mehrere Dateien in ein Torrent eintragen und dieses über z.B. eine Webapplikation zum Download anbieten und fängt an die mit dem Torrent verknüpften Daten zu seeden. |
Ja. Der Torrent kann aber auch einfach über eien Apache bereitgestellt werden: Torrents in ein Verzeichnis packen, Apache Directory Listing aktivieren und fertig.
| Gekko hat folgendes geschrieben: | | Ein weiterer Client lädt sich eben jenes Torrent dann, verbindet sich zum Tracker, der dann die notwendigen Clients liefert, auf dem schon Junks existieren und lädt somit von mehreren Clients gleichzeitig, die dieses Torrent seeden. |
Ja, auch wenn Junk etwas anderes ist
| Gekko hat folgendes geschrieben: | | Funktioniert Torrent in etwa so wie ich es vermute? |
Siehe oben (alle Antworten beziehen sich auf trackerbasiertes BitTorrent, seit einiger Zeit existiert eine "trackerless" Version, die über DHTs die anderen Peers findet und in dem ursprünglichen Sinne keine Tracker mehr verwendet).
| Gekko hat folgendes geschrieben: | | Hat wer Informationen (urls, Guides, Howto's, etc.) wo man einen Torrenttracker herkriegt und wie es genau funktioniert? |
Tracker gibt's wie Sand am mehr. Azureus ist beispielsweise ein BitTorrent-Client, der einen Tracker gleich integriert hat. Das macht es besonders einfach, den Rechner, auf dem am Anfang die Dateien liegen, als Tracker zu benutzen, weil du alles unter einem Hut hast und die Bedienung von Azureus vorbildlich einfach ist. Ansonsten ist im Mainline-Client (bittorrent.com) für Linux (nicht für Windows!) ebenfalls ein Tracker enthalten (bttrack). Weitere Tracker sind bnbt und Bytemonsoon, letzterer ist in PHP geschrieben, läuft also auch ohne root-Zugriff auf den Server.
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
digi_c
      
Beiträge: 1905
W98, XP
D7 PE, Lazarus, WinAVR
|
Verfasst: Fr 09.06.06 12:30
So richtig verstehe ich das Problem auch nciht, wenn du einen Tracker anstatt eines Fileservers einsetzt hast du auch die Nachteile Single-Point-of-failure sowie ein Rechner der immer laufen muss.
O.k. du müsstest nicht massig Platz auf einem Rechner vorhalten aber was kosten heute noch Festplatten...
Backup wird bei dir dann auch schwierig.
Was für Daten sind das denn, wäre Streamen mit Multicast nicht vielleicht besser?
Das Problem im LAN ist doch nicht die Bandbreite, die wird doch immer zu 100% ausgelastet, ob nun per DFS oder FTP oder Bittorrent.... Entscheident ist doch der Anteil von Nutzdaten, ich glaube da ist FTP ungeschlagen (ja nicht wirklich resistent gegen Fehler...).
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Fr 09.06.06 13:03
digi_c hat folgendes geschrieben: | | wenn du einen Tracker anstatt eines Fileservers einsetzt hast du auch die Nachteile Single-Point-of-failure sowie ein Rechner der immer laufen muss. |
Der Single-Point ist deutlich weniger belastet und der Rechner, der immer laufen muss, kann auch 'ne alte P90-Krücke sein, weil auf BitTorrent-Trackern praktisch kaum Last entsteht (zumindest nicht in den Größenordnungen, die ich hier erwarte).
digi_c hat folgendes geschrieben: | | O.k. du müsstest nicht massig Platz auf einem Rechner vorhalten aber was kosten heute noch Festplatten... |
Wenn er nicht alle Daten auf einem physikalischen Rechner hat, wird er Probleme bekommen, sobald der Rechner, der die Daten hat, aus dem Netz geht. Er sucht anscheinend eine Alternative zu einem Fileserver, und da ist die einzige Alternative nur, alle Daten auf einem Rechner zu haben, oder entsprechend auf einem Cluster, das ständig online ist.
digi_c hat folgendes geschrieben: | | Das Problem im LAN ist doch nicht die Bandbreite, die wird doch immer zu 100% ausgelastet |
Folgendes Szenario: A hat Dateien, die B und C haben wollen und alle haben den gleichen Uplink bei synchroner Datenübertragung. B und C haben dann nur 50% Last für ihren Downstream, während A volle Last für den Upstream hat.
Bei BitTorrent würde ein Netzwerk entstehen, das sich selbst trägt, sobald das erste vollständige Chunk des Torrents übertragen wurde. A schickt dann Chunk #1 an B und Chunk #2 an C. Sobald diese beiden fertig sind, fängt B an, seinen Upload auszulasten und Chunk #1 C zur Verfügung zu stellen, während C das gleiche tut und Chunk #2 B zur Verfügung stellt. BitTorrent (und die meisten anderen modernen P2P-Techniken) sind defakto ein Mechanismus, um Netzlast besser zu verteilen, einzelne Knoten zu entlasten und die vorhandene Infrastruktur so gut wie möglich auszunutzen.
Insofern ist die Überlegung nicht verkehrt.
Allerdings hakt es an der Tatsache, daß in einem LAN die Clients üblicherweise das gesamte Netz auslasten *können*, ohne daß es Probleme gibt. Im Internet sind die großen Backbones meist deutlich performanter als die Upstreams einzelner Clients (Direktverbindungen einiger RZs mal ausgenommen). Hinzu kommt, daß viele Internetverbindungen (nicht nur in .de) asynchron sind, dein Downstream also größer ist als der Upstream. Das alles ist in einem LAN nicht gegeben. Ein Client hat einen Downlink von 100 ode 1000 MBit/s und kann diese jederzeit und immer ausnutzen, weil andere Clients einen entsprechenden Uplink von 100, bzw 1000 MBit/s haben. Problematisch wird es nur bei oben beschriebenem Szenario, wenn viele Clients viele Daten haben wollen, die nur ein einziger anderer Client besitzt.
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
tommie-lie
      
Beiträge: 4373
Ubuntu 7.10 "Gutsy Gibbon"
|
Verfasst: Fr 09.06.06 13:26
Übrigens könnte der Flaschenhals auch bei einer geringen Backplane-Bandbreite des verwendeten Switches liegen, wenn dieser die Daten puffert ("store and forward") und somit die Netto-Gesamtbandbreite auf die Hälfte der Buttobandbreite des Backplanes minimiert. Hat der Switch hinreichend viele angeschlossene Clients, die sich gegenseitig Daten schicken und ist zudem der Switch hinreichend billig, könnte das Backplane hier Probleme verursachen, insbesondere bei 1000Base-*- oder 10GBase-*-Netzen.
Selbst bei BitTorrent oder anderen P2P-Netzen würde man also außer mit teurer Hardware niemals die tatsächlich rechnerisch maximale Datenrate bekommen, wenn immer nur jeweils zwei Rechner miteinander kommunizieren.
Kleins Beispiel: Ein 24-Port-1000Base-T-Switch, an dem 24 Clients hängen, von denen 12 den anderen 12 Daten schicken und umgekehrt. Man hat also 12 Pärchen von Rechnern, die sich untereinander nicht stören, aber zusammen im Full-Duplex kommunizieren. Ein Pärchen hat somit 1Gb/s in die eine Richtung und 1Gb/s in die andere Richtung, das macht pro Pärchen 2Gb/s. Das macht man 12 mal, also müsste das Backplane eine Kapazität von 12*2Gb/s = 24Gb/s haben, was schon eine enorme Leistung für Speicher und DSPs wäre. Voll ausnutzen wird man alle Ports eines Switches also wohl nur mit entsprechend teuren Switches, deren Backplane auf die hohen Bandbreiten ausgelegt ist. Je mehr Clients Bandbreite einfordern, desto eher geht das Netzwerk selbst in die Knie.
_________________ Your computer is designed to become slower and more unreliable over time, so you have to upgrade. But if you'd like some false hope, I can tell you how to defragment your disk. - Dilbert
|
|
|