Server bei Großprojekten wie wkw?

R

realy

Aktives Mitglied
Hallo!
Mich würde interessieren, wie solche Großprojekte wie "werkenntwen" z.B. ihre Datenströme verabeiten. Welche Server (Namen/Modelle/Bezugsquellen?) werden bei einem solchen Traffic genutzt? Oder welche Dienstleister (Namen?) in Anspruch genommen? Was benötigt jemand, der ein so großes Projekt betreibt denn alles? Mit ein paar Servern bei Hetzner ist es in dieser Liga ja nicht mehr getan.
Danke für eure Infos!
 
Als erstes braucht er schon man Wissen in dem Bereich und dann wird die Last natürlich auf mehrere starke Server verteilt. DAs ist je nach Größe das Projekte verschieden aber wenn du dir z.B. Facebook ansiehst musst du schon in Dimensionen rechnen die sehr nah an Google rankommen
 
Das Problem sind nicht die Server.

Das Problem ist die Software.

Klassische Modelle nehmen eine immer größer werdende Datenbank, auf die verschiedene Webserver zugreifen.

Bei Datenbanken kann man Netzwerke von Datenbankservern bauen, die auf eine gemeinsame Datenbank zugreifen (Stichwort horizontale Partitionierung - eine Tabelle wird in Streifen geschnitten, die auf verschiedenen Festplatten liegen).

Aber zumindest mir ist nicht bekannt, ob dieses Modell nicht so etwas wie eine 'natürliche Grenze' hat. Ich meine, bsp. für den MS-SqlServer mal etwas von einer Maximalzahl von 64 Knoten gelesen zu haben.

Systeme wie Google liegen da weitaus drüber.

Deshalb nutzt Google ein eigenes Betriebssystem, um die Daten auf Hardware zu verteilen.

Wie Facebook und die im Vergleich dazu 'winzigen' deutschen Portale das machen - keine Ahnung.
 
Also die Technik von Facebook kann man schon im Netz nachlesen.
Ganz besonders interessant dürfte aber sein, dass Facebook seine Server-Technologie als OpenSource veröffentlicht hat.

Wer ein wenig sucht, findet dann auch Infos zu Architektur und Aufbau.

Ich würde aber in jedem Fall einen Spezialisten für sowas beauftragen.
Wer in diesen Dimensionen denkt, der kann sich auch entsprechend teures Fachpersonal leisten.


@Jürgen:
Genau dort ist ja auch eben der Knackpunkt:
Vieles von der vorhandenen SW und Technik ist nicht für Projekte dieser Größenordnung ausgelegt (gewesen). Genau deswegen hat Google damals ja bei 0 angefangen und ein eigenes Betriebssystem mitsamt Dateisystem (sehr schön übrigens: Datenbankbasiert) und so weiter, geschaffen.

Ich glaube aber auch, dass mit der steigenden Verfügbarkeit von Clouds der Bedarf an solche Individuallösungen sinken wird, während es zeitgleich mehr und mehr kommerzielle Anbieter gibt, die entsprechende Lösungen für die Rechenzentren der Welt anbieten werden.

Aber letztlich kann wohl keiner genau sagen, wie sich die IT Welt in den nächsten Jahren entwickelt wird...
 
QUOTE (Sensei.Design @ Do 9.09.2010, 17:12) Als erstes braucht er schon man Wissen in dem Bereich und dann wird die Last natürlich auf mehrere starke Server verteilt. DAs ist je nach Größe das Projekte verschieden aber wenn du dir z.B. Facebook ansiehst musst du schon in Dimensionen rechnen die sehr nah an Google rankommen

Was sind das für "starke Server" genau? Wo kriegt man die her und wieviel kosten die so?
 
Der größte Server von Hetzner, mit seinen 12GB Arbeitsspeicher... Da würden WKW und studiVZ wohl hunderte von gebrauchen.
Loadbalancer, Cluster, Web-, Bilder- und Datenbankserver...
Unternehmen wie RTL, VZnet Netzwerke Ltd. etc., die unterhalten für die Technik nicht ohne Grund eine ganz eigene Abteilung.
Wenn du Millionen von Besuchern täglich abfertigen musst, brauchst du dafür eine große Serverfarm. Das macht keiner mehr über externe Dienstleister.
Mir ist so, als ich hätte ich mal irgendwo gelesen, das Facebook sogar mehrere Hundert Server hat...
Und so ein ordentlich großer Server kostet dann auch mal 2000 Euro oder mehr in der Anschaffung.
Dann musst du noch das Leitungsproblem lösen und dich trotzdem noch stark mit Skalierbarkeit, Caching-Mechanismen etc. pp. auseinander setzen.
 
QUOTE (Heiko R @ Do 9.09.2010, 23:41)Der größte Server von Hetzner, mit seinen 12GB Arbeitsspeicher... Da würden WKW und studiVZ wohl hunderte von gebrauchen.

- smile - also Hetzner ist ja dafür auch kein Provider, selbst der SD-Datenbankserver hat schon längst 16 GB RAM.

Bei HostEurope
# Prozessor: bis zu 4 × Octa-Core
Intel® Xeon® E7500, dadurch
erweiterbar auf bis zu
32 Cores (4 × Octa-Core-CPUs)
64 Threads (Hyper Threading)
# bis zu 6 SATA/SAS HDDs
# bis zu 256 GB RAM

ist derzeit das Maximum für einen Server. Die Festplatte liegt dann bei maximal 6 TB.

@realy: Der entscheidende Punkt ist, daß einzelne Server nicht mehr genügen - und daß man damit das Problem hat, die Aufgaben auf verschiedenste Server zu verteilen.

Die einzelnen Server können dann wieder relativ schwach sein.

So hat Google ursprünglich damit begonnen, alte Rechner einzusammeln - und erreichte durch die eigene Lösung mit den 'alten Kisten' eine höhere Performance als mit neuen Servern.

Man muß bsp. ab einer gewissen Zahl von Servern bald täglich mit Ausfällen rechnen. Wie kann trotzdem sichergestellt sein, daß keine Daten verloren gehen und daß der Betrieb nicht stockt? Das Problem ist die Software, die logische Verwaltung dieser Ressourcen - nicht die 'Stärke der Hardware'.
 
QUOTE (Heiko R @ Do 9.09.2010, 23:41) Mir ist so, als ich hätte ich mal irgendwo gelesen, das Facebook sogar mehrere Hundert Server hat...

Über 50.000 sogar, zumindest so der Stand im April.
smile.gif
 
Hallo,

das ist relativ einfach. Du nimmst Dir die Sachen die du brauchst passt sie nach deinen Bedürfnissen an und entwickelst vielleicht was eigenes dazu falls nötig. Es gibt genug Opensource.

Jedes Projek hat andere Anforderungen und jeder kocht sein eigenes Süppchen.

Von dieser Seite habe ich mir viele Anregungen geholt, für mein erstet Clusterprojekt.

http://highscalability.com

Als Buch kann ich "Clusterbau: Hochverfügbarkeit mit pacemaker, OpenAIS, heartbeat und LVS" von Michael Schwartzkopff empfehlen.

edvschrat
 
Also wir hatten mal so eine kleine Lösung verwendet, was dann gründlich schief gegangen ist (IOPS unterschätzt verursacht durch DB Anfragen pro Sekunde), dabei wurde das mittels Vmware (http://www.vmware.com/de/products/vi/esx/) umgesetzt mit Frontendservern und Storage im Hintergrund. Heute arbeitet nur noch unser Nameserver mit Vmware, alles andere ist wieder auf einzelne Systeme verteilt und läuft perfekt
wink.gif
.

Softwarelösung gibt es viele am Markt, die guten Lösungen (Xen mal ausgenommen) kosten meist sehr viel Geld. Schau mal hier, bzgl. dem "PRO CPU PREIS" --> http://store.vmware.com/store/vmwde/de_DE/...uctID.129702900. Der Hauptpunkt für den Erfolg eines solchen Projekts ist nicht die Lösung, sondern das Geld, dass man dafür benötigt um eine solche Lösung zu realisieren.

Ps. Die Massenrootserver sind selten richtige Server. Das sind eher Desktopkisten (deshalb auch so günstig). Bei uns kostet z.B. alleine 1 CPU 1000 Euro in den "besseren" Rechnern, solche CPU in den Massenrootserver zu verbauen würde sich aber im Preis extrem niederschlagen und wird deshalb in den normalen Angeboten nicht gemacht.

Im Anhang mal ein Beispielangebot eines Serveranbieters für eine eher kleine Lösung, die aber nie realisiert wurde, deshalb kann ich das rausgeben. Anhang anzeigen 2

 
...

zwar gaenzlich nicht der "profi" der es im detail kann oder so,
aber bei wkw war es erst ne idee mit einfacher datenbank-sache,
die sich dann, bis zum "kauf" durch rtl und co, rasant "rumsprach".

so waeren mir persoenlich manchesmal eigene tiefergehende kenntnisse
in php bzw sql sehr lieb, wenn mir spontan ideen durch den kopf gehen..

wie auch immer, spaeter wurde wat mit "ajax" "ver"loest, sag ich mal,
zum thema "ajax" vllt als einsatz oder ansatz wikipedia:

Ajax / auf Wikipedia
 
Mich würde mal interessieren ab wann ungefähr ist ein hochverfügbarkeits System oder ähnliches mit mehreren Servern ein muss, sprich ein einzelner guter Server kann die Anfragen nicht mehr wirklich bewältigen.

Nehmen wir mal so was wie wkw. Ein Projekt in dieser Art. Jemand stellt so eine "Seite" online, und wird später einmal von der Besuchermasse überrascht, und der Server geht langsam in die Knie.

Nun frage ich mich, wie viele Besucher welche die Seite so nutzen so wie eine solche Seite eben genutzt wird, verträgt ein einzelner Server ? 1k Besucher pro Tag ist kein Problem, 10 100 oder eine Mio ? Wo wirds schwierig und wann sind Maßnahmen erforderlich ?

Natürlich sind das nur wage Angaben, möchte einfach mal so ein Durchschnitts Wert mit dem man was anfangen kann.

Bin momentan auf der Suche nach einem Server welcher später auf diese Weise erweitert werden kann.
Gerne Anbieter aus der Schweiz, doch da gibst nicht viel gscheites, ausser nine.ch. Sonst wäre da noch hosteurope sieht auch vielversprechend aus.
Irgend welche Empfehlungen in diese Richtung ?
 
Hallo,

@ Goodbuys,

diese Frage kannst man nicht pauschal beantworten. Es kommt auf das genaue Umfeld an.

Wenn dein Server nicht mehr läuft würde es zum Beispiel reichen, wenn man andere Software in einer anderen Konfiguration nimmt und plötzlich geht ein mehrfaches an Besucher als vorher.

Hochverfügbarkeit hat nichts mit Skalierbarbeit zutun. Man kann technisch hoch skalieren und ist trotzdem nicht im Hochverfügbarkeitsbereich.

Eine Verfügbarkeit von 99,999 % bedeutet eine Auszeit von 5,26 Minuten pro Jahr.

Was bei der einen Plattform das Nonplusultra, ist auf der anderen Plattform der Schuß ins Genick.

Hier mal ein paar Bausteine

Nginx
Varnish
HAProxy
Tornado
Pound
Memcache
FAWPS
NoSQL Datenbanken
Lustre
Ceph
Riak
drbd
moosefs
GlusterFS
HIPHOP

und einiges mehr... Die richtige Mischung macht es.

Welche Anforderungen kommen ?
Daten im Cluster oder im Storage oder beides?
Mehr Lese oder Schreibzugriffe?
Streaming?
Sessions bei Warenkorb?
Und und und ...


@realy

Facebook
http://royal.pingdom.com/2010/06/18/the-so...ehind-facebook/

vznet

"Die VZ-Netzwerke laufen auf insgesamt 750 Servern (mehr als 4000 Prozessorkerne, rund 9500 Gigabyte Hauptspeicher)[21] mit Linux-Systemen unter Verwendung von ... "

http://de.wikipedia.org/wiki/VZnet_Netzwerke

siehe Abschnitt Technik. Wiederspricht sich etwas mit diesem Video.

https://wiki.musmo.com/view/General/EuroPyt...erformanceZope3

edvschrat
 
Ich kann inhaltlich nicht viel zum Thema beitragen. Aber nine.ch kann ich Dir nur empfehlen. Wir arbeiten mit Ihnen zusammen und sind sehr zufrieden.

Mach doch mit Ihnen einfach mal einen Termin ab und stell Dein Projekt vor. Die können Dir dann schon sagen was an Material auch für viele Besucher von nöten ist und was das ganze kostet.

Gruss
AlainN
 
Hallo,
Wie würdet Ihr denn die Server für eine Community aufbauen!

Ich hatte mal etwas geschaut als Limit habe ich mir 18T € im Jahr gesteckt.

Glaubt Ihr dass man damit ca. 2- 3 Million Besucher am Tag bedienen kann?

3x Server für die Datenbank
Intel Core i7 (6 x 3,20 GHz)
24 GB RAM
2x 1000 GB HDD

3 File Server für Fotos
Intel Core i7 (4 x 2,66 GHz)
12 GB RAM
2x 1000GB

1 Nachrichten Server
Intel Core i7 (4 x 2,66 GHz)
12 GB RAM
2x 1000GB

3 Webserver
Intel Core i7 (4 x 2,66 GHz)
12 GB RAM
2x 1000GB
 
Es gibt auch die Möglichkeit, direkt Google's Infrastruktur zu nutzen. Dann erhält man für einen relativ günstigen Preis Dienstleistungen die sonst unerschwinglich wären. Beispielsweise 24/7 Überwachung der Systeme durch die besten Softwareentwickler und Systemadministratoren die es auf dem Markt gibt, die Verfügbarkeit eines gigantischen Clusters mit aber-tausenden Servern, Zugriff auf einen Datenbankcluster mit der proprietären Bigtable-Software, eine speziell für Bilderhosting entwickelte Infrastruktur und Skalierbarkeit bis zum Limit der Kreditkarte. Dazu einfach mal auf deren App Engine Seite vorbeischauen, außerdem habe ich zu deren System auch einen kleinen Artikel geschrieben.

QUOTE (HZT @ So 12.09.2010, 13:42)Glaubt Ihr dass man damit ca. 2- 3 Million Besucher am Tag bedienen kann?

Dazu kann dir niemand eine ernsthafte Antwort geben, solange er sich nicht durch deinen kompletten Quellcode gekämpft hat.
 
Irgendwie finde ich den Thread lustig. Da schreibe ich 'Die Server sind nicht das Problem' und es wird nach Servern gefragt
tongue.gif


Entscheidend ist, daß die Software 'aufteilbar' ist - daß die gesamte Last horizontal und vertikal auf verschiedene Server aufgeteilt werden kann.

Zunächst kann man das dann auch noch auf einem einzigen Server laufen lassen - oder aus Designgründen sofort mit einem Webserver und einem Datenbankserver starten (das ist meine Lösung für SD).

Aber die eine Frage ist, ob mehrere Webserver mit derselben Datenbank zusammenarbeiten können (was mindestens Transaktionsorientiertheit voraussetzt)

Die nächste ist, ob es eine mittlere Schicht gibt, so daß die Webserver nur mit der mittleren Komponente interagieren und sich erst diese die Daten von der Datenbank holt. Ähnliches gilt für die Frage, ob es vor den Tabellen eine geschlossene Schicht von SPs gibt.

Bei diversen kleinen Projekte 'manschen' die PHP-Seiten, die die Ausgabe erzeugen, direkt auf der Datenbank rum - das ist Murks.

Die nächste Frage ist, ob man Teilaufgaben an eigene Dienste o.ä. auslagern kann (bsp. ein PDF-Generierungsdienst).

Wenn die Anwendung so aufgebaut ist, dann kann sie am Anfang auf einem einzigen Server laufen. Wird der zu langsam, wird zunächst die Hardware aufgestockt (mehr Prozessoren, mehr Kerne, mehr RAM).

Dann kann man einzelne Komponenten auf eigene Server auslagern bzw. in einem ersten Schritt Web- und Datenbank trennen.

Aber mit einem 5-Server-System zu starten dürfte Quatsch sein - da sollten erst mal genügend Besucher und genügend Last für den einen Server da sein.
 
QUOTE (Flips @ So 12.09.2010, 18:03)
QUOTE (HZT @ So 12.09.2010, 13:42)Glaubt Ihr dass man damit ca. 2- 3 Million Besucher am Tag bedienen kann?

Dazu kann dir niemand eine ernsthafte Antwort geben, solange er sich nicht durch deinen kompletten Quellcode gekämpft hat.

HZT hat 18.ooo für die Hardware eingeplant

ich hatte mal 3.000 Besucher pro Tag auf einem SharedHost für 10€ im Monat

= 120€ im Jahr = hochgerechnet 120.000 im Jahr für das 1000fache


Eigentlich wollte ich sagen "Ja das klappt"
Dann kam aber Flips ,it der Quellcode analyse
und jetzt nach meiner Hochrechnung .... fragt sich ob bei mir auch 30.000 Besucher funktioniert hätten
 
QUOTE (800XE @ So 12.09.2010, 18:37)
QUOTE (Flips @ So 12.09.2010, 18:03)
QUOTE (HZT @ So 12.09.2010, 13:42)Glaubt Ihr dass man damit ca. 2- 3 Million Besucher am Tag bedienen kann?

Dazu kann dir niemand eine ernsthafte Antwort geben, solange er sich nicht durch deinen kompletten Quellcode gekämpft hat.

HZT hat 18.ooo für die Hardware eingeplant

ich hatte mal 3.000 Besucher pro Tag auf einem SharedHost für 10€ im Monat

= 120€ im Jahr = hochgerechnet 120.000 im Jahr für das 1000fache


Eigentlich wollte ich sagen "Ja das klappt"
Dann kam aber Flips ,it der Quellcode analyse
und jetzt nach meiner Hochrechnung .... fragt sich ob bei mir auch 30.000 Besucher funktioniert hätten

Ich hab >6 Millionen Requests/Tag auf einer vorhin erwähnten Cloud Plattform und zahle täglich einen einstelligen Dollar Betrag. Kommt drauf an, wie effizient man programmieren kann
laugh.gif
 
Sie müssen sich einloggen oder registrieren, um hier antworten zu können.
Zurück
Oben