Re: Platte an Leistunggrenze?

[Marc Haber]

On Tue, 15 Nov 2005 09:35:38 +0100, Matthias Haegele
<[EMAIL PROTECTED]> wrote:
>ich kann leider nicht sagen welche Tools hier am besten in Frage kämen 
>(mangels Erfahrung )

Munin. Malt schöne bunte Bildchen.

Grüße
Marc

-- 
-- !! No courtesy copies, please !! -
Marc Haber |   " Questions are the | Mailadresse im Header
Mannheim, Germany  | Beginning of Wisdom " | http://www.zugschlus.de/
Nordisch by Nature | Lt. Worf, TNG "Rightful Heir" | Fon: *49 621 72739834

Re: Platte an Leistunggrenze?

[Michelle Konzack]

Hallo Timo,

Am 2005-11-14 23:44:42, schrieb Timo Witte:
> Hallo!
> 
> Ich habe ein Problem, und zwar denke ich das ne Festplatte in einem 
> unserer Server an der Leistungsgrenze kratzt (is en Raid0) also nicht 
> vom Durchsatz her. Aber von den Zugriffen / sec. Und zwar hat die ca. 
> 200 Zugriffe / sec rechnerisch nach meiner Rechnung. Gerechnet hab ich so:
> 
> Der Webserver der die PLatte belastet, hat bei 100 aktiven Downloads ca. 
> 20 MB Ram Auslastung. Alles andere Ram ist FREI! Dann denk ich kann man 

Das ist aber ganz schön wenig...
Bin zur Zeit Off-Line (wegen fehlender Wohnung) und kann nicht
direkt die Ausgabe posten, aber meine Server in Offenburg und
Paris haben bei rund 80 Downloads rund 8 MByte pro Process.

Die SUN's haben 32x 650 MHz, 64 GByte Ram sowie 96x 76 GByte
in 6 Raid-5 und fahren Sarge.

> ca. 10 MB für die Threads rechnen und dann bleiben 10 MB für den Buffer 
> zum lesen und senden. Wenn jetz ein User mit 200 KB zieht läd er ja ca. 
> 0.2 MB / sec. da der Server nur 10 MB benutzt und somit jedem user 0.1 
> MB zufallen (10MB / 100 Downloads), sehe ich darin, dass der Server 2x 
> in der sekunde (0,2 MB Downloadrate / 0.1 MB Buffer) von der Festplatte 
> Daten nachladen muss. Da die Platten ja ne Latency von ca. 10 ms (mit 
> Raid und allem haben) ergibt sich ja schon 2000ms was ja das doppelte 
> wäre was die Platte verkraftet. Der Server stürtzt andauernd ab und ist 
> extrem lahm. Es liegt nicht an der Verbindung (100 Mbit) lokal ist er 
> auch extrem langsam (genauso wie über ssh), bis er sich dann fast 
> täglich total aufhängt.

Selbst wenns nur ne PATA Platte ist, durfte er nicht deswegen
abstürzen.  Hier in Strasbourg teste ich gerade eine SDSL 3,5 MBit
 und einem dediziertem Server mit ner Samsung
SP802N und die Kiste wird von $USER aus der Türkei, Afghanistan und
dem Iran per modem angefahren.  Zeitweilig habe ich über 300 offene
verbindungen und downloads. Gut, sind nur 3,5 MBit, aber die Platte
hat mit den Konkurenzzugriffen keine Probleme.

> Meine Frage ist nun, ob meine Rechnung richtig ist und ob das an der 
> Fesplatte liegen kann. Alle anderen Systemwerte sind nämlich ok (ram und 
> CPU auslastung) bloss steigt nach ner weile die Systemload schlagartig 
> an (vermtl. is dann das maximum an Belastung überschritten und er kommt 
> nichtmehr hinterhier) und dann schmiert er irgendwann ab. Außerdem hab 
> ich bei den 2000 ms ja jetzt nur die reine Zugriffszeit gerechnet und 
> nicht das lesen von den 100KB.

Was haste für ne CPU und wieviel Speicher?

> [-- Viewing with filter 99 for all ASCII attachments. --]
> 
> begin:vcard
> fn:Timo Witte
> n:Witte;Timo
> org:mediaceta.net - where programming meets design
> adr:;;Eduard-Steinle-Str.16;Stuttgart;BW;70619;Deutschland
> email;internet:[EMAIL PROTECTED]
> x-mozilla-html:FALSE
> url:http://www.mediaceta.net
> version:2.1
> end:vcard

Muß das auf ner Mailingliste sein? 

Greetings
Michelle

-- 
Linux-User #280138 with the Linux Counter, http://counter.li.org/
Michelle Konzack   Apt. 917  ICQ #328449886
   50, rue de Soultz MSM LinuxMichi
0033/3/8845235667100 Strasbourg/France   IRC #Debian (irc.icq.com)

Re: Platte an Leistunggrenze?

[Sven Scharf]

Timo Witte schrieb:
> Hallo!
Hallo,
> 
> Ich habe ein Problem, und zwar denke ich das ne Festplatte in einem
> unserer Server an der Leistungsgrenze kratzt (is en Raid0) also nicht
> vom Durchsatz her. Aber von den Zugriffen / sec. Und zwar hat die ca.
> 200 Zugriffe / sec rechnerisch nach meiner Rechnung. Gerechnet hab ich so:
> 
> [...]

Schau doch z.B. mal mit atop nach. Dieser zeigt einem unter anderem auch
die HDD-Auslastung.

Sven


signature.asc
Description: OpenPGP digital signature

Re: Platte an Leistunggrenze?

[Uwe Laverenz]

On Mon, Nov 14, 2005 at 11:44:42PM +0100, Timo Witte wrote:

> Ich habe ein Problem, und zwar denke ich das ne Festplatte in einem 
> unserer Server an der Leistungsgrenze kratzt (is en Raid0) also nicht 

RAID 0 in einem Server?

> vom Durchsatz her. Aber von den Zugriffen / sec. Und zwar hat die ca. 
> 200 Zugriffe / sec rechnerisch nach meiner Rechnung. Gerechnet hab ich so:

Sorry, aber die Rechnung ist totaler Quark, erinnert mich ein bißchen an
die Story mit "auswucht.exe". :)

> Der Webserver der die PLatte belastet, hat bei 100 aktiven Downloads ca. 
> 20 MB Ram Auslastung. Alles andere Ram ist FREI! Dann denk ich kann man 
> ca. 10 MB für die Threads rechnen und dann bleiben 10 MB für den Buffer 

Der benutzte RAM hat nichts mit der Übertragungsgeschwindigkeit zu tun,
abgesehen davon vermengst Du hier Äpfel und Birnen.

> zum lesen und senden. Wenn jetz ein User mit 200 KB zieht läd er ja ca. 
> 0.2 MB / sec. da der Server nur 10 MB benutzt und somit jedem user 0.1 
> MB zufallen (10MB / 100 Downloads), sehe ich darin, dass der Server 2x 
> in der sekunde (0,2 MB Downloadrate / 0.1 MB Buffer) von der Festplatte 
> Daten nachladen muss. Da die Platten ja ne Latency von ca. 10 ms (mit 

Abgesehen vom grundsätzlich falschen Ansatz haben Platten eingebaute
Caches, genauso wie das Betriebssystem: nicht jedes angeforderte Byte
wird bei jeder Anforderung von der Platte gelesen.

> Raid und allem haben) ergibt sich ja schon 2000ms was ja das doppelte 
> wäre was die Platte verkraftet. Der Server stürtzt andauernd ab und ist 
> extrem lahm. Es liegt nicht an der Verbindung (100 Mbit) lokal ist er 
> auch extrem langsam (genauso wie über ssh), bis er sich dann fast 
> täglich total aufhängt.

Die 100MBit sind in Wirklichkeit 100MBit/s, allein hieran kannst Du
schon sehen, dass die Platte vermutlich nicht überlastet sein kann, denn
mit dieser Bandbreite kannst Du keine halbwegs aktuelle Festplatte
beeindrucken.

> Meine Frage ist nun, ob meine Rechnung richtig ist und ob das an der 

Nein, völlig daneben.

> Fesplatte liegen kann. Alle anderen Systemwerte sind nämlich ok (ram und 
> CPU auslastung) bloss steigt nach ner weile die Systemload schlagartig 

Na, da würde ich doch mal nachsehen, wer die Systemlast erzeugt.
Eventuell ist es die Anzahl gleichzeitiger Requests, die das System in
die Knie zwingt, weil z.B. die Konfiguration des Webservers noch nicht
stimmt (max clients usw...).

> an (vermtl. is dann das maximum an Belastung überschritten und er kommt 
> nichtmehr hinterhier) und dann schmiert er irgendwann ab. Außerdem hab 

Was genau heisst "schmiert ab"? Das ganze System oder nur die Webserver-SW?
Was steht denn in den Logfiles?

Gruss,
Uwe


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)

Re: Platte an Leistunggrenze?

[Timo Witte]

Hm, also free -m zeigt an das noch 19xx mb frei sind. Als Webserver wird 
gerade roxen benutzt.
Davor hatte wir es mit apache und thttpd sowie lighthttpd versucht, alle 
mit dem selben Ergebnis.
Die 100 User laden alle unterschiedliche Dateien die in der regeln 
50-250 MB / Datei groß sind. Deshalb
muss die Platte ja auch vermutlich andauernd springen. Die Leitungslast 
liegt bei 60-80 Mbit so. Was die
Leitung aber ohne Probleme verkraftet. Die Load pendelt meistens so bei 
0.2-0.5 bis sie dann auf einmal
relativ schnell (in ca. 2 min) auf Werte wie 180-240 ansteigt und der 
Server dann auch abstürtzt. Kann es den
nicht sein, dass die Festplatte einfach nicht 200 Zugriffe die jeweilt 
0.1 MB lesen und das an unterschiedlcihen Stellen
einfach nicht verkraftet? 20MB/sec. Is zwar Raid0 aber bei 200 Zugriffen 
/ sec?
begin:vcard
fn:Timo Witte
n:Witte;Timo
org:mediaceta.net - where programming meets design
adr:;;Eduard-Steinle-Str.16;Stuttgart;BW;70619;Deutschland
email;internet:[EMAIL PROTECTED]
x-mozilla-html:FALSE
url:http://www.mediaceta.net
version:2.1
end:vcard

Re: Platte an Leistunggrenze?

[Florian Schnabel]

miss mit nem tool nach ... es gibt an diversen stellen zwischenspeicher, 
einmal hardware in der platte ein paar MB vom kernel nochmal und evtl 
von ein dritter vom apache selber ... von daher musst du nachmessen und 
kannst das nciht einfach ausrechnen.


Florian


--
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/


Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)

Re: Platte an Leistunggrenze?

[Jochen Schulz]

Timo Witte:
> 
> Der Webserver der die PLatte belastet, hat bei 100 aktiven Downloads ca. 
> 20 MB Ram Auslastung. Alles andere Ram ist FREI!

Wie, frei? Es laufen keine anderen Programme? Wieviel RAM hat die
Kiste? Was sagt 'free -m'?

> Dann denk ich kann man 
> ca. 10 MB für die Threads rechnen und dann bleiben 10 MB für den Buffer 
> zum lesen und senden. Wenn jetz ein User mit 200 KB zieht läd er ja ca. 
> 0.2 MB / sec. da der Server nur 10 MB benutzt und somit jedem user 0.1 
> MB zufallen (10MB / 100 Downloads),

Deine Rechnerei wäre durchsichtiger, wenn Du Datenmengen *pro
Zeiteinheit* angibst, wenn Du das auch meinst. :)

Ich denke aber, daß Deine Rechnung gar kein vernünftiges Ergebnis
liefern kann. Linux benutzt freien Speicher ausgiebig zum Cachen - von
Daten, die auf der Platte liegen. Wenn Deine 200 Clients alle die
gleiche Datei ziehen (und wenn die klein genug für den Cache ist), dann
wird die Datei auch nur einmal gelesen. Selbst, wenn einige Zeit
zwischen den Requests vergeht hat man gute Chancen, daß die Datei noch
im Cache ist. Im Idealfall muß der Webserver nach einer gewissen
Laufzeit nie wieder tatsächlich von der Platte lesen, weil genug RAM da
ist.

> sehe ich darin, dass der Server 2x in der sekunde (0,2 MB Downloadrate
> / 0.1 MB Buffer) von der Festplatte Daten nachladen muss. Da die
> Platten ja ne Latency von ca. 10 ms (mit Raid und allem haben) ergibt
> sich ja schon 2000ms was ja das doppelte wäre was die Platte
> verkraftet.

Hier kann ich nicht mehr folgen.

> Der Server stürtzt andauernd ab und ist 
> extrem lahm. Es liegt nicht an der Verbindung (100 Mbit) lokal ist er 
> auch extrem langsam (genauso wie über ssh), bis er sich dann fast 
> täglich total aufhängt.

Wie hoch ist denn die Load?

Ich glaube bisher nicht so ganz an Deine Erklärung. Eine hohe Last auf
dem Webserver erklärt IMHO auch keine Abstürze. Steht denn nichts im
syslog? Vielleicht ist vmstat auch interessant (das müßte dann aber
jemand anderes interpretieren).

> begin:vcard

Laß das bitte.

J.
-- 
If politics is the blind leading the blind, entertainment is the fucked-
up leading the hypnotised.
[Agree]   [Disagree]
 


signature.asc
Description: Digital signature

Re: Platte an Leistunggrenze?

[Matthias Haegele]

Timo Witte schrieb:

Hallo!

Hallo!.
[...]

Meine Frage ist nun, ob meine Rechnung richtig ist und ob das an der 
Fesplatte liegen kann. Alle anderen Systemwerte sind nämlich ok (ram und 
CPU auslastung) bloss steigt nach ner weile die Systemload schlagartig 
an (vermtl. is dann das maximum an Belastung überschritten und er kommt 
nichtmehr hinterhier) und dann schmiert er irgendwann ab. Außerdem hab 
ich bei den 2000 ms ja jetzt nur die reine Zugriffszeit gerechnet und 
nicht das lesen von den 100KB.
Warum rechnest Du so viel und "misst nicht einfach" mal über einen 
längeren Zeitraum (1 Tag)?,
ich kann leider nicht sagen welche Tools hier am besten in Frage kämen 
(mangels Erfahrung )

interessant wäre ja auch bestimmt, ob/wann es "Spitzenzeiten" etc gibt.
Wenn er natürlich anfängt zu "swappen" und der Load dann immer höher 
wird, "schmiert das

System zwangsläufig irgendwann" ab, bzw. wird so zäh dass nix mehr geht..
@ all:
Irgendwie kann man doch die Menge der "geswappten Speicherseiten" 
anzeigen lassen,

vielleicht ist ja jemand so nett und hat da schon was im Einsatz?.
Sicher gibt es da ein paar nette Scripte die die entsprechenden Werte 
überwachen und aussagefähige

Logs produzieren ...
Bei Apache? (oder was wird eingesetzt?) kann man doch auch die
Anzahl der Threads/gleichzeitigen User etc irgendwie limitieren das wäre 
evtl. auch ein Ansatz?.


Grüsse
MH



--
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/


Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)