Re: Hat jemand Erfahrungen mit Clustern?

2003-12-20 Diskussionsfäden Michael Holtermann
Moin Bernd!

Am 20.12.2003 16:40:18 schrieb Bernd Schubert:

> Soweit ich weiss, ich habe damit aber keine praktische Erfahrung, wird für
> MPI/OpenMPI dagegen das rsh benötigt.

Leider (oder zum Glück) bin ich nicht der Admin von der Kiste. Kann gut 
sein, dass wir die Knoten völlig falsch ansteuern.

Wir verteilen einen Maya-Renderjob per simplen Perl-Skript (Anzahl der 
Frames/Knoten = Anzahl Frames die jeder Knoten zu rechnen hat, diese werden 
per rsh angestoßen). Maya startet dann für jede CPU einen eigenen Prozess, 
der vor sich hin rechnet und das Ergebnis als Bild abspeichert (immer 2 
CPUs rendern 1 Bild).

Mir wäre die Variante, ein Bild mit 64 CPUs zu rendern, deutlich lieber, 
weiß aber nicht ob die derzeitige Installation das zulässt.

Leider habe ich im Moment nicht die Möglichkeit, da näher zu recherchieren, 
werde das aber Anfang des Jahres mal nachholen. (Es müsste sowieso mal 
geklärt werden, da wir derzeit eine Animation haben die offensichtlich zu 
komplex ist...)

Grüße, Micha.


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: Hat jemand Erfahrungen mit Clustern?

2003-12-20 Diskussionsfäden Bernd Schubert
Michael Holtermann wrote:

> Moin Jan!
> 
> Am 18.12.2003 18:20:09 schrieb Jan Kesten:
>> Ich spiele mit dem Gedanken für mich für die Uni einen (kleinen)
>> Linux-Cluster zu bauen. Möglichkeiten gibt es ja einige: mosix,
>> openmosix, MPI u.a.
> 
> Wir haben bei uns in der Hochschule eine Cluster IIRC auf Mosix-Basis.
> 
> Das Ding besteht aus 32 Knoten á 2 CPUs (PII 400) mit 512 MB RAM je Knoten
> (vielleicht auch nur 256 MB), der Master hat 1 GB RAM. Vernetzt sind die
> Knoten sowohl über Myrinet (keine Ahnung wie schnell) und Fast Ethernet
> (100 MBit).
> 
> Wir nutzen das Teil als Rendercluster für Animationen aus Alias Maya.
> Leider tritt das Ding nicht als _ein_ Rechner mit 64 CPUs auf sondern als
> 32 einzelne Rechner (die über RSH gesteuert werden), denen bei

Hmm, verstehe ich nicht. OpenMosix/Mosix und rsh-Steuerung sind doch 2
völlig verschiedene Konzepte. Mit dem Mosix werden doch einzelne jobs ohne
Verwendung von rsh auf einen anderen Knoten migriert, indem einfach der
gesamte Speicherbereich des Programms auf den anderen Knoten übertragen
wird. 
Soweit ich weiss, ich habe damit aber keine praktische Erfahrung, wird für
MPI/OpenMPI dagegen das rsh benötigt.

Grüsse,
Bernd


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: Hat jemand Erfahrungen mit Clustern?

2003-12-20 Diskussionsfäden Fabian Braennstroem
Hallo,

On Sat, 2003-12-20 at 14:33, Michael Holtermann wrote:
> Moin Jan!
> 
> Am 18.12.2003 18:20:09 schrieb Jan Kesten:
> > Ich spiele mit dem Gedanken für mich für die Uni einen (kleinen)
> > Linux-Cluster zu bauen. Möglichkeiten gibt es ja einige: mosix,
> > openmosix, MPI u.a.
> 
> Wir haben bei uns in der Hochschule eine Cluster IIRC auf Mosix-Basis.
> 
> Das Ding besteht aus 32 Knoten á 2 CPUs (PII 400) mit 512 MB RAM je Knoten 
> (vielleicht auch nur 256 MB), der Master hat 1 GB RAM. Vernetzt sind die 
> Knoten sowohl über Myrinet (keine Ahnung wie schnell) und Fast Ethernet 
> (100 MBit).
> 
> Wir nutzen das Teil als Rendercluster für Animationen aus Alias Maya. 
> Leider tritt das Ding nicht als _ein_ Rechner mit 64 CPUs auf sondern als 
> 32 einzelne Rechner (die über RSH gesteuert werden), denen bei 
> aufwendigeren Renderjobs schon mal der Speicher ausgeht.
> 
> Woran das liegt wissen wir nicht, wir könnten uns aber vorstellen, dass er 
> mit dem Swappen nicht hinterherkommt, da nur der Master über Festplatten 
> verfügt und demnach alle Auslagerung über das Myrinet läuft.
> 
> Grüße, Micha.

Ich hab' auch nur wenig Ahnung und dachte immer, dass OpenMosix zwar als
_ein_ Rechner arbeitet, aber die einzelnen Programme jeweils nur auf
einer CPU bearbeitet werden. Die Geschwindigkeit der Programme sollte im
Gegensatzt zu "parallel-arbeitenden" Programmen unter PVM/MPI aber nicht
zunehmen, oder?

Gruß
Fabian


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: Hat jemand Erfahrungen mit Clustern?

2003-12-20 Diskussionsfäden Michael Holtermann
Moin Jan!

Am 18.12.2003 18:20:09 schrieb Jan Kesten:
> Ich spiele mit dem Gedanken für mich für die Uni einen (kleinen)
> Linux-Cluster zu bauen. Möglichkeiten gibt es ja einige: mosix,
> openmosix, MPI u.a.

Wir haben bei uns in der Hochschule eine Cluster IIRC auf Mosix-Basis.

Das Ding besteht aus 32 Knoten á 2 CPUs (PII 400) mit 512 MB RAM je Knoten 
(vielleicht auch nur 256 MB), der Master hat 1 GB RAM. Vernetzt sind die 
Knoten sowohl über Myrinet (keine Ahnung wie schnell) und Fast Ethernet 
(100 MBit).

Wir nutzen das Teil als Rendercluster für Animationen aus Alias Maya. 
Leider tritt das Ding nicht als _ein_ Rechner mit 64 CPUs auf sondern als 
32 einzelne Rechner (die über RSH gesteuert werden), denen bei 
aufwendigeren Renderjobs schon mal der Speicher ausgeht.

Woran das liegt wissen wir nicht, wir könnten uns aber vorstellen, dass er 
mit dem Swappen nicht hinterherkommt, da nur der Master über Festplatten 
verfügt und demnach alle Auslagerung über das Myrinet läuft.

Grüße, Micha.


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: Hat jemand Erfahrungen mit Clustern?

2003-12-20 Diskussionsfäden Michael Holtermann
Moin Jan!

Am 18.12.2003 18:20:09 schrieb Jan Kesten:
> Ich spiele mit dem Gedanken für mich für die Uni einen (kleinen)
> Linux-Cluster zu bauen. Möglichkeiten gibt es ja einige: mosix,
> openmosix, MPI u.a.

Wir haben bei uns in der Hochschule eine Cluster IIRC auf Mosix-Basis.

Das Ding besteht aus 32 Knoten á 2 CPUs (PII 400) mit 512 MB RAM je Knoten 
(vielleicht auch nur 256 MB), der Master hat 1 GB RAM. Vernetzt sind die 
Knoten sowohl über Myrinet (keine Ahnung wie schnell) und Fast Ethernet 
(100 MBit).

Wir nutzen das Teil als Rendercluster für Animationen aus Alias Maya. 
Leider tritt das Ding nicht als _ein_ Rechner mit 64 CPUs auf sondern als 
32 einzelne Rechner (die über RSH gesteuert werden), denen bei 
aufwendigeren Renderjobs schon mal der Speicher ausgeht.

Woran das liegt wissen wir nicht, wir könnten uns aber vorstellen, dass er 
mit dem Swappen nicht hinterherkommt, da nur der Master über Festplatten 
verfügt und demnach alle Auslagerung über das Myrinet läuft.

Grüße, Micha.


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject "unsubscribe". Probleme? Mail an [EMAIL PROTECTED] (engl)



Hat jemand Erfahrungen mit Clustern?

2003-12-18 Diskussionsfäden Jan Kesten

Hallo, alle zusammen!

Ich spiele mit dem Gedanken für mich für die Uni einen (kleinen)
Linux-Cluster zu bauen. Möglichkeiten gibt es ja einige: mosix,
openmosix, MPI u.a.

Hat jemand damit schon etwas mehr Erfahrungen als ich (= Null) sammlen
können? Wäre für ein paar Tipps dankbar - denn paralleles Verarbeiten
unter Solaris ist relativ einfach, nur würde ich schon gerne etwas
tiefer einsteigen wollen.

Jan


pgp0.pgp
Description: PGP signature