Re: (Off Topic) Cluster 2
On Thu, Sep 04, 2003 at 12:03:00PM -0300, wcom wrote: Hola a todos: Pregunta Este tema lo temgo liquidado, lo unico que no se si entendi bien es, yo tira una compilacion de kernel como para dar un ejemplo, tengo que hacerlo con algun comando al principio, para que esa compilacion sea mas rapida? o solo asume. pregunto esto por que es mi unica duda con este tema. al hacer un make lo ideal es pasarle el parametro -j para indicar el número de tareas concurrentes Ejemplo si tienes un cluster con 5 ordenadores make -j 6 bzImage (Se suele usar el valor de procesadores + 1) Si sólo se va a emplear el cluster para compilación hay opciones mucho más optimizadas como el distcc Tema 2 (ACA tengo muchas dudas) Alta disponibilidad por software HA Linux Cluster usando HA + Heartbeat +DRBD la idea es hacer 2 server iguales que estan corriendo: apache + postfix + samba, y si se cae uno el otro lebante perfectamente. con la misma IP + configuracion + samba + las paginas web + los mail... se que los server tienen que tener la misma configuracion... con respecto a la info de samba y los mails tendra que poner en uso el DRB para que replique la misma info el server que esta com esclavo. Todo esto es correcto? Nunca trabaje con DRBD... es dificil hay algo mas facil? Kimberlite tal vez -- Celso pgpBsnTJO2HDH.pgp Description: PGP signature
Re: (Off Topic) Cluster 2
On Thu, 4 Sep 2003, wcom wrote: Hola a todos: Con respecto al trabajo que tengo que presentar en la facu ya lo tengo muy encaminado en lo que es teroia y los puntos a tocar y quiero ver si me pueden dar una mano por favor. Tema 1 Alto rendimiento: Beowulf, Mosix y/o OpenMosix Cluster usando mosix y/o openmosix (prefiero estos). El Mosix es un parche del kernel que permite que un programa pueda ser paralelizado y además que programas no paralelizados migren de un nodo al Falso (ver mas abajo). otro del cluster según la carga de trabajo de cada uno dinámicamente. Por ejemplo un nodo del cluster ejecuta 3 tareas y otro tambien el primero termina las tres, quedando con 0 tareas. Entonces dinámicamente pasarán tareas de las que están a medio realizar, del nodo con tres tareas al que tiene 0, repartiéndose la carga. El Mosix reliza este trabajo automáticamente. Además si un nodo se estropea, se deja de usar y no se le mandan trabajos. Si unes más nodos al cluster, automáticamente el Mosix lo reconoce y empieza a mandarle trabajos con lo cual la escalabilidad es bastante buena. El problema, es la conexion entre los mismo que debe ser minimo 100 fullduplex si o si, o preferiria 1000Gb Mosix no paraleliza, si no que distribuye varios trabajos seriales (no paralelos) entre los procesadores de un cluster. Pero la idea de hacer computacion paralela es distrbuir el _mismo_ trabajo en varios procesos y con eso mosix no funciona. Las aplicaciones en paralelo de verdad correr usando bibliotecas de paso de mensajes, ya sea MPI o PVM. Y el paralelismo se maneja a nivel de aplicacion y no a nivel de sistema operativo. Y si quieres distribuir trabajos y balancear carga es mejor usar un sistema de colas como OpenPBS o Sun Grid Engine (este es open source) que reparten los trabajos en el momento de ejecutarse y que son capaces de manejar procesos en paralelo. (y tambien puedes hacer cosas como compilar en paralelo.) En HPC escalabilidad es la capacidad de una aplicacion de aumentar el rendimiento a medida que aumenta el numero de procesos, el rendimiento ideal para N procesadores es N*(rendimiento del codigo en 1 procesador) pero esto se ve raras veces. Pregunta Este tema lo temgo liquidado, lo unico que no se si entendi bien es, yo tira una compilacion de kernel como para dar un ejemplo, tengo que hacerlo con algun comando al principio, para que esa compilacion sea mas rapida? o solo asume. pregunto esto por que es mi unica duda con este tema. En el momento en que probe mosix no era capaz de lidiar con compilaciones paralelas para casos simples por que los trabajos son muy cortos y no alcanzan a migrar, ademas migrar un proceso es algo costoso y si el trabajo no es largo es mejor que se quede en un nodo o sera mas lento que migre, corra y vuelva. Digamos en un verdadero cluster para HPC donde se correran aplicaciones paralelas Mosix no tiene mucho que hacer y la utilidad que _podria_ dar es reemplazable por aplicaciones mas robustas y mas simples de mantener (nada de parchar kernels), sino que mosix es mas para aficionados y gente que le gusta jugar a hacer un cluster. Tal vez tenga ventajas otras aplicaciones, algo asi como granjas de compilacion pero yo no se de muchas. Xavier
Re: (Off Topic) Cluster
Pues te metiron en un marron :) hay dos tipos de cluster: El open mosix muy facil solo se parchea el kernel y ya esta (www.openmosix.org) Despues hay el beowulf mas dificil.. pero mucho mas potente (busca en google) Esto es una pekeña introducción.. cuando ya tengas unas nociones basicas pregunta y ya te ayudare... Salut!!! -- Albert Reig web: http://newbie.homelinux.org socio de www.badopi.org Jabber id: albert(at)bulmalug.net
Re: (Off Topic) Cluster
Coordenadas temporales: Wed, Sep 03, 2003 at 10:21:58AM -0300 Sujeto: wcom Comunicaba sobre: (Off Topic) Cluster Tengo un problema, me pidieron en la facu que prepare una clase de Cluster en linux y estoy en pañales me darian una mano cual usar.. que Un buen principio es: /usr/share/doc/HOWTO/en-txt/Cluster-HOWTO.gz Espero que te sirva. Salu2 -- Errar es Humano. Redondear es Pentium. -- Www.frases.com. pgpkTQQcpb2FB.pgp Description: PGP signature
Re: (Off Topic) Cluster
On Wed, Sep 03, 2003 at 10:21:58AM -0300, wcom wrote: Hola lista: Tengo un problema, me pidieron en la facu que prepare una clase de Cluster en linux y estoy en pañales me darian una mano cual usar.. que tipos de cluster hay ... capaz que tienen algun manual o algo de data para dareme. Hola, pues es un tema muy interesante. Aquí tienes algún enlace: Definición de clustering: http://www.webopedia.com/TERM/c/clustering.html Beowulf clusters: http://www.beowulf.org http://www.canonical.org/~kragen/beowulf-faq.txt sobre MOSIX, software que viene a crear un supercomputador «virtual» a partir de un cluster de pcs: http://www.mosix.org/txt_whatis.html Espero que te ayude a empezar. Un saludo, E.
Re: (Off Topic) Cluster
On Wed, 3 Sep 2003, wcom wrote: Hola lista: Tengo un problema, me pidieron en la facu que prepare una clase de Cluster en linux y estoy en pañales me darian una mano cual usar.. que tipos de cluster hay ... capaz que tienen algun manual o algo de data para dareme. Cluster es un termino muy general, la traduccion directa vendria a ser cumulo (supongo que esta en el diccionario de la rae) y la idea se refiere a un monton de maquinas haciendo una misma tarea. Es un termino tan ambiguo como hablar de servidor en linux. El caso mas tipico y donde mayor utilidad tienen es en la computacion de alto rendimiento y generalmente es a maquinas dedicadas a esto que se les llama Clusters. En esto estan los computadores clase beowulf [1], que por definicion son un cluster para calcular hecho de procesadores y tarjetas de red del mercado comun (athlones, pentiums (pentia?) y red fast ethernet o gigabit). [1] http://beowulf.org/ Beowulf cambio la manera en que se hace los supercomputadores y ahora muchas de las maquinas mas rapidas del mundo son clusters. La diferencia con Beowulf es que se usan interconexiones especializadas o SANs (System Area Network) de alto ancho de banda, muy baja latencia y sobre todo altisimos precios (mas de mil dolares por tarjeta), entre estos sistemas estan Myrinet, SCI, Quadrics, Infiniband, etc. Linux es el sistema operativo mas tipico que puedes encontrar en estas maquinas, esto debido a la facilidad de administracion, estabilidad y flexibilidad. Tambien es importante el costo de licencias, ya que el costo de administracion no crece proporcional al numero de nodos mientras que el costo de licencias (si tienes que pagarlas por nodo) si (y si tienes 100 o 1000 procesadores cuenta muchisimo). Si quieres ejemplos de cluster linux tienes en el numero 3 del mundo [2] a un cluster de 2300 procesadores pentium 4. Tambien el proximo numero 1 sera una maquina con linux y nada menos que una Cray. EL ASCI Red Storm en Sandia Labs con como 1 procesadores Opteron, aunque este bicho no es tecnicamente un cluster, pero muestra la influencia de linux en el area de HPC. [2] http://www.top500.org/lists/2003/06/3/ [3] http://www.sandia.gov/news-center/news-releases/2002/comp-soft-math/redstorm.html Xavier
