Re: FileServer für Datenbanksever
Guten Morgen, Michelle Konzack wrote: Problem:Der FileServer hat 7 x 147 GByte im Raid-5 und vermutlich über 127.000.000 Dateien gelagert. ^^^ Da koennten Dir auch langsam die Inodes ausgehen Frage 1:Wie kann ich solche gewaltigen Dateibestände am besten und einfachsten verwalten ? Größtes Problem dabei ist, das ich nicht Verzeichnisse mir einem dutzend ebenen haben will. Du koenntest alle Dateien _in_ der Datenbank speichern oder (so macht es eine Software fuer Dokumentenverwaltung) Ebene 1: 1000 Verzeichnisse (0-999) Ebene 2: je wieder 1000 Verzeichnisse Du musst Dir dann nur noch eine passende Regel fuer die Verteilung ueberlegen ich bastele mitlerweile mit md5sum herum, sprich, die Datei bekommt als Namen den md5sum Wert, aber ich kann ja nicht alle Dateien in EIN Verzeichnis schmeißen, wobei ich denke, das 100.000 ohen schwierigkeiten möglich sind, da mein LKM Mailarchiv ja auch weit über 200.000 hat. Das ganze erfordert dann halt ne Monster-Tabelle in der original Pfad + Datename mit dem md5 Namen verbunden werden. HTML Dateien wurden immer vollständig abgepeichert, also mit requisiten, womit dann zwei Directory einträge entstanden sind. Dazu sei noch gesagt, das alle Daten statisch sind und NICHT mehr verändert werden. Hat jemand sowas schon mal gemacht? Frage 2:Ist es sinnvoll, auf nem U160 nur zwei Raid-5 mit je 7 Platten zu fahren oder besser, fünf Raid-5 mit je 3 Platten einzurichten ? 2 x 7 - 2 x 1 = 12 Platten netto 5 x 3 - 5 x 1 = 10 Platten netto weitere Aussagen zu Vor- oder Nachteilen kann man nur in Abhaengigkeit von der durchschnittlichen Datengroesse machen Du solltest aber bedenken dass jedes Filesystem dass _viele_ Daten speichern muss, extrem langsam wird. Zur Einschaetzung: 360GB Filesystem, 22x18GB FC-AL, Software-RAID, xxMillionen Dateien, kopieren auf ein zweites Storage: ~2MB/s HTH Tobias (stiller Mitleser seit einiger Zeit) -- _Default-Schuldiger_fuer_alles_! i.V. Schroedinger Pausemacher Member Of The Most Honorable [EMAIL PROTECTED] -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: FileServer für Datenbanksever
Michelle Konzack schrieb: Guten Morgen, ich arbeite nun seit rund 20 Stunden an dem Problem, das mein binary Server in die Knie gegangen ist Ich habe: 1) Web-Server apache-ssl + php4 2) Datenbank-Serverpostgresql 3) Binary-Server apache-ssl Clientanfragen gehen immer an 1) was auch die Webseiten aus 2) generiert. 2) ist eine 130 GByte große Datenbank, die pro Tag um mindestens 10 MByte anwächst. 3) ist eigentlich NUR ein FileSever der die Originaldokumente (html, doc, exl, wav, mp3,...) zu der Datenbank liefert. Problem:Der FileServer hat 7 x 147 GByte im Raid-5 und vermutlich über 127.000.000 Dateien gelagert. Ich kann es nicht merh ausrechnen, da ls, find und Geschwister kapitulieren. Frage 1:Wie kann ich solche gewaltigen Dateibestände am besten und einfachsten verwalten ? Komische Frage , du besitzt doch eine AS/400 bzw. i5 von IBM . Bei der Konfiguration der Datenbank und der endwicklung des Verwaltungsprogramms kann ich leider nicht Helfen , da ich selbst erst dabei bin das zu lehrnen . fragen kannst du im RPL Forum stellen , in der regel wird jede Frage ernst genommen und Fundiert beantwortet . http://www.rlpforen.de/index.php Größtes Problem dabei ist, das ich nicht Verzeichnisse mir einem dutzend ebenen haben will. ich bastele mitlerweile mit md5sum herum, sprich, die Datei bekommt als Namen den md5sum Wert, aber ich kann ja nicht alle Dateien in EIN Verzeichnis schmeißen, wobei ich denke, das 100.000 ohen schwierigkeiten möglich sind, da mein LKM Mailarchiv ja auch weit über 200.000 hat. Das ganze erfordert dann halt ne Monster-Tabelle in der original Pfad + Datename mit dem md5 Namen verbunden werden. HTML Dateien wurden immer vollständig abgepeichert, also mit requisiten, womit dann zwei Directory einträge entstanden sind. Dazu sei noch gesagt, das alle Daten statisch sind und NICHT mehr verändert werden. Das spricht alles für den Einsatz einer Datenbank auf der i5 . Hat jemand sowas schon mal gemacht? Frage 2:Ist es sinnvoll, auf nem U160 nur zwei Raid-5 mit je 7 Platten zu fahren oder besser, fünf Raid-5 mit je 3 Platten einzurichten ? Greetings Michelle Mit freundlichen Grüßen Dirk Finkeldey
