Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Vali Dragnuta : > Cred ca ce vrea el sa spuna este ca avind checksumuri (si cred ca si > ceva error correction code) pentru fiecare unitate de date, la fiecare > citire standard (as in citire din timpul utilizarii NORMALE) ai > posibilitatea sa iti dai seama relativ usor daca datele citite sint in > regula sau nu (si daca ai si ceva redundanta sa si corectezi situatia). Exact. Verificare se face automat la utilizare normala, fara sa-i faci ceva special. > Lucrul asta la raid1 poate fi ceva mai dificil, pentru ca majoritatea > implementarilor la citirea unui bloc de date nu fac de fapt citire de pe > ambele discuri ca sa si compare daca blocurile citite sint sau nu > identice. Exact si asta. > Nu ca nu s-ar putea, dar nu se face mereu. > Scrubul ala de zfs probabil ca forteaza aceasta verificare la nivelul > intregului filesystem, dar nu depinzi de el pt detectia erorilor. Exact. > > De asemenea, este adevarat ca pentru fiecare bloc lowlevel in hard disc > exista un alt checksum care este validat de controllerul intern al > discului si eventual semnalat/realocat, dupa caz. Dar asta nu te > protejeaza decit de erorile care au aparut pe suprafata magnetica > ulterior momentului scrierii. > > Exista destule lucruri ingrijoratoare la zfs, precum cit de usor este ca > atunci cind chiar ti s-au corupt discurile peste un anumit nivel cit de > usor este sa repari filesystemul cu fsck (si eventual sa ramii si cu > ceva date recuperate). NU are fsck. Tot ce scrie pe disk se scrie in tranzactii. Dupa ce datele au ajuns pe platane, se adauga metadatele. E de tip CopyOnWrite. Am testat pe un HDD pe USB. Scris/modificat/redenumit fisiere, oprit curentul la usb, pornit, verificat. Cateva ore in total, datele erau cum trebe. Ce nu apuca sa scrie complet, nu apare in FS. > Ext3/4 este relativ robust din punctul asta de > vedere, ai sanse mari ca de pe un volum plin de erori logice sa > restaurezi o cantitate semnificativa de date. Nu stiu cit de usor e > lucrul asta pe un setup mai complicat de zfs atunci cind "shit hits the > fan". Dar la capitolul utilitate checksumuri pt ce salveaza si validare > checksum la fiecare citire de unitati de pe disc versus a nu avea deloc, > e clar ca e mai bine sa le ai. Ba mai mult, chiar si aplicatiile de > deasupra vin in layerul lor si pentru blocurile lor isi fac alt checksum > (bazele de date fiind un exemplu). > > Discutia versus "nu ne trebuie asigurari suplimentare ca noi punem doar > cabluri bune" mi se pare un pic puerila, atita vreme cit validarea unui > checksum la citire e o operatie cu cost minim nu poti argumenta ca nu e > bine sa ai SI asa ceva, pentru ca tu ai cabluri bune si discuri > enterprise. Chiar si alea dau rateuri, doar ca cu probabilitate mai > mica. > Corect. > Culmea e ca eu la rindul meu sint zfs sceptic, atit pentru motivul de > mai sus referitor la sansele de recovery atunci cind chiar se duce in > balarii cit si pentru ca nu-l pot folosi "normal" sau "oficial" pe > kerneluri linux (sa stau sa-l builduiesc de mina nu mi se pare > convenabil). Folosesc de 2 ani zfs-fuse, pe 7-8 masini(samba, mail-ri, squid, gluster, openvz - toate peste zfs, cu file system zfs, sau zfs exporta un block-device formatat de ex. ext4) Eu nu am avut probleme, nu am vazut rateuri. De juma de an folosesc modul de kernel pe cam 6 masini si un laptop. Cam pe toate distributiile(centos/redhat,debian/ubuntu), ai rmp-ri/deb-ri care se recompileaza automat via dkms. Iarasi nici aici nu am avut probleme. Nici pe debian nici pe centos si nici pe ubuntu. > Dar trebuie a recunosc ca cel putin la capitolul asta cu > validarea datelor citite are un avantaj, si mi se pare o prostie sa > argumentezi ca un sistem de securitate in plus este prost pentru ca tu > tii la datele tale si ai cabluri bune si hardware de top. > Exact la asta m-am gandit si eu. Wikipedia: "ZFS is a combined file system and logical volume manager designed by Sun Microsystems. The features of ZFS include protection against data corruption, support for high storage capacities, efficient data compression, integration of the concepts of filesystem and volume management, snapshots and copy-on-write clones, continuous integrity checking and automatic repair, RAID-Z and native NFSv4 ACLs. Data integrity One major feature that distinguishes ZFS from other file systems is that ZFS is designed with a focus on data integrity. That is, it is designed to protect the user's data on disk against silent data corruption caused by bit rot, current spikes, bugs in disk firmware, phantom writes (the write is dropped on the floor), misdirected reads/writes (the disk accesses the wrong block), DMA parity errors between the array and server memory or from the driver (since the checksum validates data inside the array), driver errors (data winds up in the wrong buffer inside the kernel), accidental overwrites (such as swapping to a live file system), etc. Error rates in hard
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Io nu sint in clar cu o chestie hdd-ul are ECC (si da il foloseste). Nu stiu daca memoria cache de pe hdd e si ea macar cu bit de paritate, dar de pe platane erorile de citire sint detectate (si in masura posibilitatilor corectate) sata are si el ceva crc, ca si sirmele de firma pot avea probleme (asta ca sa nu ma leg de ingeniosul care a proiectat mufele, care ies afara numai cind te uiti la ele) memoria dintr-un server e ecc nu stiu memoria cache din controller-ul raid, cel putin unele folosesc memorii simple de pc, dar la cele profi ma astept sa aiba si ele ecc pe ethernet avem si acolo checksum-uri Si atunci, exceptind cazuri extreme - de coruptie intre doua medii de transfer (gen bug in fw la controllerul raid sau hdd care nu onoreaza un flush de cache) - modificari care trec de suma de control (ca nah orice algoritm de suma de control mai scurta decit datele respective va avea coliziuni -> cazuri de erori nedetectate) de unde naiba atitea silent data corruption? -- Dan Borlovan Datagroup-Int ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Cred ca ce vrea el sa spuna este ca avind checksumuri (si cred ca si ceva error correction code) pentru fiecare unitate de date, la fiecare citire standard (as in citire din timpul utilizarii NORMALE) ai posibilitatea sa iti dai seama relativ usor daca datele citite sint in regula sau nu (si daca ai si ceva redundanta sa si corectezi situatia). Lucrul asta la raid1 poate fi ceva mai dificil, pentru ca majoritatea implementarilor la citirea unui bloc de date nu fac de fapt citire de pe ambele discuri ca sa si compare daca blocurile citite sint sau nu identice. Nu ca nu s-ar putea, dar nu se face mereu. Scrubul ala de zfs probabil ca forteaza aceasta verificare la nivelul intregului filesystem, dar nu depinzi de el pt detectia erorilor. De asemenea, este adevarat ca pentru fiecare bloc lowlevel in hard disc exista un alt checksum care este validat de controllerul intern al discului si eventual semnalat/realocat, dupa caz. Dar asta nu te protejeaza decit de erorile care au aparut pe suprafata magnetica ulterior momentului scrierii. Exista destule lucruri ingrijoratoare la zfs, precum cit de usor este ca atunci cind chiar ti s-au corupt discurile peste un anumit nivel cit de usor este sa repari filesystemul cu fsck (si eventual sa ramii si cu ceva date recuperate). Ext3/4 este relativ robust din punctul asta de vedere, ai sanse mari ca de pe un volum plin de erori logice sa restaurezi o cantitate semnificativa de date. Nu stiu cit de usor e lucrul asta pe un setup mai complicat de zfs atunci cind "shit hits the fan". Dar la capitolul utilitate checksumuri pt ce salveaza si validare checksum la fiecare citire de unitati de pe disc versus a nu avea deloc, e clar ca e mai bine sa le ai. Ba mai mult, chiar si aplicatiile de deasupra vin in layerul lor si pentru blocurile lor isi fac alt checksum (bazele de date fiind un exemplu). Discutia versus "nu ne trebuie asigurari suplimentare ca noi punem doar cabluri bune" mi se pare un pic puerila, atita vreme cit validarea unui checksum la citire e o operatie cu cost minim nu poti argumenta ca nu e bine sa ai SI asa ceva, pentru ca tu ai cabluri bune si discuri enterprise. Chiar si alea dau rateuri, doar ca cu probabilitate mai mica. Culmea e ca eu la rindul meu sint zfs sceptic, atit pentru motivul de mai sus referitor la sansele de recovery atunci cind chiar se duce in balarii cit si pentru ca nu-l pot folosi "normal" sau "oficial" pe kerneluri linux (sa stau sa-l builduiesc de mina nu mi se pare convenabil). Dar trebuie a recunosc ca cel putin la capitolul asta cu validarea datelor citite are un avantaj, si mi se pare o prostie sa argumentezi ca un sistem de securitate in plus este prost pentru ca tu tii la datele tale si ai cabluri bune si hardware de top. On Fri, 2013-11-15 at 13:16 +0200, Andrei Pascal wrote: > Of of, măi măi... Poți lăsa scrub-ul ăla să ruleze , e drept - dar tot îți > va fute discurile. Și, întreb eu, CÂND ruleziscrub-ul? Dacă îl rulezi la > scriere și cu asta basta, nu e nici o diferență între ZFS și RAID 5 de > exemplu. Plus că e la mintea cocoșului că într-un mirror nu pui discuri din > același lot de producție. > > Argumentul cu rebuildul mirror-ului ZFS e valabil, dar, cum spuneam mai > înainte, ZFS e și volume manager și filesystem iar suport comercial n-are > decât pe Solaris. Pentru tine acasă însă merge și pe *bsd, nu-i bai. Sau > dacă nu te interesează suportul. > > > 2013/11/15 Iulian Murgulet > > > > > > > ... mai fac o incercare. > > > > 1. MD RAID1(2xHDD) > > > > Scriu un block de date care sa zicem contine "A1B2"(ca idee) pe un > > /dev/mdX, asta inseamna ca in spate, md-ul va scrie acel block identic > > pe HDD1 si pe HDD2. HDD1 si 2 zice gata e OK, am terminat > > > > > > Citesc acel block de date peste 3 luni(ipotetic), md-ul il va citi > > de pe HDD1 sau de pe HDD2(round-robin), daca il poate citi fara erori, > > zice ca e OK. > > > > - in astea 3 luni sa intamplat ceva(orice vreti voi sa va imaginati), > > si cand citesc el citeste cu SUCCES "A1B0" - e bine? Cu siguranta nu e > > bine. > > > > 2. ZFS-mirror(2xHDD) > > > > Inainte de a scrie, calculez un check-sum pt. "A1B2", si scriu pe HDD1 > > si 2 atat blocul de date cat SI check-sum-ul pe fiecare disk. > > > > Citesc acel block de date peste 3 luni(ipotetic), zfs-ul il va citi > > de pe HDD1 sau de pe HDD2(round-robin), calculez check-sum-ul la ce am > > citit si compar cu > > check-sum-ul stocat pe disk la scriere, daca bate verificarea, este OK. > > Daca nu bate verificarea, atunci citesc din nou acelasi bloc > > oglindit care se afla pe HDD2. Daca aici verificarea este OK, atunci, > > scriu din din nou acelasi bloc si pe HDD1, si returnez datele CORECTE > > pt. acel block aplicatiei. > > > >ZFS scrub, asta face, citeste fiecare bloc de date(si atentie, daca > > am un pool de 2 TB, da eu am date doar pe 10 GB, verific doar cei 10 > > GB de date), si verifica daca bate cu check-sum-ul stocat la scriere. > > > > > > 1. MD RAID1(2xHDD) > > > >
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On Fri, 15 Nov 2013, Iulian Murgulet wrote: > - cred ca ai citit in altceva, eu nu am zis ca RAID-ul "trebe sa faca > teste de memorie" Pai n-ai zis nici ca trebuie sa stearga praful, nu ma bucur ca n-ai inteles aluzia. >> Pai despre ce discutam? Pina acum te plingeai de detectia erorilor >> care apar pe disc in timp, eventual cu discurile oprite, dind exemplul >> ala cu CERN sau cu data anus rupturition. > > ... si discurile transfera datele prin telepatie cu aplicatiile? La > mine, discurile cheap sunt legate cu cabluri! Nu, dar ca si la retele exista mai multe nivele pe care circula datele. Mai multe layere. Unele sint responsabile cu unele lucruri, altele sint responsabile cu altele. >> nivelele, de la driver de controller raid, implementarea raid din formware >> (sau modul kernel unde e soft), pina la discul insusi. > > - de facut fac toate, dar dar le mai si scapa unele erori! Pai toate fac in felul lor aceasta detectie a erorilor, incepind de la integritatea magnetica si impartirea logica a suprafetei. > - am ras-explicat, eu nu am pretentia ca explic f. bine, > dar cred gasesti tu pe net explicatii detailate despre ZFS pe partea asta, > fara incurcaturi de layere; Da, sa nu ne mai incurcam cu layere. Sa bagam pe acelasi nivel filesystemul, volume managerul, matricile raid, discul, si suruburile de la platan. >> Vezi la ce neintelegeri ajungem daca vorbesti neclar, te referi la >> un lucru si vrei sa spui altul, sau incurci termenii si layerele unui >> subansamblu? FAIL! Asta e real time data curruption. > > - chiar nu ma intereseaza cum ii zice! Pai daca tie nu-ti pasa de termeni cum vrei sa ai o discutie tehnica si precisa cu cineva? Gesticulind de parca te-ai inecat cu un mar? > "Este datoria lor" - a cui? Pai nu mai conteaza. Cred ca a conectorilor SATA, ca oricum ai zis ca vrei sa ai totul la acelasi layer. >> Err, signature FAIL follows...: ^^ x 2: > > This message was sent using IMP, the Internet Messaging Program. > > > ATENTIONARI = > > - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; > - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). > > O lista completa cu reguli de utilizare exista la: > > http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106 > > C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov > [web-site]: http://www.casbv.ro > [forum]: http://gw.casbv.ro/forum_smf/index.php > > == > -- I'm a genuine network and sys admin. I swear, I curse, I stick my dick into things in order to fix them. So don't ack like you're having a bad day with me around, 'cause I'll have fix to you and will not be able to fight it! ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On Fri, 15 Nov 2013, Iulian Murgulet wrote: > 2. ZFS-mirror(2xHDD) > > - dintr-un motiv oarecare HDD2 a fost scos din raid(nu discutam cauza) > - il bagam din nou in raid dupa 3 ore sa zicem(acelasi disk ieftin > ...sau unul nou din clasa enterprise), OK se incepe sincronizarea, dar > se va face o sincronizare pe doar 500 GB de date si nu pe 2TB. > > cam asta-i tot. Mai adu LVM in discutie si compara-l cu RAID doar pentru ca are sripes si mirrors si gata, ne putem zvirli toti de pe geam. -- I'm a genuine network and sys admin. I swear, I curse, I stick my dick into things in order to fix them. So don't ack like you're having a bad day with me around, 'cause I'll have fix to you and will not be able to fight it! ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On 11/15/2013 02:45 PM, Mișu Moldovan wrote: > 2013/11/15 Tarhon-Onu Victor : >>Vezi la ce neintelegeri ajungem daca vorbesti neclar, te referi la >> un lucru si vrei sa spui altul, sau incurci termenii si layerele unui >> subansamblu? FAIL! Asta e real time data curruption. > Freudian slip or what? e voita. vino si tu pe #mumu , stai suficient si o sa pricepi cum sta treaba ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
2013/11/15 Tarhon-Onu Victor : > Vezi la ce neintelegeri ajungem daca vorbesti neclar, te referi la > un lucru si vrei sa spui altul, sau incurci termenii si layerele unui > subansamblu? FAIL! Asta e real time data curruption. Freudian slip or what? Nu mă întreb așa mult cine-i Ion cel rupt în fund, da' totuși cum se întâmplă asta în timp real?!? :) Hhmmm... ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Andrei Pascal : > 2013/11/15 Iulian Murgulet > >> Quoting Andrei Pascal : >> >> > Of of, m?i m?i... Po?i l?sa scrub-ul ?la s? ruleze , e drept - dar tot >> î?i >> > va fute discurile. ?i, întreb eu, CÂND ruleziscrub-ul? >> >> ... on-demand >> > > C?t de des? Cum te asiguri c? l-ai rulat FIX înainte s? apar? orice > posibil? corup?ie? Dac? datele s-au corupt înainte s? rulezi scrub-ul? > Ca regula generala, saptamanal. Si care e ideea ca nu inteleg? Daca datele sunt corupte, ZFS-ul va incerca sa le corecteze daca poate. Dar nu asta e esential, ci faptul ca pot afla asta(ca am date corupte, recuperabile sau nu)! > >> > Dac? îl rulezi la >> > scriere ?i cu asta basta, nu e nici o diferen?? între ZFS ?i RAID 5 de >> > exemplu. >> >>Ba da este. ZFS nu are "RAID-5 write hole"! >> >> Ok, fie cum zici tu. > > >> > Plus c? e la mintea coco?ului c? într-un mirror nu pui discuri din >> > acela?i lot de produc?ie. >> > >> > Argumentul cu rebuildul mirror-ului ZFS e valabil, dar, cum spuneam mai >> >> ... iar restul e poveste ? >> > > Vezi mai sus... > > >> > înainte, ZFS e ?i volume manager ?i filesystem iar suport comercial n-are >> > decât pe Solaris. Pentru tine acas? îns? merge ?i pe *bsd, nu-i bai. Sau >> > dac? nu te intereseaz? suportul. >> > >> >> ... nu ma intereseaza. Merge in productie si la mine si la alte case mai >> mari. > > > M? bucur doar c? nu stau în Bra?ov, pe partea rela?iei mele cu statul > mult-iubit. ?i sper c? datele despre mine nu sunt ?inute pe acele ma?ini, > c? n-o s? am nici o pl?cere în a alerga pentru a le reface când acel ZFS o > va lua prin copaci. Stai linistit. Esti sigur ca numa ZFS o ia prin copaci? De ceva timp sa inventat si backup-ul! > ___ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug > This message was sent using IMP, the Internet Messaging Program. ATENTIONARI == - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). O lista completa cu reguli de utilizare exista la: http://gw.casbv.ro/forum_smf/index.php?topic 00.msg3106#msg3106 C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov [web-site]: http://www.casbv.ro [forum]: http://gw.casbv.ro/forum_smf/index.php = ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Tarhon-Onu Victor : > On Fri, 15 Nov 2013, Iulian Murgulet wrote: > >> ... nu cred ca exprimarile "ne-elegante", ca sa fiu diplomat, >> intarasc argumentele! Mai cred ca respectul si bunul-simt ajuta mai >> mult! > > Imi pare rau dar peste un anumit threshold de batut cimpii nu ma > mai pot abtine. Imi cer scuze pentru iesirile din trecut si respectiv > anticipat pentru iesirile viitoare, pentru ca fiind moldovean... > http://www.youtube.com/watch?v=YUz5XDERIt8 > (Ala din clip nu-s eu, era sa fiu eu insa l-a facut asta primul). > >> Raid soft am folosit de mai bine de 10 ani, pe mai mult de o masina. >> Folosesc si acum md raid1 pe partitiile cu sistemul de operare. Eu am >> scris ca md raid1 nu e cea mai buna solutie pe partitiile de date, si am >> sugerat dupa parerea mea, o solutie mai buna, evident conform cu lipsa >> mea de experienta! > > Wow! pe 2 masini! Cu discuri luate de la acelasi chiosc in > acelasi timp, scapate jos in aceeasi cutie la transport! Nu pe asa multe, au fost doar 1.5 masini. Discurile mi-au venit intotdeana parasutate dintr-un satelit, si aia de le parasuteaza folosesc pungi de la super-market, nu le pun in cutii! > Eu nu te-am contrazis cind ai spus ca raid nus' de care nu e cea > mai buna pentru nus' ce partitii, ci te-am combatut cind ai inceput sa ai > pretentii de la implementarea raid sa faca teste de memorie pe masina, sa > verifice daca e sters praful si daca se aprind toate ledurile la masina > de uscat miinile din WC. - cred ca ai citit in altceva, eu nu am zis ca RAID-ul "trebe sa faca teste de memorie" > >>... cum am mai precizat anterior, altii au alta parere. Ei cred >> ca e treaba >> partii de control/management a array-ui sa detecteze erorile(in >> anumite conditii) si sa le si repare din informatiile de >> redundanta(daca exista date suficiente). > > Orice astfel de implentare va face detectie de erori pe datele CU > CARE LUCREAZA. Datele odata ajunse pe disc, daca discul o ia razna in > portiuni pe care kernelul nu le atinge din diverse motive. > In momentul in care intr-o matrice raid cu redundanta se vor face > citiri ale unui bloc de cate si nu corespund informatiile de pe discuri - la MD raid1, cu ce sa corespunda daca el citeste blocul fara eroare - dar ce a citit nu e identic cu ce am scris? > (mirror/normal, checksum, etc) atunci fii sigur ca raid-ul va sari in sus > si va incepe sa zbiare ca a gasit ceva. Dar altfel, daca datele stau acolo > si nu le scrie/citeste nimeni e ca si cum ai avea discurile in sertar si > ai vrea sa-si dea cineva seama ca e ceva in neregula. > >> Nu trebuie sa si fii de acord cu solutia asta. Si de ce ma rog nu as >> putea sa folosesc md raid pe discuri cheap? RAID tocmai asta insemna: >> redundant array of inexpensive disks. Tu te referi la RAE(xpensive)D, >> nu-i asa? > > Cheap sau Expensive detectia si tratarea erorilor se face la > nivele diferite in situatii diferite, sau in puncte similare pentru > situatii similare. Poate sa difere doar cit de adinc se intra in structura > matricii sau a discurilor pentru asa ceva. > Vei vedea adaptoare RAID de la diversi vendori, in valoare de > multe sute de dolari sau chiar trec mia, la care detectia erorilor pe disc > se rezuma la monitorizari SMART (si uneori nici atit!!) cu exceptia > cazurilor cind sint erori la scrieri/citiri. Restul cade in seama > software-ului de SAN sau a sistemelor de fisiere de pe partitiile facute > pe acele array-uri. > Sau vei vedea adaptoare care cind apar erori (pentru ca stau mai > bine la partea asta) o iau razna cind apare ceva mai nasol pentru ca stau > sa rontaie ele si sa ia tot felul de decizii sa compenseze iar in camera > alaturata vei vedea 5 sisadmini facind concurs de dat cu capul in zid ca > nu pot opri procesul ca sa se termine 5 tranzactii bancare la timp intr-un > cluster de 1M$. > Deja nu mai vorbim de solutii cheap ci de solutii unde un singur > sistem membru al unui cluster costa peste 10k$. Si nu exista implementare > ideala din diverse motive, exista doar solutii care se preteaza mai bine > pentru o situatie sau alta. > >> Da. Ia sa vedem ce zici tu, poate iarasi nu inteleg eu si-mi >> scapa ceva. Caz >> concret: am 12 Tb de date, cu 'jde milioane de fisiere, si scriu >> cam 1Tb/24h. >> Cam cat ar dura sa fac verificari de md5sum/sha1sum? Si sa creez >> altele la fisierele modificate/adaugate? Dar tot nu ma ajuta cand >> citesc, pt. ca nu stiu >> daca ce citesc e asa cum a fost scris sau nu. Si daca in loc de 12 Tb, >> am 120Tb? >> Alt caz, cablu sATA prost: SMART zice OK, dar aleator > > Pai despre ce discutam? Pina acum te plingeai de detectia erorilor > care apar pe disc in timp, eventual cu discurile oprite, dind exemplul > ala cu CERN sau cu data anus rupturition. ... si discurile transfera datele prin telepatie cu aplicatiile? La mine, discurile cheap sunt legate cu cabluri! > Ca detectie a erorilor in timp real fac
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
2013/11/15 Iulian Murgulet > Quoting Andrei Pascal : > > > Of of, m?i m?i... Po?i l?sa scrub-ul ?la s? ruleze , e drept - dar tot > î?i > > va fute discurile. ?i, întreb eu, CÂND ruleziscrub-ul? > > ... on-demand > Căt de des? Cum te asiguri că l-ai rulat FIX înainte să apară orice posibilă corupție? Dacă datele s-au corupt înainte să rulezi scrub-ul? > > Dac? îl rulezi la > > scriere ?i cu asta basta, nu e nici o diferen?? între ZFS ?i RAID 5 de > > exemplu. > >Ba da este. ZFS nu are "RAID-5 write hole"! > > Ok, fie cum zici tu. > > Plus c? e la mintea coco?ului c? într-un mirror nu pui discuri din > > acela?i lot de produc?ie. > > > > Argumentul cu rebuildul mirror-ului ZFS e valabil, dar, cum spuneam mai > > ... iar restul e poveste ? > Vezi mai sus... > > înainte, ZFS e ?i volume manager ?i filesystem iar suport comercial n-are > > decât pe Solaris. Pentru tine acas? îns? merge ?i pe *bsd, nu-i bai. Sau > > dac? nu te intereseaz? suportul. > > > > ... nu ma intereseaza. Merge in productie si la mine si la alte case mai > mari. Mă bucur doar că nu stau în Brașov, pe partea relației mele cu statul mult-iubit. Și sper că datele despre mine nu sunt ținute pe acele mașini, că n-o să am nici o plăcere în a alerga pentru a le reface când acel ZFS o va lua prin copaci. ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Andrei Pascal : > Of of, m?i m?i... Po?i l?sa scrub-ul ?la s? ruleze , e drept - dar tot î?i > va fute discurile. ?i, întreb eu, CÂND ruleziscrub-ul? ... on-demand > Dac? îl rulezi la > scriere ?i cu asta basta, nu e nici o diferen?? între ZFS ?i RAID 5 de > exemplu. Ba da este. ZFS nu are "RAID-5 write hole"! > Plus c? e la mintea coco?ului c? într-un mirror nu pui discuri din > acela?i lot de produc?ie. > > Argumentul cu rebuildul mirror-ului ZFS e valabil, dar, cum spuneam mai ... iar restul e poveste ? > înainte, ZFS e ?i volume manager ?i filesystem iar suport comercial n-are > decât pe Solaris. Pentru tine acas? îns? merge ?i pe *bsd, nu-i bai. Sau > dac? nu te intereseaz? suportul. > ... nu ma intereseaza. Merge in productie si la mine si la alte case mai mari. > > 2013/11/15 Iulian Murgulet > >> >> >> ... mai fac o incercare. >> >> 1. MD RAID1(2xHDD) >> >> Scriu un block de date care sa zicem contine "A1B2"(ca idee) pe un >> /dev/mdX, asta inseamna ca in spate, md-ul va scrie acel block identic >> pe HDD1 si pe HDD2. HDD1 si 2 zice gata e OK, am terminat >> >> >> Citesc acel block de date peste 3 luni(ipotetic), md-ul il va citi >> de pe HDD1 sau de pe HDD2(round-robin), daca il poate citi fara erori, >> zice ca e OK. >> >> - in astea 3 luni sa intamplat ceva(orice vreti voi sa va imaginati), >> si cand citesc el citeste cu SUCCES "A1B0" - e bine? Cu siguranta nu e >> bine. >> >> 2. ZFS-mirror(2xHDD) >> >> Inainte de a scrie, calculez un check-sum pt. "A1B2", si scriu pe HDD1 >> si 2 atat blocul de date cat SI check-sum-ul pe fiecare disk. >> >> Citesc acel block de date peste 3 luni(ipotetic), zfs-ul il va citi >> de pe HDD1 sau de pe HDD2(round-robin), calculez check-sum-ul la ce am >> citit si compar cu >> check-sum-ul stocat pe disk la scriere, daca bate verificarea, este OK. >> Daca nu bate verificarea, atunci citesc din nou acelasi bloc >> oglindit care se afla pe HDD2. Daca aici verificarea este OK, atunci, >> scriu din din nou acelasi bloc si pe HDD1, si returnez datele CORECTE >> pt. acel block aplicatiei. >> >>ZFS scrub, asta face, citeste fiecare bloc de date(si atentie, daca >> am un pool de 2 TB, da eu am date doar pe 10 GB, verific doar cei 10 >> GB de date), si verifica daca bate cu check-sum-ul stocat la scriere. >> >> >> 1. MD RAID1(2xHDD) >> >> - dintr-un motiv oarecare HDD2 a fost scos din raid(nu discutam cauza) >> - il bagam din nou in raid dupa 3 ore sa zicem(acelasi disk ieftin >> ...sau unul nou din clasa enterprise), OK se incepe sincronizarea, de >> la zero, pe 2 TB chit ca eu am doar 500 GB de date; >> >> 2. ZFS-mirror(2xHDD) >> >> - dintr-un motiv oarecare HDD2 a fost scos din raid(nu discutam cauza) >> - il bagam din nou in raid dupa 3 ore sa zicem(acelasi disk ieftin >> ...sau unul nou din clasa enterprise), OK se incepe sincronizarea, dar >> se va face o sincronizare pe doar 500 GB de date si nu pe 2TB. >> >> cam asta-i tot. >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> This message was sent using IMP, the Internet Messaging Program. >> >> >> ATENTIONARI = >> >> - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; >> - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). >> >> O lista completa cu reguli de utilizare exista la: >> >> http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106 >> >> C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov >> [web-site]: http://www.casbv.ro >> [forum]: http://gw.casbv.ro/forum_smf/index.php >> >> == >> >> ___ >> RLUG mailing list >> RLUG@lists.lug.ro >> http://lists.lug.ro/mailman/listinfo/rlug >> > > > > -- > Ave > http://flying.prwave.ro > ___ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug > This message was sent using IMP, the Internet Messaging Program. ATENTIONARI == - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). O lista completa cu reguli de utilizare exista la: http://gw.casbv.ro/forum_smf/index.php?topic 00.msg3106#msg3106 C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov [web-site]: http://www.casbv.ro [forum]: http://gw.casbv.ro/forum_smf/index.php = ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Tarhon-Onu Victor : > On Fri, 15 Nov 2013, Iulian Murgulet wrote: > >> - cand scrie un bloc de date, sa scrie si un check-sum pt. acel bloc, iar >> cand citesc, un block de date sa-i calculez check-sum-ul si sa-l compar cu >> check-sum-ul stocat la scriere; > > Si cum/cind faci asta? E ceva ce se intimpla in mod activ sau > on-demand? Ambele. Se intampla activ cand fac scrieri/citiri, dar daca vreau pot face o verificare on-demand, la un intreg pool! > >> - nu am pomenit nimic de hw raid; > > Pai ce relevanta are? Data curruption apare la nivel de disc, tu > vrei ca raid-ul sa ia masuri. Nici o implementare raid nu va face asta in > mod activ. Ba face ZFS-ul. Poate sa apara si in RAM, in chipset, in CPU, practic oriunde. > > -- > I'm a genuine network and sys admin. > I swear, I curse, I stick my dick into things in order to fix them. > So don't ack like you're having a bad day with me around, > 'cause I'll have fix to you and will not be able to fight it! > ___ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug > This message was sent using IMP, the Internet Messaging Program. ATENTIONARI = - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). O lista completa cu reguli de utilizare exista la: http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106 C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov [web-site]: http://www.casbv.ro [forum]: http://gw.casbv.ro/forum_smf/index.php == ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Of of, măi măi... Poți lăsa scrub-ul ăla să ruleze , e drept - dar tot îți va fute discurile. Și, întreb eu, CÂND ruleziscrub-ul? Dacă îl rulezi la scriere și cu asta basta, nu e nici o diferență între ZFS și RAID 5 de exemplu. Plus că e la mintea cocoșului că într-un mirror nu pui discuri din același lot de producție. Argumentul cu rebuildul mirror-ului ZFS e valabil, dar, cum spuneam mai înainte, ZFS e și volume manager și filesystem iar suport comercial n-are decât pe Solaris. Pentru tine acasă însă merge și pe *bsd, nu-i bai. Sau dacă nu te interesează suportul. 2013/11/15 Iulian Murgulet > > > ... mai fac o incercare. > > 1. MD RAID1(2xHDD) > > Scriu un block de date care sa zicem contine "A1B2"(ca idee) pe un > /dev/mdX, asta inseamna ca in spate, md-ul va scrie acel block identic > pe HDD1 si pe HDD2. HDD1 si 2 zice gata e OK, am terminat > > > Citesc acel block de date peste 3 luni(ipotetic), md-ul il va citi > de pe HDD1 sau de pe HDD2(round-robin), daca il poate citi fara erori, > zice ca e OK. > > - in astea 3 luni sa intamplat ceva(orice vreti voi sa va imaginati), > si cand citesc el citeste cu SUCCES "A1B0" - e bine? Cu siguranta nu e > bine. > > 2. ZFS-mirror(2xHDD) > > Inainte de a scrie, calculez un check-sum pt. "A1B2", si scriu pe HDD1 > si 2 atat blocul de date cat SI check-sum-ul pe fiecare disk. > > Citesc acel block de date peste 3 luni(ipotetic), zfs-ul il va citi > de pe HDD1 sau de pe HDD2(round-robin), calculez check-sum-ul la ce am > citit si compar cu > check-sum-ul stocat pe disk la scriere, daca bate verificarea, este OK. > Daca nu bate verificarea, atunci citesc din nou acelasi bloc > oglindit care se afla pe HDD2. Daca aici verificarea este OK, atunci, > scriu din din nou acelasi bloc si pe HDD1, si returnez datele CORECTE > pt. acel block aplicatiei. > >ZFS scrub, asta face, citeste fiecare bloc de date(si atentie, daca > am un pool de 2 TB, da eu am date doar pe 10 GB, verific doar cei 10 > GB de date), si verifica daca bate cu check-sum-ul stocat la scriere. > > > 1. MD RAID1(2xHDD) > > - dintr-un motiv oarecare HDD2 a fost scos din raid(nu discutam cauza) > - il bagam din nou in raid dupa 3 ore sa zicem(acelasi disk ieftin > ...sau unul nou din clasa enterprise), OK se incepe sincronizarea, de > la zero, pe 2 TB chit ca eu am doar 500 GB de date; > > 2. ZFS-mirror(2xHDD) > > - dintr-un motiv oarecare HDD2 a fost scos din raid(nu discutam cauza) > - il bagam din nou in raid dupa 3 ore sa zicem(acelasi disk ieftin > ...sau unul nou din clasa enterprise), OK se incepe sincronizarea, dar > se va face o sincronizare pe doar 500 GB de date si nu pe 2TB. > > cam asta-i tot. > > > > > > > > > > > > > > > > > > This message was sent using IMP, the Internet Messaging Program. > > > ATENTIONARI = > > - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; > - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). > > O lista completa cu reguli de utilizare exista la: > > http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106 > > C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov > [web-site]: http://www.casbv.ro > [forum]: http://gw.casbv.ro/forum_smf/index.php > > == > > ___ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug > -- Ave http://flying.prwave.ro ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
... mai fac o incercare. 1. MD RAID1(2xHDD) Scriu un block de date care sa zicem contine "A1B2"(ca idee) pe un /dev/mdX, asta inseamna ca in spate, md-ul va scrie acel block identic pe HDD1 si pe HDD2. HDD1 si 2 zice gata e OK, am terminat Citesc acel block de date peste 3 luni(ipotetic), md-ul il va citi de pe HDD1 sau de pe HDD2(round-robin), daca il poate citi fara erori, zice ca e OK. - in astea 3 luni sa intamplat ceva(orice vreti voi sa va imaginati), si cand citesc el citeste cu SUCCES "A1B0" - e bine? Cu siguranta nu e bine. 2. ZFS-mirror(2xHDD) Inainte de a scrie, calculez un check-sum pt. "A1B2", si scriu pe HDD1 si 2 atat blocul de date cat SI check-sum-ul pe fiecare disk. Citesc acel block de date peste 3 luni(ipotetic), zfs-ul il va citi de pe HDD1 sau de pe HDD2(round-robin), calculez check-sum-ul la ce am citit si compar cu check-sum-ul stocat pe disk la scriere, daca bate verificarea, este OK. Daca nu bate verificarea, atunci citesc din nou acelasi bloc oglindit care se afla pe HDD2. Daca aici verificarea este OK, atunci, scriu din din nou acelasi bloc si pe HDD1, si returnez datele CORECTE pt. acel block aplicatiei. ZFS scrub, asta face, citeste fiecare bloc de date(si atentie, daca am un pool de 2 TB, da eu am date doar pe 10 GB, verific doar cei 10 GB de date), si verifica daca bate cu check-sum-ul stocat la scriere. 1. MD RAID1(2xHDD) - dintr-un motiv oarecare HDD2 a fost scos din raid(nu discutam cauza) - il bagam din nou in raid dupa 3 ore sa zicem(acelasi disk ieftin ...sau unul nou din clasa enterprise), OK se incepe sincronizarea, de la zero, pe 2 TB chit ca eu am doar 500 GB de date; 2. ZFS-mirror(2xHDD) - dintr-un motiv oarecare HDD2 a fost scos din raid(nu discutam cauza) - il bagam din nou in raid dupa 3 ore sa zicem(acelasi disk ieftin ...sau unul nou din clasa enterprise), OK se incepe sincronizarea, dar se va face o sincronizare pe doar 500 GB de date si nu pe 2TB. cam asta-i tot. This message was sent using IMP, the Internet Messaging Program. ATENTIONARI = - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). O lista completa cu reguli de utilizare exista la: http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106 C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov [web-site]: http://www.casbv.ro [forum]: http://gw.casbv.ro/forum_smf/index.php == ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On Fri, 15 Nov 2013, Iulian Murgulet wrote: >>> E la fel de bun? ca un software RAID. > > Cine? MD-ul e la fel de bun ca un hw RAID - asta ai vrut sa zici? Din puntul de vedere al performantei nu. Din punctul de vedere al raportului performanta/pret e mai bun software raid. Din punctul de vedere al tratarii erorilor si a fiabilitatii pot aparea discutii. Nu rare cind cazurile cind intr-o matrice raid se duce in lumea ei adaptorul raid si varzuieste datele pe discurile care nu au nimic. La un software raid daca se intimpla asta vei vedea un kernel panic cu mult inainte ca datele de pe array sa fie inutilizabile. Implementarile RAID hardware insa nu pot fi inlocuite cu implementari software pentru array-uri mari. Chiar si cu CPU puternic si mult RAM, performantele unei matrici de, sa zicem, 32 de discuri sit mult sub acelasi array implementat cu un controller dedicat. Insa chiar si in situatii dintr-astea extreme, daca scopul pentru care ai nevoie de aceasta implementare nu e unul neaparat critic, sau este dar performanta nu e critica si diferenta reala nu va fi mare pentru ca te poti baza pe plusul consistent de viteza rezultat din mecanismele de caching de date atunci deciziile vor fi dificil de luat. Implementarile RAID hardware sint cumva echivalentul medicamentelor "naturiste" de purificare pentru traiul nesanatos. Zilele trecute am fost fortat sa ascult vreo 30 de secunde un post de radio si era o proasta care spunea ceva de genul: "ficatul tau sufera de la consumul de alcool, tutun, si de la oboseala? Acum exista nu_stiu_ce_cacat, otraveste-te sistematic cu asta sa ajuti organismul sa elimine". Ei, daca ai nevoie ca sistemul tau sa traiasca in conditii dificile (necesar de performante mari in mod sustinut) atunci baga-i medicamentul hardware. Altfel nu-l forta/indopa aiurea cu cacaturi daca nu e nevoie. -- I'm a genuine network and sys admin. I swear, I curse, I stick my dick into things in order to fix them. So don't ack like you're having a bad day with me around, 'cause I'll have fix to you and will not be able to fight it! ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
2013/11/15 Iulian Murgulet > Quoting Andrei Pascal : > > >> > Si pentru orice altceva exista md5sum/sha1sum. Daca ceva se duce > >> > la vale vei vedea folosind astfel de utilitare indiferent de mediul pe > >> > care sint datele. > >> > >>Da. Ia sa vedem ce zici tu, poate iarasi nu inteleg eu si-mi scapa > >> ceva. Caz > >> concret: am 12 Tb de date, cu 'jde milioane de fisiere, si scriu cam > >> 1Tb/24h. > >> Cam cat ar dura sa fac verificari de md5sum/sha1sum? Si sa creez > >> altele la fisierele modificate/adaugate? Dar tot nu ma ajuta cand > >> citesc, pt. ca nu stiu > >> daca ce citesc e asa cum a fost scris sau nu. Si daca in loc de 12 Tb, > >> am 120Tb? > >> > > > > Deci tu aici propui ca controller-ul s? ?i citeasc? înapoi ceea ce a > scris, > > nu? Eu asta în?eleg. > > NU. Pt. orice BLOCK scris, sa am un check-sum stocat pe disk pt. acel > block. > > Țeapă. Discurile au această facilitate implementată în hardware. Orice mediu magnetic include - intern, în controller și stocat pe același mediu - niște chestii numite coduri detectoare și corectoare de erori. Valabil și la benzile digitale, și la discuri. Doar că astea nu se văd din afara mediului cu pricina (la portul SATA/SAS/FC/whatever). Iar RAID-urile cu paritate (5,6, 50,60 etc) exact asta și fac. Ceea ce vrei tu se face mult mai simplu, cu RAID 1. Calculul unui super checksum în timp real costă - d-aia RAID5 și RAID6 sunt lente ca porcu'. > > > > > > >>Alt caz, cablu sATA prost: SMART zice OK, dar aleator > >> > >> > > SMART nu mai apuc? s? zic? nimic, c? ?i se umplu logurile sistem mult > > înainte de SMART dac? ai un cablu prost. > > NU. Nu apare nimic in LOG-ri legat de asta. > > > > Dar, scuz?-m?, parc? vorbeam de > > sistem de produc?ie (care în general trebuie s? fie foarte fiabile), nu > de > > calculatoare f?cute pe genunchi "s? ias? eftin, c? ?i-a?a pl?tim > > curentu'... ", sau gre?esc? Deci ce caut? un cablu PROST într-un sistem > de > > produc?ie?! > > > > Nu asta e discutia, ce cauta cablul ala acolo. > > Ba din păcate e, pentru că dacă n-ai avea HW făcut pe vapor în furtună n-ai sta să reinventezi roata și apa caldă cu 30 de sisteme de corecție de erori unul peste altul. Conectica nu trebuie să-ți creeze probleme, doar vorbim de un setup critic, nu? > > > > >> > >> > Si gindeste-te cite instalari de OS sint pe RAID, daca s-ar duce > >> > ceva la vale iti dai seama ca intr-un final masinile alea ar boota cu > >> > spatele, nu? Ah, dar stai, tu nu gindesti, doar crezi ce ai citit "pe > >> > internet"! > >> > > >> > >>Oare asa sa fie? Toti bat campii? Si astia cu ZFS, BTRFS, > >> ext4(metadata checksumming), XFS(metadata checksums)? Alt caz, cablu > >> sATA defect la un moment dat: SMART zice OK, dar aleator ZFS scrub > >> zice ca a detectat erori, si > >> a corectat acele erori(4 din 8 teste, 2 teste/24 ore). Schimbat cablul > >> eSATA, > >> erorile au disparut de atunci. Si mai sunt si alte fenomene din astea > >> ezoterice(controler disk/RAM/samd)! Aici m-ar fi ajutat cu ceva md-ul > >> sau sumele de control md5sum/sha1sum calculate? Cand as fi aflat? > >> > >>De fapt eu asta am vrut sa zic(poate nu m-am exprimat cum trebe): > >> - md raid nu e prost; > >> - md raid nu e cea mai buna solutie d.p.d.v. al detectiei/corectiei > >> erorilor(erori care pot sa apara din N directii si care nu sunt > >> imputabile > >> lui MD: disk,RAM,echipamente,incompetenta,etc,etc); > >> > > > > E la fel de bun? ca un software RAID. > > > > > >> - ZFS este superior ca si capabilitatiti legate de detectie/corectie > erori > >> fata de MD; > >> > > > > ...doar c? ZFS e o combina?ie de volume management + filesystem, adic? > tot > > la RAID ajungem. > > Si ce daca? Prinde soareci si sobolani animalu'? Ii prinde. Ce importanta > are ca blana e cu albastru si verde! Tu zici cam asa, nu e buna decat > pisica > care e de culoare neagra, dar care prinde doar soareci! > > Din anumite motive (despre care nu discutăm aici) ZFS nu beneficiază de suport (comercial) decât în implementarea de Solaris. Pe Linux mai grei. Și revenim la mediile de producție. > > > > > >> - ca e treaba lui MD sau nu, ca faca detectie de erori si sa le si > >> corecteze(intr-un mod care sa nu presupuna eforturi deosebite, gen > >> calcul de > >> sume de control pe milioane de fisiere si/sau zeci de Tb de date), > >> cred ca e un aspect pur filozofic, si in nici un caz nu e ceva > >> pragmatic. > >> > >> > > E foarte pragmatic: md / RAID-ul NU V?D FI?IERE ci doar blocuri de > alocare > > consituite din grupuri de sectoare pe discurile fizice. Niciodat? > > controller-ul RAID (HW sau SW) nu o s? fac? checksum la contentul unui > > fi?ier. > > > > - nu la fisiere, la block-ri de disk > Vezi mai sus, asta face discul în interior și, în afară, RAID-urile 5, 6, 50, 60 etc. Cu consum de CPU. Care poate fi al sistemului sau al controller-ului raid. Care duc la penalizări de performanță care, se pare, nu îți sunt suficiente. :) -- Ave http://flying.pr
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On Fri, 15 Nov 2013, Iulian Murgulet wrote: > - cand scrie un bloc de date, sa scrie si un check-sum pt. acel bloc, iar > cand citesc, un block de date sa-i calculez check-sum-ul si sa-l compar cu > check-sum-ul stocat la scriere; Si cum/cind faci asta? E ceva ce se intimpla in mod activ sau on-demand? > - nu am pomenit nimic de hw raid; Pai ce relevanta are? Data curruption apare la nivel de disc, tu vrei ca raid-ul sa ia masuri. Nici o implementare raid nu va face asta in mod activ. -- I'm a genuine network and sys admin. I swear, I curse, I stick my dick into things in order to fix them. So don't ack like you're having a bad day with me around, 'cause I'll have fix to you and will not be able to fight it! ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On Fri, 15 Nov 2013, Iulian Murgulet wrote: > ... nu cred ca exprimarile "ne-elegante", ca sa fiu diplomat, > intarasc argumentele! Mai cred ca respectul si bunul-simt ajuta mai > mult! Imi pare rau dar peste un anumit threshold de batut cimpii nu ma mai pot abtine. Imi cer scuze pentru iesirile din trecut si respectiv anticipat pentru iesirile viitoare, pentru ca fiind moldovean... http://www.youtube.com/watch?v=YUz5XDERIt8 (Ala din clip nu-s eu, era sa fiu eu insa l-a facut asta primul). > Raid soft am folosit de mai bine de 10 ani, pe mai mult de o masina. > Folosesc si acum md raid1 pe partitiile cu sistemul de operare. Eu am > scris ca md raid1 nu e cea mai buna solutie pe partitiile de date, si am > sugerat dupa parerea mea, o solutie mai buna, evident conform cu lipsa > mea de experienta! Wow! pe 2 masini! Cu discuri luate de la acelasi chiosc in acelasi timp, scapate jos in aceeasi cutie la transport! Eu nu te-am contrazis cind ai spus ca raid nus' de care nu e cea mai buna pentru nus' ce partitii, ci te-am combatut cind ai inceput sa ai pretentii de la implementarea raid sa faca teste de memorie pe masina, sa verifice daca e sters praful si daca se aprind toate ledurile la masina de uscat miinile din WC. >... cum am mai precizat anterior, altii au alta parere. Ei cred ca e treaba > partii de control/management a array-ui sa detecteze erorile(in > anumite conditii) si sa le si repare din informatiile de > redundanta(daca exista date suficiente). Orice astfel de implentare va face detectie de erori pe datele CU CARE LUCREAZA. Datele odata ajunse pe disc, daca discul o ia razna in portiuni pe care kernelul nu le atinge din diverse motive. In momentul in care intr-o matrice raid cu redundanta se vor face citiri ale unui bloc de cate si nu corespund informatiile de pe discuri (mirror/normal, checksum, etc) atunci fii sigur ca raid-ul va sari in sus si va incepe sa zbiare ca a gasit ceva. Dar altfel, daca datele stau acolo si nu le scrie/citeste nimeni e ca si cum ai avea discurile in sertar si ai vrea sa-si dea cineva seama ca e ceva in neregula. > Nu trebuie sa si fii de acord cu solutia asta. Si de ce ma rog nu as > putea sa folosesc md raid pe discuri cheap? RAID tocmai asta insemna: > redundant array of inexpensive disks. Tu te referi la RAE(xpensive)D, > nu-i asa? Cheap sau Expensive detectia si tratarea erorilor se face la nivele diferite in situatii diferite, sau in puncte similare pentru situatii similare. Poate sa difere doar cit de adinc se intra in structura matricii sau a discurilor pentru asa ceva. Vei vedea adaptoare RAID de la diversi vendori, in valoare de multe sute de dolari sau chiar trec mia, la care detectia erorilor pe disc se rezuma la monitorizari SMART (si uneori nici atit!!) cu exceptia cazurilor cind sint erori la scrieri/citiri. Restul cade in seama software-ului de SAN sau a sistemelor de fisiere de pe partitiile facute pe acele array-uri. Sau vei vedea adaptoare care cind apar erori (pentru ca stau mai bine la partea asta) o iau razna cind apare ceva mai nasol pentru ca stau sa rontaie ele si sa ia tot felul de decizii sa compenseze iar in camera alaturata vei vedea 5 sisadmini facind concurs de dat cu capul in zid ca nu pot opri procesul ca sa se termine 5 tranzactii bancare la timp intr-un cluster de 1M$. Deja nu mai vorbim de solutii cheap ci de solutii unde un singur sistem membru al unui cluster costa peste 10k$. Si nu exista implementare ideala din diverse motive, exista doar solutii care se preteaza mai bine pentru o situatie sau alta. > Da. Ia sa vedem ce zici tu, poate iarasi nu inteleg eu si-mi scapa ceva. Caz > concret: am 12 Tb de date, cu 'jde milioane de fisiere, si scriu cam 1Tb/24h. > Cam cat ar dura sa fac verificari de md5sum/sha1sum? Si sa creez > altele la fisierele modificate/adaugate? Dar tot nu ma ajuta cand > citesc, pt. ca nu stiu > daca ce citesc e asa cum a fost scris sau nu. Si daca in loc de 12 Tb, > am 120Tb? > Alt caz, cablu sATA prost: SMART zice OK, dar aleator Pai despre ce discutam? Pina acum te plingeai de detectia erorilor care apar pe disc in timp, eventual cu discurile oprite, dind exemplul ala cu CERN sau cu data anus rupturition. Ca detectie a erorilor in timp real face cam oricine pe toate nivelele, de la driver de controller raid, implementarea raid din formware (sau modul kernel unde e soft), pina la discul insusi. > Oare asa sa fie? Toti bat campii? Si astia cu ZFS, BTRFS, > ext4(metadata checksumming), XFS(metadata checksums)? Alt caz, cablu > sATA defect la un moment dat: SMART zice OK, dar aleator ZFS scrub > zice ca a detectat erori, si Erorile din metadata sint mai usor de detectat, pentru ca partea aia a sistemului de fisiere este citita/scrisa mai des, si este mult mai mica (de obicei incape in RAM) si poate fi verificata in citeva secunde chiar daca FS-ul in s
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Andrei Pascal : > 2013/11/15 Andrei Pascal > >> >> 2013/11/15 Iulian Murgulet >> >>> Quoting Tarhon-Onu Victor : >>> >>> >>>De fapt eu asta am vrut sa zic(poate nu m-am exprimat cum trebe): >>> - md raid nu e prost; >>> - md raid nu e cea mai buna solutie d.p.d.v. al detectiei/corectiei >>> erorilor(erori care pot sa apara din N directii si care nu sunt >>> imputabile >>> lui MD: disk,RAM,echipamente,incompetenta,etc,etc); >>> >> >> E la fel de bun? ca un software RAID. Cine? MD-ul e la fel de bun ca un hw RAID - asta ai vrut sa zici? >> >> > > Am vrut s? zic "hardware RAID", scuze pentru eroare. > > -- > Ave > http://flying.prwave.ro > ___ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug > This message was sent using IMP, the Internet Messaging Program. ATENTIONARI = - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). O lista completa cu reguli de utilizare exista la: http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106 C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov [web-site]: http://www.casbv.ro [forum]: http://gw.casbv.ro/forum_smf/index.php == ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Andrei Pascal : > 2013/11/15 Iulian Murgulet > >> Quoting Tarhon-Onu Victor : >> >> > On Thu, 14 Nov 2013, Iulian Murgulet wrote: >> > >> >> Ma indoiesc ca aia de la CERN umbla cu "discuri varza", sau "green". >> > >> > Tu crezi ce vrei, eu doar imi fac datoria sa-ti spun care-i >> > realitatea ca sa nu ramii cu impresia ca ce se intimpla intr-un sistem de >> > calcul e cumva magie neagra, sau ca justificarile oficiale ale unora >> > pentru niste erori timpite si greu de imaginat la fondurile pe care le au >> > si masurile pe care ar trebui sa le ia pentru prevenire sint deja baza de >> > studiu stiintific. >> > Ai avut si tu un array software raid in 5 ani cu discuri de >> > 2ROL/bax care ti-a crapat si acum gata, ai acumulat experienta care-ti >> > spune ca software raid-ul e de cacat. Serios! >> >>... nu cred ca exprimarile "ne-elegante", ca sa fiu diplomat, >> intarasc argumentele! Mai cred ca respectul si bunul-simt ajuta mai >> mult! >> >> Raid soft am folosit >> de mai bine de 10 ani, pe mai mult de o masina. Folosesc si acum md >> raid1 pe partitiile cu sistemul de operare. Eu am scris ca md raid1 nu >> e cea mai buna solutie pe partitiile de date, si am sugerat dupa >> parerea mea, o solutie mai >> buna, evident conform cu lipsa mea de experienta! >> > > S?-?i spun c? pe ma?ini de milioane $ care ?in date de zeci/sute de > milioane $ se folosesc RAID 1 ?i/sau RAID 5 SOFTWARE în Linux cu filesystem > ext3... sau s? nu-?i spun? S?-?i mai spun c? în europa (NUMAI în Europa!) > sunt câteva mii de asemenea ma?ini, doar de la un vendor anume? Neah, mai > bine nu-?i spun. > > >> >> >> > >> > Probabil ca nu intelegi nici despre ce relatezi aici. Ce legatura >> > are raid-ul software sau hardware sau mistiqueware daca datele de pe un >> > disc se duc in lumea lor? >> >> ... si ce ar trebui sa inteleg? >> >> > Nu e job-ul partii de control si management a array-ului sa-si dea >> > seama ce se intimpla pe un disc cu datele atita timp cit ele nu trec prin >> > BUS/interfata. E treaba partii de management a discului sa-si dea seama >> ca >> > discul de 2ROL/bax e cu vaca iar tu sa folosesti un soft de monitorizare >> > periodica a semnalelor de la SMART care sa te atentioneze ca >> > cheap&reliable=FAIL. >> >> ... cum am mai precizat anterior, altii au alta parere. Ei cred ca e >> treaba >> partii de control/management a array-ui sa detecteze erorile(in >> anumite conditii) si sa le si repare din informatiile de >> redundanta(daca exista date suficiente). Nu trebuie sa si fii de acord >> cu solutia asta. Si de ce ma rog nu >> as putea sa folosesc md raid pe discuri cheap? RAID tocmai asta >> insemna: redundant array of inexpensive disks. Tu te referi la >> RAE(xpensive)D, nu-i asa? >> > > Controller-ul nu face writethrough pe disc, c? merge pe ideea c? discul e > de încredere. Dac? discul NU e de încredere, nici un controller n-o s? > poat? preveni coruperea datelor. AAA, dac? tu vrei s? ?i cite?ti > imediat dup? ce ai scris, s? vedem ce impact are asta asupra urm?torului > paragraf: > > >> >> > >> > Si pentru orice altceva exista md5sum/sha1sum. Daca ceva se duce >> > la vale vei vedea folosind astfel de utilitare indiferent de mediul pe >> > care sint datele. >> >>Da. Ia sa vedem ce zici tu, poate iarasi nu inteleg eu si-mi scapa >> ceva. Caz >> concret: am 12 Tb de date, cu 'jde milioane de fisiere, si scriu cam >> 1Tb/24h. >> Cam cat ar dura sa fac verificari de md5sum/sha1sum? Si sa creez >> altele la fisierele modificate/adaugate? Dar tot nu ma ajuta cand >> citesc, pt. ca nu stiu >> daca ce citesc e asa cum a fost scris sau nu. Si daca in loc de 12 Tb, >> am 120Tb? >> > > Deci tu aici propui ca controller-ul s? ?i citeasc? înapoi ceea ce a scris, > nu? Eu asta în?eleg. NU. Pt. orice BLOCK scris, sa am un check-sum stocat pe disk pt. acel block. > > >>Alt caz, cablu sATA prost: SMART zice OK, dar aleator >> >> > SMART nu mai apuc? s? zic? nimic, c? ?i se umplu logurile sistem mult > înainte de SMART dac? ai un cablu prost. NU. Nu apare nimic in LOG-ri legat de asta. > Dar, scuz?-m?, parc? vorbeam de > sistem de produc?ie (care în general trebuie s? fie foarte fiabile), nu de > calculatoare f?cute pe genunchi "s? ias? eftin, c? ?i-a?a pl?tim > curentu'... ", sau gre?esc? Deci ce caut? un cablu PROST într-un sistem de > produc?ie?! > Nu asta e discutia, ce cauta cablul ala acolo. > >> >> > Si gindeste-te cite instalari de OS sint pe RAID, daca s-ar duce >> > ceva la vale iti dai seama ca intr-un final masinile alea ar boota cu >> > spatele, nu? Ah, dar stai, tu nu gindesti, doar crezi ce ai citit "pe >> > internet"! >> > >> >>Oare asa sa fie? Toti bat campii? Si astia cu ZFS, BTRFS, >> ext4(metadata checksumming), XFS(metadata checksums)? Alt caz, cablu >> sATA defect la un moment dat: SMART zice OK, dar aleator ZFS scrub >> zice ca a detectat erori, si >> a corectat acele erori(4 din 8 teste, 2 teste/24 ore). Schimbat cablul
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Tarhon-Onu Victor : > On Thu, 14 Nov 2013, Iulian Murgulet wrote: > >> Eu nu am sugerat ca e din cauza RAID-lui. Eu cred ca e menirea >> RAID-ui sa le corecteze daca poate(parerea mea proprie), si mai cred >> deasemenea ca cel putin ar trebui sa ma anunte sau sa-mi dea o comanda >> ca sa verific datele, care sa-mi zica ceva de genul si exemplific pt. >> md RAID1(tot dupa mine FAKE-RAID1): >> "Bai fraiere, vezi ca ai sectoare oglindite care au continut >> diferit, si e posibil sa ai probleme. Sectoare respective afecteaza >> fisierele X,Y,.. din calea /..., sau afecteaza metadatele " > > Pai odata scrise datele SI verificate la scriere pe toti membrii > matricii (vorbim de implementarile redundante) tu cine crezi ca ar trebui > sa mai ruleze inca o ferificare destul de costisitoare dpdv. al I/O cind > poate sistemul ala ruleaza niste tranzactii critice? - am scris ca nu e solutia perfecta > Ar trebui sa se apuce implementarea RAID sa rupa discurile in > bucati intimplator fix in mijlocul unui eveniment critic sau asta ar > trebui sa fie parte a unui proces de mentenanta (de asta multe > implementari hardware raid au optiuni pentru verificarea discurilor)? > - cand scrie un bloc de date, sa scrie si un check-sum pt. acel bloc, iar cand citesc, un block de date sa-i calculez check-sum-ul si sa-l compar cu check-sum-ul stocat la scriere; > Tot o dai pe asta cu fake raid, nu prea inteleg la ce te referi > sincer sa fiu, pentru ca implementarea de software raid e cit se poate de > similara cu cele hardware raid cu diferenta ca la implementarile hardware > raid se ocupa altcineva de I/O, sume de control (era sa zic checksumuri, > probabil declansam un cocktet de atacuri aeriene cu asta), shiftari pe > biti acolo unde datele se scriu in oglinda, samd. - nu am pomenit nimic de hw raid; > >> Si uite ca mai sunt si altii care au avut tot ideea asta >> "ezoterica", ca adminul sa stie daca sunt astfel de situatii: >> ZFS(mirror,raidz). Mai mult aia de au conceput ZFS, au zis ca e treaba >> RAID-ui sa corecteze on-the-fly(daca am suficienta informatie >> redundanta) situatiile in care am erori la ce citesc(ce citesc de pe >> disc/pool e diferit de ce am scris pe disc/pool). Si au facut si >> comanda: > > Ce legatura are implementarea de FS cu cea de RAID? De ce ar fi > proasta implementarea RAID (dupa tine toate ar fi proaste) pentru ca nu > face si chestii pe care le fac anumite sisteme de fisiere? - nu am pomenit nimic de FS, nici ca ar fi ceva legat de FS. In ZFS pot sa am alocata o zona de blocuri de disk pe care sa pun ce FS vreau eu(similar cu LVM), extX,ntfs, sau sa-l export catre un iSCSI(export un block-device si nu un fisier)! > Serios acuma, masina ta de spalat ar trebui sa faca 0-100 in 10-15 > secunde doar ca sa fie demna de termenul "masina" sau indatorirea ei este > sa stea cumintica in portbagaj pina o duci acasa si-o fixezi de un perete > unde iti va spala tone de rufe pe care masina cealalta a ta care face > 0-100 in 10-15 secunde nu ti le va putea spala? > > >> zpool scrub un-pool-de-discuri-varza >> ... si dupa ce termina de verificat "varza" imi zice: > > Pfaii... niste comenzi pe care nu le-am rulat si nu le voi rula > niciodata...!! Ma gindesc oare de ce... > Foarte bine, fiecare cu optiunea lui! > -- > I'm a genuine network and sys admin. > I swear, I curse, I stick my dick into things in order to fix them. > So don't ack like you're having a bad day with me around, > 'cause I'll have fix to you and will not be able to fight it! > ___ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug > This message was sent using IMP, the Internet Messaging Program. ATENTIONARI = - pentru atasamente tip Office va rugam sa folositi format OFFICE 97; - nu trimiteti date personale (CNP, copii dupa acte de identitate etc). O lista completa cu reguli de utilizare exista la: http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106 C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov [web-site]: http://www.casbv.ro [forum]: http://gw.casbv.ro/forum_smf/index.php == ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
2013/11/15 Andrei Pascal > > 2013/11/15 Iulian Murgulet > >> Quoting Tarhon-Onu Victor : >> >> >>De fapt eu asta am vrut sa zic(poate nu m-am exprimat cum trebe): >> - md raid nu e prost; >> - md raid nu e cea mai buna solutie d.p.d.v. al detectiei/corectiei >> erorilor(erori care pot sa apara din N directii si care nu sunt >> imputabile >> lui MD: disk,RAM,echipamente,incompetenta,etc,etc); >> > > E la fel de bună ca un software RAID. > > Am vrut să zic "hardware RAID", scuze pentru eroare. -- Ave http://flying.prwave.ro ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
2013/11/15 Iulian Murgulet > Quoting Tarhon-Onu Victor : > > > On Thu, 14 Nov 2013, Iulian Murgulet wrote: > > > >> Ma indoiesc ca aia de la CERN umbla cu "discuri varza", sau "green". > > > > Tu crezi ce vrei, eu doar imi fac datoria sa-ti spun care-i > > realitatea ca sa nu ramii cu impresia ca ce se intimpla intr-un sistem de > > calcul e cumva magie neagra, sau ca justificarile oficiale ale unora > > pentru niste erori timpite si greu de imaginat la fondurile pe care le au > > si masurile pe care ar trebui sa le ia pentru prevenire sint deja baza de > > studiu stiintific. > > Ai avut si tu un array software raid in 5 ani cu discuri de > > 2ROL/bax care ti-a crapat si acum gata, ai acumulat experienta care-ti > > spune ca software raid-ul e de cacat. Serios! > >... nu cred ca exprimarile "ne-elegante", ca sa fiu diplomat, > intarasc argumentele! Mai cred ca respectul si bunul-simt ajuta mai > mult! > > Raid soft am folosit > de mai bine de 10 ani, pe mai mult de o masina. Folosesc si acum md > raid1 pe partitiile cu sistemul de operare. Eu am scris ca md raid1 nu > e cea mai buna solutie pe partitiile de date, si am sugerat dupa > parerea mea, o solutie mai > buna, evident conform cu lipsa mea de experienta! > Să-ți spun că pe mașini de milioane $ care țin date de zeci/sute de milioane $ se folosesc RAID 1 și/sau RAID 5 SOFTWARE în Linux cu filesystem ext3... sau să nu-ți spun? Să-ți mai spun că în europa (NUMAI în Europa!) sunt câteva mii de asemenea mașini, doar de la un vendor anume? Neah, mai bine nu-ți spun. > > > > > > Probabil ca nu intelegi nici despre ce relatezi aici. Ce legatura > > are raid-ul software sau hardware sau mistiqueware daca datele de pe un > > disc se duc in lumea lor? > > ... si ce ar trebui sa inteleg? > > > Nu e job-ul partii de control si management a array-ului sa-si dea > > seama ce se intimpla pe un disc cu datele atita timp cit ele nu trec prin > > BUS/interfata. E treaba partii de management a discului sa-si dea seama > ca > > discul de 2ROL/bax e cu vaca iar tu sa folosesti un soft de monitorizare > > periodica a semnalelor de la SMART care sa te atentioneze ca > > cheap&reliable=FAIL. > > ... cum am mai precizat anterior, altii au alta parere. Ei cred ca e > treaba > partii de control/management a array-ui sa detecteze erorile(in > anumite conditii) si sa le si repare din informatiile de > redundanta(daca exista date suficiente). Nu trebuie sa si fii de acord > cu solutia asta. Si de ce ma rog nu > as putea sa folosesc md raid pe discuri cheap? RAID tocmai asta > insemna: redundant array of inexpensive disks. Tu te referi la > RAE(xpensive)D, nu-i asa? > Controller-ul nu face writethrough pe disc, că merge pe ideea că discul e de încredere. Dacă discul NU e de încredere, nici un controller n-o să poată preveni coruperea datelor. AAA, dacă tu vrei să și citești imediat după ce ai scris, să vedem ce impact are asta asupra următorului paragraf: > > > > > Si pentru orice altceva exista md5sum/sha1sum. Daca ceva se duce > > la vale vei vedea folosind astfel de utilitare indiferent de mediul pe > > care sint datele. > >Da. Ia sa vedem ce zici tu, poate iarasi nu inteleg eu si-mi scapa > ceva. Caz > concret: am 12 Tb de date, cu 'jde milioane de fisiere, si scriu cam > 1Tb/24h. > Cam cat ar dura sa fac verificari de md5sum/sha1sum? Si sa creez > altele la fisierele modificate/adaugate? Dar tot nu ma ajuta cand > citesc, pt. ca nu stiu > daca ce citesc e asa cum a fost scris sau nu. Si daca in loc de 12 Tb, > am 120Tb? > Deci tu aici propui ca controller-ul să și citească înapoi ceea ce a scris, nu? Eu asta înțeleg. >Alt caz, cablu sATA prost: SMART zice OK, dar aleator > > SMART nu mai apucă să zică nimic, că ți se umplu logurile sistem mult înainte de SMART dacă ai un cablu prost. Dar, scuză-mă, parcă vorbeam de sistem de producție (care în general trebuie să fie foarte fiabile), nu de calculatoare făcute pe genunchi "să iasă eftin, că și-așa plătim curentu'... ", sau greșesc? Deci ce caută un cablu PROST într-un sistem de producție?! > > > Si gindeste-te cite instalari de OS sint pe RAID, daca s-ar duce > > ceva la vale iti dai seama ca intr-un final masinile alea ar boota cu > > spatele, nu? Ah, dar stai, tu nu gindesti, doar crezi ce ai citit "pe > > internet"! > > > >Oare asa sa fie? Toti bat campii? Si astia cu ZFS, BTRFS, > ext4(metadata checksumming), XFS(metadata checksums)? Alt caz, cablu > sATA defect la un moment dat: SMART zice OK, dar aleator ZFS scrub > zice ca a detectat erori, si > a corectat acele erori(4 din 8 teste, 2 teste/24 ore). Schimbat cablul > eSATA, > erorile au disparut de atunci. Si mai sunt si alte fenomene din astea > ezoterice(controler disk/RAM/samd)! Aici m-ar fi ajutat cu ceva md-ul > sau sumele de control md5sum/sha1sum calculate? Cand as fi aflat? > >De fapt eu asta am vrut sa zic(poate nu m-am exprimat cum trebe): > - md raid nu e prost; > - md raid nu e cea
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
Quoting Tarhon-Onu Victor : > On Thu, 14 Nov 2013, Iulian Murgulet wrote: > >> Ma indoiesc ca aia de la CERN umbla cu "discuri varza", sau "green". > > Tu crezi ce vrei, eu doar imi fac datoria sa-ti spun care-i > realitatea ca sa nu ramii cu impresia ca ce se intimpla intr-un sistem de > calcul e cumva magie neagra, sau ca justificarile oficiale ale unora > pentru niste erori timpite si greu de imaginat la fondurile pe care le au > si masurile pe care ar trebui sa le ia pentru prevenire sint deja baza de > studiu stiintific. > Ai avut si tu un array software raid in 5 ani cu discuri de > 2ROL/bax care ti-a crapat si acum gata, ai acumulat experienta care-ti > spune ca software raid-ul e de cacat. Serios! ... nu cred ca exprimarile "ne-elegante", ca sa fiu diplomat, intarasc argumentele! Mai cred ca respectul si bunul-simt ajuta mai mult! Raid soft am folosit de mai bine de 10 ani, pe mai mult de o masina. Folosesc si acum md raid1 pe partitiile cu sistemul de operare. Eu am scris ca md raid1 nu e cea mai buna solutie pe partitiile de date, si am sugerat dupa parerea mea, o solutie mai buna, evident conform cu lipsa mea de experienta! > > Probabil ca nu intelegi nici despre ce relatezi aici. Ce legatura > are raid-ul software sau hardware sau mistiqueware daca datele de pe un > disc se duc in lumea lor? ... si ce ar trebui sa inteleg? > Nu e job-ul partii de control si management a array-ului sa-si dea > seama ce se intimpla pe un disc cu datele atita timp cit ele nu trec prin > BUS/interfata. E treaba partii de management a discului sa-si dea seama ca > discul de 2ROL/bax e cu vaca iar tu sa folosesti un soft de monitorizare > periodica a semnalelor de la SMART care sa te atentioneze ca > cheap&reliable=FAIL. ... cum am mai precizat anterior, altii au alta parere. Ei cred ca e treaba partii de control/management a array-ui sa detecteze erorile(in anumite conditii) si sa le si repare din informatiile de redundanta(daca exista date suficiente). Nu trebuie sa si fii de acord cu solutia asta. Si de ce ma rog nu as putea sa folosesc md raid pe discuri cheap? RAID tocmai asta insemna: redundant array of inexpensive disks. Tu te referi la RAE(xpensive)D, nu-i asa? > > Si pentru orice altceva exista md5sum/sha1sum. Daca ceva se duce > la vale vei vedea folosind astfel de utilitare indiferent de mediul pe > care sint datele. Da. Ia sa vedem ce zici tu, poate iarasi nu inteleg eu si-mi scapa ceva. Caz concret: am 12 Tb de date, cu 'jde milioane de fisiere, si scriu cam 1Tb/24h. Cam cat ar dura sa fac verificari de md5sum/sha1sum? Si sa creez altele la fisierele modificate/adaugate? Dar tot nu ma ajuta cand citesc, pt. ca nu stiu daca ce citesc e asa cum a fost scris sau nu. Si daca in loc de 12 Tb, am 120Tb? Alt caz, cablu sATA prost: SMART zice OK, dar aleator > Si gindeste-te cite instalari de OS sint pe RAID, daca s-ar duce > ceva la vale iti dai seama ca intr-un final masinile alea ar boota cu > spatele, nu? Ah, dar stai, tu nu gindesti, doar crezi ce ai citit "pe > internet"! > Oare asa sa fie? Toti bat campii? Si astia cu ZFS, BTRFS, ext4(metadata checksumming), XFS(metadata checksums)? Alt caz, cablu sATA defect la un moment dat: SMART zice OK, dar aleator ZFS scrub zice ca a detectat erori, si a corectat acele erori(4 din 8 teste, 2 teste/24 ore). Schimbat cablul eSATA, erorile au disparut de atunci. Si mai sunt si alte fenomene din astea ezoterice(controler disk/RAM/samd)! Aici m-ar fi ajutat cu ceva md-ul sau sumele de control md5sum/sha1sum calculate? Cand as fi aflat? De fapt eu asta am vrut sa zic(poate nu m-am exprimat cum trebe): - md raid nu e prost; - md raid nu e cea mai buna solutie d.p.d.v. al detectiei/corectiei erorilor(erori care pot sa apara din N directii si care nu sunt imputabile lui MD: disk,RAM,echipamente,incompetenta,etc,etc); - ZFS este superior ca si capabilitatiti legate de detectie/corectie erori fata de MD; - ca e treaba lui MD sau nu, ca faca detectie de erori si sa le si corecteze(intr-un mod care sa nu presupuna eforturi deosebite, gen calcul de sume de control pe milioane de fisiere si/sau zeci de Tb de date), cred ca e un aspect pur filozofic, si in nici un caz nu e ceva pragmatic. > P.S.: CERN is derutatii aia care au primit foarte multi bani sa faca cu > accelerator de particule dar aveau cabluri de retea ranforsate cu banda > izolatoare, cu mufe de 2ROL/camion, care faceau contact imperfect si peste > care foloseau nus' ce protocol proprietar cu un control mai putin strict > al erorilor de li s-au varzuit toate datele strinse la prima activare a > acceleratorului? Am inteles, is incompetenti astia de la CERN. Dar mai exista si altii care au publicat rapoarte similare. Sa intelg ca absolut toti sunt incompetenti? Sa inteleg ca de fapt tu afirmi ca: in conditii NORMALE de exploatare, cu echipamante mai mult decat decente, cu personal nu compete
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
> tehnic e corect ce spui. practic exista > - cu controler dedicat ( cu procesor, memorie si preferabil baterie > proprie ) == raid hardware > - cu implementare software de raid la nivel de BIOS + driver pt OS > provenit de la fabricantul placii (!) == fakeraid > - cu implementare software de raid la nivel de OS ( ex: mdadm ) == raid > software > > cu mentiunea ca de obicei mai bine iti bagi picioarele in driverul de fake-raid, si faci un raid soft de la mama lui pe linux, ca procesorul va face la fel de mult 'fitness', si scapi de crap-ul de drivere obscure pentru mai stiu eu ce placi aiurea de 'raid' (vezi supermicro) Alex ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On 11/15/2013 10:54 AM, Paul Lacatus (Personal) wrote: > On 15.11.2013 08:51, Tarhon-Onu Victor wrote: >> Tot o dai pe asta cu fake raid, nu prea inteleg la ce te referi sincer >> sa fiu, pentru ca implementarea de software raid e cit se poate de >> similara cu cele hardware raid cu diferenta ca la implementarile >> hardware raid se ocupa altcineva de I/O, sume de control (era sa zic >> checksumuri, probabil declansam un cocktet de atacuri aeriene cu >> asta), shiftari pe biti acolo unde datele se scriu in oglinda, samd. > Eu nu inteleg ce diferenta este intre implementare "Hardware" de raid > si "Software" . Corect este cu controler dedicat sau fara controller > dedicat . tehnic e corect ce spui. practic exista - cu controler dedicat ( cu procesor, memorie si preferabil baterie proprie ) == raid hardware - cu implementare software de raid la nivel de BIOS + driver pt OS provenit de la fabricantul placii (!) == fakeraid - cu implementare software de raid la nivel de OS ( ex: mdadm ) == raid software > Chiar daca e un controler dedicat raid , asa cum s-a spus si > mai sus, el face exact aceleasi > lucruri ca si implementarea cu procesorul si controlerul I/O al > calculatorului insa o face separat fara sa consume resursele > calculatorului si transparent pentru SO . Din experienta mea si cu un > tip si altul nu am avut probleme de date corupte decit o singura data > cind conform legilor lui Murphy doua discuri au picat la diferenta de > 1/2 ora dintr-un raid 5 soft cu 4 discuri la care avea voie sa pice doar > unul . mie mi-au picat simultan 3 barracuda din cele 4 ( raid 10 ) ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
Re: [rlug] Mutare Hard-uri arie raid linux pe o instalare
On 15.11.2013 08:51, Tarhon-Onu Victor wrote: > Tot o dai pe asta cu fake raid, nu prea inteleg la ce te referi sincer > sa fiu, pentru ca implementarea de software raid e cit se poate de > similara cu cele hardware raid cu diferenta ca la implementarile > hardware raid se ocupa altcineva de I/O, sume de control (era sa zic > checksumuri, probabil declansam un cocktet de atacuri aeriene cu > asta), shiftari pe biti acolo unde datele se scriu in oglinda, samd. Eu nu inteleg ce diferenta este intre implementare "Hardware" de raid si "Software" . Corect este cu controler dedicat sau fara controller dedicat . Chiar daca e un controler dedicat raid , asa cum s-a spus si mai sus, el face exact aceleasi lucruri ca si implementarea cu procesorul si controlerul I/O al calculatorului insa o face separat fara sa consume resursele calculatorului si transparent pentru SO . Din experienta mea si cu un tip si altul nu am avut probleme de date corupte decit o singura data cind conform legilor lui Murphy doua discuri au picat la diferenta de 1/2 ora dintr-un raid 5 soft cu 4 discuri la care avea voie sa pice doar unul . ___ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug
