Re: (deb-cat) e4defrag a mitges

[Narcis Garcia]

He mirat amb Debian 6, 7, 8 i Ubuntu 14.04 i totes coincideixen en
aquests valors predeterminats de sysctl:

# Tiempo mínimo antes de escribir en disco los datos de cache:
vm.dirty_expire_centisecs = 3000
# Intervalo de comprobación de cache para escribir expirados en disco:
vm.dirty_writeback_centisecs = 500

Això vol dir que, en un termini de 5 segons, però a tot estirar 30
segons com a màxim, el nucli Linux ja hauria d'estar volcant tot el
pendent a disc.
L'experiència m'ha dit que Linux no es comporta de la mateixa manera amb
diferents sistemes de fitxers; per exemple amb NTFS utilitza tot el
temps possible la memòria cau d'escriptura (també per USB), i en
ext2/ext3/ext4 és molt més conservador.


__
I'm using this express-made address because personal addresses aren't
masked enough at lists.debian.org archives.

El 10/06/16 a les 18:18, Alex Muntada ha escrit:
> Josep Lladonosa:
> 
>> Una situació dins l'etc. amb què m'he trobat sovint és algun procés del
>> sistema de fitxers ext4 i el journaling, on un procés en rerefons va fent
>> fins que ho té tot actualitzat. On se m'ha constatat més ha estat durant la
>> utilització de discos usb.
> 
> Els discs flash, especialment els antics, són molt lents en les
> operacions d'escriptura i el que passa sovint és que el nucli
> desa les escriptures a la memòria cau i informa a l'usuari que
> ja s'han efectuat per tenir una millor experiència d'usuari.
> 
> En realitat les dades no han arribat físicament al disc flash
> encara i el nucli les hi va desant a mida que pot (per això
> de tant en tant es veu el disc que encara treballa després que
> l'operació hagi acabat aparentment).
> 
> Això passa menys amb els discos rotacionals connectats per USB
> perquè van molt més ràpid a escriure que els discos flash.
> D'altra banda la velocitat de transferència del bus USB també
> afecta les operacions de lectura i escriptura, però normalment
> no hi ha l'efecte aquest de les onades dels discos flash.
> 
> Quant al journaling, no crec que hi tingui res a veure.
> 
> Salut,
> Alex
> 

Re: (deb-cat) e4defrag a mitges

[Alex Muntada]

Josep Lladonosa:

> Una situació dins l'etc. amb què m'he trobat sovint és algun procés del
> sistema de fitxers ext4 i el journaling, on un procés en rerefons va fent
> fins que ho té tot actualitzat. On se m'ha constatat més ha estat durant la
> utilització de discos usb.

Els discs flash, especialment els antics, són molt lents en les
operacions d'escriptura i el que passa sovint és que el nucli
desa les escriptures a la memòria cau i informa a l'usuari que
ja s'han efectuat per tenir una millor experiència d'usuari.

En realitat les dades no han arribat físicament al disc flash
encara i el nucli les hi va desant a mida que pot (per això
de tant en tant es veu el disc que encara treballa després que
l'operació hagi acabat aparentment).

Això passa menys amb els discos rotacionals connectats per USB
perquè van molt més ràpid a escriure que els discos flash.
D'altra banda la velocitat de transferència del bus USB també
afecta les operacions de lectura i escriptura, però normalment
no hi ha l'efecte aquest de les onades dels discos flash.

Quant al journaling, no crec que hi tingui res a veure.

Salut,
Alex

Re: (deb-cat) e4defrag a mitges

[Josep Lladonosa]

2016-06-09 15:59 GMT+02:00 Narcis Garcia :

> Apart de l'updatedb hi ha l'equivalent «tracker» de Gnome, que no entenc
> com no té en compte que l'usuari està treballant (ho podria detectar amb
> el salvapantalles).
>
> Bé, sobre detalls com aquest a l'hora de configurar ordinadors, sovint
> dedico molt més esforç a una aparent «tonteria» perquè quan la resolc,
> normalment l'aplico a desenes o centenars d'equips.
> Sense anar més lluny, he dedicat més d'una hora en automatitzar que es
> configuri la drecera de teclat [Del] per moure fitxers a la paperera,
> cosa que és predeterminada amb Ubuntu però no amb Debian (Gnome).
>
>
>
>
> __
> I'm using this express-made address because personal addresses aren't
> masked enough at lists.debian.org archives.
>
> El 09/06/16 a les 13:45, Alex Muntada ha escrit:
> > Narcis Garcia:
> >
> >> Alguns ordinadors els he vist treballar molt sobre disc dur
> >> quan l'usuari (ni cap servei previst) no està fent res i
> >> podria tenir a veure amb això (?).
> >
> > Hi ha processos del cron que s'executen periòdicament i que
> > poden un ús de disc força intensiu, segons les dades que hagin
> > de processar:
> >
> >  * updatedb (locate)
> >  * update-apt-xapian-index (apt)
> >  * update-notifier (apt)
> >  * logrotate
> >  * sysstat
> >  * acct
> >  * etc.
>

Una situació dins l'etc. amb què m'he trobat sovint és algun procés del
sistema de fitxers ext4 i el journaling, on un procés en rerefons va fent
fins que ho té tot actualitzat. On se m'ha constatat més ha estat durant la
utilització de discos usb.




> >
> > En particular, l'updatedb té la mala llet de posar-se en marxa
> > quan menys convé i molts cops l'he matat perquè deixés tranquil
> > el disc.
> >
> >> Ah, sobre el tema de l'esforç i el què val la pena, això ja
> >> és molt subjectiu i depen de la situació.
> >
> > Certament, jo ho pregunto perquè no hi veig el valor i potser
> > si tu el veus em pots ajudar a comprendre-ho. Entenc molt bé
> > que em falta informació per determinar si té valor en el teu
> > cas particular, per això faig la pregunta ;)
> >
> > Salut,
> > Alex
> >
>
>


-- 
--
Salutacions...Josep
--

Re: (deb-cat) e4defrag a mitges

[Narcis Garcia]

Apart de l'updatedb hi ha l'equivalent «tracker» de Gnome, que no entenc
com no té en compte que l'usuari està treballant (ho podria detectar amb
el salvapantalles).

Bé, sobre detalls com aquest a l'hora de configurar ordinadors, sovint
dedico molt més esforç a una aparent «tonteria» perquè quan la resolc,
normalment l'aplico a desenes o centenars d'equips.
Sense anar més lluny, he dedicat més d'una hora en automatitzar que es
configuri la drecera de teclat [Del] per moure fitxers a la paperera,
cosa que és predeterminada amb Ubuntu però no amb Debian (Gnome).




__
I'm using this express-made address because personal addresses aren't
masked enough at lists.debian.org archives.

El 09/06/16 a les 13:45, Alex Muntada ha escrit:
> Narcis Garcia:
> 
>> Alguns ordinadors els he vist treballar molt sobre disc dur
>> quan l'usuari (ni cap servei previst) no està fent res i
>> podria tenir a veure amb això (?).
> 
> Hi ha processos del cron que s'executen periòdicament i que
> poden un ús de disc força intensiu, segons les dades que hagin
> de processar:
> 
>  * updatedb (locate)
>  * update-apt-xapian-index (apt)
>  * update-notifier (apt)
>  * logrotate
>  * sysstat
>  * acct
>  * etc.
> 
> En particular, l'updatedb té la mala llet de posar-se en marxa
> quan menys convé i molts cops l'he matat perquè deixés tranquil
> el disc.
> 
>> Ah, sobre el tema de l'esforç i el què val la pena, això ja
>> és molt subjectiu i depen de la situació.
> 
> Certament, jo ho pregunto perquè no hi veig el valor i potser
> si tu el veus em pots ajudar a comprendre-ho. Entenc molt bé
> que em falta informació per determinar si té valor en el teu
> cas particular, per això faig la pregunta ;)
> 
> Salut,
> Alex
> 

Re: (deb-cat) e4defrag a mitges

[Alex Muntada]

Narcis Garcia:

> Alguns ordinadors els he vist treballar molt sobre disc dur
> quan l'usuari (ni cap servei previst) no està fent res i
> podria tenir a veure amb això (?).

Hi ha processos del cron que s'executen periòdicament i que
poden un ús de disc força intensiu, segons les dades que hagin
de processar:

 * updatedb (locate)
 * update-apt-xapian-index (apt)
 * update-notifier (apt)
 * logrotate
 * sysstat
 * acct
 * etc.

En particular, l'updatedb té la mala llet de posar-se en marxa
quan menys convé i molts cops l'he matat perquè deixés tranquil
el disc.

> Ah, sobre el tema de l'esforç i el què val la pena, això ja
> és molt subjectiu i depen de la situació.

Certament, jo ho pregunto perquè no hi veig el valor i potser
si tu el veus em pots ajudar a comprendre-ho. Entenc molt bé
que em falta informació per determinar si té valor en el teu
cas particular, per això faig la pregunta ;)

Salut,
Alex

Re: (deb-cat) e4defrag a mitges

[Narcis Garcia]

En els discs, en volum de dades, és lògic que la lectura aleatòria és
més lenta que la seqüencial.
Jo també havia sentit això de la desfragmentació automàtica, suposo que
es produïria de mica en mica per a què no calgui esperar. Alguns
ordinadors els he vist treballar molt sobre disc dur quan l'usuari (ni
cap servei previst) no està fent res i podria tenir a veure amb això (?).

Ah, sobre el tema de l'esforç i el què val la pena, això ja és molt
subjectiu i depen de la situació.


El 08/06/16 a les 21:50, Alex Muntada ha escrit:
> Narcis Garcia:
> 
>> A alguns ordinadors antics els reviso *molts* detalls per aconseguir una
>> engruna més de velocitat, que en aquest cas té a veure amb l'arrencada i
>> amb la càrrega d'aplicacions.
> 
> Has pogut comprovar empíricament alguna millora de rendiment amb
> la desfragmentació? El rendiment de l'accés a disc varia molt en
> funció de l'ús i no tinc gens clar que compensi l'esforç de
> preocupar-se d'això.
> 
> He trobat un article molt interessant i llarg sobre el tema però
> segueixo sense estar convençut que l'article justifiqui que es
> faci desfragmentació periòdicament si realment no es percep cap
> problema:
> 
> http://events.linuxfoundation.org/slides/2010/linuxcon_japan/linuxcon_jp2010_fujita.pdf
> 
> D'altra banda, si ho he entès bé, e4defrag permet desfragmentar
> en calent. Però si hom reinicia o atura l'ordinador de tant en
> tant, en arrencar ja es comprova la fragmentació del sistema de
> fitxers i es corregeix si és greu. Així doncs, semblaria que
> e4defrag pot ser útil per a servidors que tinguin problemes
> importants de fragmentació i que no es puguin reiniciar però
> no per a equips d'escriptori.
> 
> En qualsevol cas, gràcies per despatar el tema perquè no sabia
> que existís aquesta eina.
> 
> Salut!
> Alex
> 

Re: (deb-cat) e4defrag a mitges

[Narcis Garcia]

Sigui com sigui, i encara que digui «no problem», m'agradaria saber el
perquè del «Failure 5/318» d'aquest petit exemple:

$ e4defrag /boot
[2/318]/boot/initrd.img-3.16.0-4-amd64: 100%[ OK ]
(...)
[317/318]/boot/grub/fonts/unicode.pf2:  100%[ OK ]
[318/318]/boot/grub/unicode.pf2:100%[ OK ]

Success:[ 313/318 ]
Failure:[ 5/318 ]

* Al llistat de la desfragmentació no apareixen línies pels 1/318,
6/318, 7/318, 280/318 i 316/318.

$ e4defrag -c /boot
 now/best   size/ext
1. /boot/grub/unicode.pf21/1   2348 KB
2. /boot/grub/fonts/unicode.pf2  1/1   2348 KB
3. /boot/grub/grub.cfg   1/1  8 KB
4. /boot/grub/locale/e...@hebrew.mo1/1168 KB
5. /boot/grub/locale/uk.mo   1/1160 KB

 Total/best extents 313/313
 Average size per extent101 KB
 Fragmentation score0
 [0-30 no problem: 31-55 a little bit fragmented: 56- needs defrag]
 This directory (/boot) does not need defragmentation.
 Done.



El 08/06/16 a les 20:53, Ernest Adrogué ha escrit:
> 2016-06- 8, 19:32 (+0200); Josep Lladonosa escriu:
>> Necessites realment desfragmentar? Pel que diuen, no cal, si tens la
>> partició a menys del 80-95% d'ocupació.
> 
> Que jo sàpiga ext2/3/4 no necessita desfragmentar.  Sense haver
> desfragmentat mai aquest disc, ho acabo de mirar i només troba 2 fitxers
> fragmentats, amb un 67% d'ocupació.  Si en troba desenes de milers diria que
> alguna cosa no funciona.
> 

Re: (deb-cat) e4defrag a mitges

[alex]

A 2016-06-08 16:27, Narcis Garcia escrigué:

He provat aquesta eina de e2fsprogs defragmentant particions de 
diversos

ordinadors (Debian 7, Debian 8, Ubuntu 14, arrel, /home separat o no,
/boot separat o no, etc.) I al final conclou amb un recompte de fitxers
defragmentats existosament i dels que no.

Els que no (Failure) sempre són una bona quantitat, menor que els
defragmentats (success) però tamé arriba a les desenes de milers.

Perquè?
Què puc fer per assolir una defragmentació completa, almenys dels 
fitxers?


Gràcies.




Bon dia,

Em van explicar fa molt de temps sobre ext2 (-potser és extensible a 
ext4-) que automàticament evitava la fragmentació de fitxers movent-los 
a blocs contigus prou grans. Però per això havia d'haver disponibles 
blocs d'aquests addients al fitxer. Quan la partició estava bastant 
plena, era quan començava a aparèixer la fragmentació. Si fos així, per 
evitar la defragmentació la partició ha d'estar prou buida.


Però potser és una llegenda. No sé si el que he explicat és cert o no.


   Àlex

Re: (deb-cat) e4defrag a mitges

[Alex Muntada]

Narcis Garcia:

> A alguns ordinadors antics els reviso *molts* detalls per aconseguir una
> engruna més de velocitat, que en aquest cas té a veure amb l'arrencada i
> amb la càrrega d'aplicacions.

Has pogut comprovar empíricament alguna millora de rendiment amb
la desfragmentació? El rendiment de l'accés a disc varia molt en
funció de l'ús i no tinc gens clar que compensi l'esforç de
preocupar-se d'això.

He trobat un article molt interessant i llarg sobre el tema però
segueixo sense estar convençut que l'article justifiqui que es
faci desfragmentació periòdicament si realment no es percep cap
problema:

http://events.linuxfoundation.org/slides/2010/linuxcon_japan/linuxcon_jp2010_fujita.pdf

D'altra banda, si ho he entès bé, e4defrag permet desfragmentar
en calent. Però si hom reinicia o atura l'ordinador de tant en
tant, en arrencar ja es comprova la fragmentació del sistema de
fitxers i es corregeix si és greu. Així doncs, semblaria que
e4defrag pot ser útil per a servidors que tinguin problemes
importants de fragmentació i que no es puguin reiniciar però
no per a equips d'escriptori.

En qualsevol cas, gràcies per despatar el tema perquè no sabia
que existís aquesta eina.

Salut!
Alex

Re: (deb-cat) e4defrag a mitges

[Ernest Adrogué]

2016-06- 8, 19:32 (+0200); Josep Lladonosa escriu:
> Necessites realment desfragmentar? Pel que diuen, no cal, si tens la
> partició a menys del 80-95% d'ocupació.

Que jo sàpiga ext2/3/4 no necessita desfragmentar.  Sense haver
desfragmentat mai aquest disc, ho acabo de mirar i només troba 2 fitxers
fragmentats, amb un 67% d'ocupació.  Si en troba desenes de milers diria que
alguna cosa no funciona.

Re: (deb-cat) e4defrag a mitges

[Narcis Garcia]

Si, la forma «manual» de desfragmentar (còpia, formatat i restauració)
ja la utilitzava abans de trobar el e4defrag, però no té els avantatges
que el e4defrag com per exemple poder disposar de l'ordinador
immediatament o fer-ho per control remot.

A alguns ordinadors antics els reviso *molts* detalls per aconseguir una
engruna més de velocitat, que en aquest cas té a veure amb l'arrencada i
amb la càrrega d'aplicacions.


El 08/06/16 a les 19:32, Josep Lladonosa ha escrit:
> 
> On 8 Jun 2016 16:45, "Narcis Garcia"  > wrote:
>>
>> He provat aquesta eina de e2fsprogs defragmentant particions de diversos
>> ordinadors (Debian 7, Debian 8, Ubuntu 14, arrel, /home separat o no,
>> /boot separat o no, etc.) I al final conclou amb un recompte de fitxers
>> defragmentats existosament i dels que no.
>>
>> Els que no (Failure) sempre són una bona quantitat, menor que els
>> defragmentats (success) però tamé arriba a les desenes de milers.
>>
>> Perquè?
>> Què puc fer per assolir una defragmentació completa, almenys dels fitxers?
> 
> 1) Còpia fitxers en dispositiu extern.
> 2) Esborrat fitxers.
> 3) Restauració fitxers
> 
> Necessites realment desfragmentar? Pel que diuen, no cal, si tens la
> partició a menys del 80-95% d'ocupació.
> 
>>
>> Gràcies.
>>
> 

Re: (deb-cat) e4defrag a mitges

[Josep Lladonosa]

On 8 Jun 2016 16:45, "Narcis Garcia"  wrote:
>
> He provat aquesta eina de e2fsprogs defragmentant particions de diversos
> ordinadors (Debian 7, Debian 8, Ubuntu 14, arrel, /home separat o no,
> /boot separat o no, etc.) I al final conclou amb un recompte de fitxers
> defragmentats existosament i dels que no.
>
> Els que no (Failure) sempre són una bona quantitat, menor que els
> defragmentats (success) però tamé arriba a les desenes de milers.
>
> Perquè?
> Què puc fer per assolir una defragmentació completa, almenys dels fitxers?

1) Còpia fitxers en dispositiu extern.
2) Esborrat fitxers.
3) Restauració fitxers

Necessites realment desfragmentar? Pel que diuen, no cal, si tens la
partició a menys del 80-95% d'ocupació.

>
> Gràcies.
>