Re: Разный размер директории, после lsync
On Sat, 7 Dec 2013, Alexander Wiedergold WIEDERGOLD.NET wrote: Am 26.11.2013 06:50, schrieb Vladimir Zhbanov: On Mon, Nov 25, 2013 at 11:52:34PM +0800, yuri.nefe...@gmail.com wrote: ... Я тут внимательно прочитал первое письмо и потом man du. Так вот -b == --apparent-size --block-size=1 Если файлы точно одинаковые, то очевидно должна различаться apparent-size директорий. Для примера можно так протестировать. Создать пустую директорию и зайти туда du -b . должно быть 4096 затем for ((i=1;i<1000;i++));do touch file_$i; done и опять du -b . У меня на разных разделах, но с абсолютно одинаковой fs (ext4) получилось: sda4: 24576 sda3: 28672 А вот почему так, я, честно говоря, и сам хотел бы узнать. Ю. Возможно дело в месте, которое ФС резервирует под имена файлов. Я сделал два простых теста: 1. каталоги /tmp/a/ и /tmp/b/ наполнил файлами $i -- du показывает одинаковые размеры 2. каталог /tmp/a/ наполнил файлами $i, а /tmp/b/ -- файлами, скажем, asdf$i -- размеры разные Причём во втором случае после удаления всех файлов из обоих каталогов и создания новых с одинаковыми именами ($i) du -sb всё равно показывает всё те же разные размеры для /tmp/a/ и /tmp/b/. Да, длина имени файла влияет на размер блоков У меня на обоих партициях все одинаково: файловые системы, имена, папки создаю с нуля. А размеры получаются стабильно разные. С помощью dumpe2fs удалось несколько прояснить ситуацию. Партиция sda3 оказалась значительно фрагментирована. Эти 999 inods выделились аш в трех группах в отличии от sda4, где все уместилось в одной. И если я правильно понимаю, то в первом случае почему-то на самом деле выделилось 1000 inods. Точнее не понять, но видимо в этом и дело. Ю.
Re: Разный размер директории, после lsync
Am 26.11.2013 06:50, schrieb Vladimir Zhbanov: On Mon, Nov 25, 2013 at 11:52:34PM +0800, yuri.nefe...@gmail.com wrote: ... Я тут внимательно прочитал первое письмо и потом man du. Так вот -b == --apparent-size --block-size=1 Если файлы точно одинаковые, то очевидно должна различаться apparent-size директорий. Для примера можно так протестировать. Создать пустую директорию и зайти туда du -b . должно быть 4096 затем for ((i=1;i<1000;i++));do touch file_$i; done и опять du -b . У меня на разных разделах, но с абсолютно одинаковой fs (ext4) получилось: sda4: 24576 sda3: 28672 А вот почему так, я, честно говоря, и сам хотел бы узнать. Ю. Возможно дело в месте, которое ФС резервирует под имена файлов. Я сделал два простых теста: 1. каталоги /tmp/a/ и /tmp/b/ наполнил файлами $i -- du показывает одинаковые размеры 2. каталог /tmp/a/ наполнил файлами $i, а /tmp/b/ -- файлами, скажем, asdf$i -- размеры разные Причём во втором случае после удаления всех файлов из обоих каталогов и создания новых с одинаковыми именами ($i) du -sb всё равно показывает всё те же разные размеры для /tmp/a/ и /tmp/b/. Да, длина имени файла влияет на размер блоков -- .. http://wiedergold.net/ -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/l7tl7j$mt4$1...@online.de
Re: Разный размер директории, после lsync
Am 25.11.2013 17:00, schrieb yuri.nefe...@gmail.com: On Mon, 25 Nov 2013, Alexey Shalin wrote: проверил через моунт источник /dev/sda5 on /www type ext4 (rw,noatime,user_xattr,barrier=1,stripe=32,data=ordered) 136700 images/site_thumbs 10897732images куда копируем /dev/md6 on /DATA type ext4 (rw,noatime,user_xattr,barrier=1,data=ordered) du -x images 136712 images/site_thumbs 10897792images количество файлов совпадает, md5sum файлов совпадают, а размер разный =) Я тут внимательно прочитал первое письмо и потом man du. Так вот -b == --apparent-size --block-size=1 Если файлы точно одинаковые, то очевидно должна различаться apparent-size директорий. Для примера можно так протестировать. Создать пустую директорию и зайти туда du -b . должно быть 4096 затем for ((i=1;i<1000;i++));do touch file_$i; done и опять du -b . У меня на разных разделах, но с абсолютно одинаковой fs (ext4) получилось: sda4: 24576 sda3: 28672 А вот почему так, я, честно говоря, и сам хотел бы узнать. Ю. Мой результат: /dev/sda2 ext4 67506784 15192572 51627152 23% / 28741 /dev/sdb1 ext4 158179976 118473564 31664592 79% /server 28741 -- .. http://wiedergold.net/ -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/l7tkqh$mrc$1...@online.de
Re: Разный размер директории, после lsync
On Mon, Nov 25, 2013 at 09:35:38AM +0600, Alexey Shalin wrote: > делаю сихронизацию двух каталогов > синк проходит без проблем, но если сделать > написал скрипт, который бы делал сравнивал md5sum файлов ... все > md5суммы совпали > Это, скорее всего, размер метаданных каталогов влияет. Они при создании файлов в каталоге разрастаются и потом при удалении фалйлов не уменьшаются. Вот пример: 1) создание каталога для теста mkdir 10k 2) создание в нём 10 тыс файлов нулевого размера $ for i in `seq -w 1 1`; do touch 10k/$i; done 3) каталог занимает 256К без учета размера файлов $ ls -ld 10k drwxr-xr-x 2 apavel apavel 262144 Nov 26 23:53 10k/ 4) удаление всех файлов из каталога $ rm 10k/* 5) пустой он всеравно занимает 256K $ ls -ld 10k drwxr-xr-x 2 apavel apavel 262144 Nov 26 23:53 10k/ 6) если его скопировать, то копия будет 4K $ cp -pr 10k/ copy $ ls -ld 10k copy drwxr-xr-x 2 apavel apavel 262144 Nov 26 23:53 10k/ drwxr-xr-x 2 apavel apavel 4096 Nov 26 23:53 copy/ $ du -ks 10k copy 256 10k 4 copy Вот и вся причина разницы в выводе du между оригиналом и копией. PS На ноутбучном диске 10k файлов создавались слишком долго, но на примонтированном с tmpfs через loop файле все прошло заметно бодрее :) $ df -T . Filesystem Type 1K-blocks Used Available Use% Mounted on /dev/loop0 ext4 1995664 36008 1858280 2% /mnt -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20131126201045.gc17...@vesuvius.wapper.ru
Re: Разный размер директории, после lsync
Alexey Shalin -> Artem Chuprina @ Tue, 26 Nov 2013 17:29:49 +0600: AS> Не всегда AS> если использовать --inline то не создается временный файл В обсуждаемой конфигурации, если я не ошибаюсь, оно не используется. И я бы сказал, это правильно... -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/87haazxuff@wizzle.ran.pp.ru
Re: Разный размер директории, после lsync
Не всегда если использовать --inline то не создается временный файл \ --- Старший Системный Администратор Алексей Шалин ОсОО "Хостер kg" - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/219145956.20131126172...@hoster.kg
Re: Разный размер директории, после lsync
Vladimir Zhbanov -> debian-russian@lists.debian.org @ Tue, 26 Nov 2013 09:48:09 +0400: >> Я тут внимательно прочитал первое письмо и потом man du. >> Так вот -b == --apparent-size --block-size=1 >> Если файлы точно одинаковые, то очевидно должна >> различаться apparent-size директорий. >> >> Для примера можно так протестировать. >> Создать пустую директорию и зайти туда >> du -b . >> должно быть 4096 >> затем >> for ((i=1;i<1000;i++));do touch file_$i; done >> и опять du -b . >> У меня на разных разделах, но с абсолютно одинаковой >> fs (ext4) получилось: >> sda4: 24576 >> sda3: 28672 >> >> А вот почему так, я, честно говоря, и сам хотел бы узнать. >> Ю. VZ> Возможно дело в месте, которое ФС резервирует под имена файлов. VZ> Я сделал два простых теста: VZ> 1. каталоги /tmp/a/ и /tmp/b/ наполнил файлами $i -- du показывает VZ> одинаковые размеры VZ> 2. каталог /tmp/a/ наполнил файлами $i, а /tmp/b/ -- файлами, VZ> скажем, asdf$i -- размеры разные VZ> Причём во втором случае после удаления всех файлов из обоих VZ> каталогов и создания новых с одинаковыми именами ($i) du -sb всё VZ> равно показывает всё те же разные размеры для /tmp/a/ и /tmp/b/. Кстати, да. rsync же сначала создает еще один файл рядом, и только по окончании передачи сливает. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/87wqjvy672@wizzle.ran.pp.ru
Re: Разный размер директории, после lsync
On Mon, Nov 25, 2013 at 11:52:34PM +0800, yuri.nefe...@gmail.com wrote: ... > Я тут внимательно прочитал первое письмо и потом man du. > Так вот -b == --apparent-size --block-size=1 > Если файлы точно одинаковые, то очевидно должна > различаться apparent-size директорий. > > Для примера можно так протестировать. > Создать пустую директорию и зайти туда > du -b . > должно быть 4096 > затем > for ((i=1;i<1000;i++));do touch file_$i; done > и опять du -b . > У меня на разных разделах, но с абсолютно одинаковой > fs (ext4) получилось: > sda4: 24576 > sda3: 28672 > > А вот почему так, я, честно говоря, и сам хотел бы узнать. > Ю. Возможно дело в месте, которое ФС резервирует под имена файлов. Я сделал два простых теста: 1. каталоги /tmp/a/ и /tmp/b/ наполнил файлами $i -- du показывает одинаковые размеры 2. каталог /tmp/a/ наполнил файлами $i, а /tmp/b/ -- файлами, скажем, asdf$i -- размеры разные Причём во втором случае после удаления всех файлов из обоих каталогов и создания новых с одинаковыми именами ($i) du -sb всё равно показывает всё те же разные размеры для /tmp/a/ и /tmp/b/. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20131126054809.GA23533@localhost.localdomain
Re: Разный размер директории, после lsync
On Mon, 25 Nov 2013, Alexey Shalin wrote: проверил через моунт источник /dev/sda5 on /www type ext4 (rw,noatime,user_xattr,barrier=1,stripe=32,data=ordered) 136700 images/site_thumbs 10897732images куда копируем /dev/md6 on /DATA type ext4 (rw,noatime,user_xattr,barrier=1,data=ordered) du -x images 136712 images/site_thumbs 10897792images количество файлов совпадает, md5sum файлов совпадают, а размер разный =) Я тут внимательно прочитал первое письмо и потом man du. Так вот -b == --apparent-size --block-size=1 Если файлы точно одинаковые, то очевидно должна различаться apparent-size директорий. Для примера можно так протестировать. Создать пустую директорию и зайти туда du -b . должно быть 4096 затем for ((i=1;i<1000;i++));do touch file_$i; done и опять du -b . У меня на разных разделах, но с абсолютно одинаковой fs (ext4) получилось: sda4: 24576 sda3: 28672 А вот почему так, я, честно говоря, и сам хотел бы узнать. Ю.
Re: Разный размер директории, после lsync
куда копируем Block size: 4096 Fragment size:4096 Reserved GDT blocks: 918-- разные Blocks per group: 32768 Fragments per group: 32768 Inodes per group: 8192 -- разные Inode blocks per group: 512-- разные Flex block group size:16 First inode: 11 Inode size: 256 Required extra isize: 28 Desired extra isize: 28 Journal inode:8 откуда Block size: 4096 Fragment size:4096 Reserved GDT blocks: 679 -- разные Blocks per group: 32768 Fragments per group: 32768 Inodes per group: 4096 -- разные Inode blocks per group: 256 -- разные RAID stride: 16 RAID stripe width:32 Flex block group size:16 First inode: 11 Inode size: 256 Required extra isize: 28 Desired extra isize: 28 Journal inode:8 в остальном одинаковые, сейчас попробую скопировать большой файл и маленькие --- Старший Системный Администратор Алексей Шалин ОсОО "Хостер kg" - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1078377718.20131125142...@hoster.kg
Re: Разный размер директории, после lsync
проверил через моунт источник /dev/sda5 on /www type ext4 (rw,noatime,user_xattr,barrier=1,stripe=32,data=ordered) 136700 images/site_thumbs 10897732images куда копируем /dev/md6 on /DATA type ext4 (rw,noatime,user_xattr,barrier=1,data=ordered) du -x images 136712 images/site_thumbs 10897792images количество файлов совпадает, md5sum файлов совпадают, а размер разный =) --- Старший Системный Администратор Алексей Шалин ОсОО "Хостер kg" - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/883014489.20131125142...@hoster.kg
Re: Разный размер директории, после lsync
On Mon, 25 Nov 2013, Alexey Shalin wrote: попробовал с -H тоже самое src 10897732images/ dest 10897792images/ количество файлов одинаковое, md5sum одинаковое у файлов Сравните вывод tune2fs -l для этих разделов. Особенно "Filesystem features" Еще можно поэкспериментировать. 1. Скопировать один большой файл (~1Gb) 2. 100 маленьких (байт по 100) Ю.
Re: Разный размер директории, после lsync
On Mon, Nov 25, 2013 at 01:06:31PM +0600, Alexey Shalin wrote: > попробовал с -H > тоже самое > > src > 10897732images/ > > dest > 10897792images/ > > количество файлов одинаковое, md5sum одинаковое у файлов Может в одном из подкаталогов что-то примонтировано? Посмотрите "mount". Для du есть ещё ключ -x. Можно ещё использовать du с ключами -S и -b и сравнить списки подкаталогов, чтоб найти виноватый. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20131125072932.GA24734@localhost.localdomain
Re: Разный размер директории, после lsync
попробовал с -H тоже самое src 10897732images/ dest 10897792images/ количество файлов одинаковое, md5sum одинаковое у файлов --- Старший Системный Администратор Алексей Шалин ОсОО "Хостер kg" - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1734244820.20131125130...@hoster.kg
Re: Разный размер директории, после lsync
On Mon, 25 Nov 2013, Alexey Shalin wrote:
ДОбрый день
делаю сихронизацию двух каталогов
конфиг для lsyncd
sync {
default.rsyncssh,
source="/www/public/",
excludeFrom="/var/www/lsyncd.exclude",
host="s30.megodoo.com",
targetdir="/www/public/",
rsync = {
_extra = {"-altsgopr"},
},
ssh = {
port = 1212
}
}
синк проходит без проблем, но если сделать
du -sb /www/public/images - на источнике - получаем
11055835517 /www/public/images/
там куда-копировали
11055905149 /www/public/images/
написал скрипт, который бы делал сравнивал md5sum файлов ... все
md5суммы совпали
возможно вот в чем причина
на источнике директория монтируется с ключем - stripe=32
а на дест. без него
везде ФС - ext4
:)
11055905149-11055835517 = 69632
Попробуйте найти файл(ы) с таким размером...
Хард линк? Добавьте -H в _extra = {"-altsgopr"}
Тут, кстати, явный перебор -a == -rlptgoD
Ю.
