[freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
11.01.2013 9:49, Sayetsky Anton пишет: 11 января 2013 г., 9:46 пользователь Sergey V. Dyatko написал: сейчас и упоминания нет об экспериментальности (в head по крайней мере) В releng/9.1 тоже нет, с месяц назад коммит был. да ладно. сравните more и less во фре;) more не юзаю нигде и никогда - не перевариваю. Только less. А на иосе?
Re: [freebsd] Re: [freebsd] Высокая нагрузка
On 11.01.2013 12:33, Sayetsky Anton wrote:
[OT]
11 января 2013 г., 10:19 пользователь Vadim S. Goncharov
написал:
Во фре это один и тот же бинарник
Ну да, бинарь один.
а less имеет более удобный prompt, когда вызывается как more, и вообще удобнее,
при соответствующих настройках:
export LESS="-eFi"
export MORE="${LESS}-+G"
А тут не соглашусь. Каждому своё.
Лично я не представляю, как может быть удобен просмотр без показа текущей
позиции (процент или хотя бы байт), а просто с голым двоеточием. Но да,
каждому своё.
--
Vadim GoncharovRU-Center
NET Departmenthttp://www.nic.ru
NET-SYS Group phone:+7(495)737-7646 (ext.4019)
[freebsd] Re: [freebsd] Высокая нагрузка
[OT]
11 января 2013 г., 10:19 пользователь Vadim S. Goncharov
написал:
> Во фре это один и тот же бинарник
Ну да, бинарь один.
> а less имеет более удобный prompt, когда вызывается как more, и вообще
> удобнее, при соответствующих настройках:
>
> export LESS="-eFi"
> export MORE="${LESS}-+G"
А тут не соглашусь. Каждому своё.
[freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
11 января 2013 г., 9:41 пользователь Sayetsky Anton написал: > 11 января 2013 г., 9:37 пользователь Alexander Yerenkow > написал: > > no space left :) зачем паниковать-то. > Значит, перепутал и это относилось к tmpfs. Правда, сейчас упоминаний > в wiki.freebsd уже нет. > > > more /etc/rc.d/tmp > [ot]more - кака[/ot] > Да ну, править системные скрипты некошерно без крайней на то необходимости. > more - это не править, а поглядеть каким образом то делается /tmp tmpmfs и сделать по образу и подобию себе другую диру. -- Regards, Alexander Yerenkow
Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
On Fri, 11 Jan 2013 09:41:32 +0200 Sayetsky Anton wrote: > 11 января 2013 г., 9:37 пользователь Alexander Yerenkow > написал: > > no space left :) зачем паниковать-то. > Значит, перепутал и это относилось к tmpfs. Правда, сейчас упоминаний > в wiki.freebsd уже нет. > сейчас и упоминания нет об экспериментальности (в head по крайней мере) > > more /etc/rc.d/tmp > [ot]more - кака[/ot] да ладно. сравните more и less во фре;) > Да ну, править системные скрипты некошерно без крайней на то > необходимости. тем не менее, ответ дан. "можно ли" -- wbr, tiger
[freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
1/10/13 5:49 PM, Sayetsky Anton пишет: Уж лучше tmpfs, нежели tmpmfs, имнхо. FYI: в tmpfs нет аналога dirhash и при большом числе файлов в одной дериктории tmpfs работает плохо - заметно медленнее чем UFS.
[freebsd] Re: [freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
10 января 2013 г., 19:44 пользователь Vasiliy P. Melnik написал: > ну так сделайте всем хорошо :) размер определите сами > > tmpmfs="YES"# Set to YES to always create an mfs > /tmp, NO to never > tmpsize="128m" # Size of mfs /tmp if created Уж лучше tmpfs, нежели tmpmfs, имнхо.
[freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
> > > там php-fpm > Eugene Grosbein низкий поклон - пхп гадил в /var/tmp своими кусками, и > их там набралось 200к > ну так сделайте всем хорошо :) размер определите сами tmpmfs="YES"# Set to YES to always create an mfs /tmp, NO to never tmpsize="128m" # Size of mfs /tmp if created
Re: [freebsd] Re: [freebsd] Высокая нагрузка
On Thu, Jan 10, 2013 at 07:28:57PM +0200, greenh wrote: > 10 января 2013 г., 19:22 пользователь greenh написал: > > 5 января 2013 г., 9:55 пользователь Eugene Grosbein > > написал: > >> 05.01.2013 14:50, greenh пишет: > >> > > 4 января 2013 г., 15:10 пользователь Eugene Grosbein > > написал: > >> sysctl vfs.ufs | fgrep mem > > > > vfs.ufs.dirhash_lowmemcount: 0 > > vfs.ufs.dirhash_mem: 53137380 > > vfs.ufs.dirhash_maxmem: 80646144 > > Это в момент высокого потребления system time и высокого LA? > С одной стороны, упирания в maxmem нет, с другой - текущее потребление > dirhash в более чем 50MB это очень много и подтверждает предположение > о существовании каталога с огромным количеством файлов. > > Такие каталоги делают некоторые php-движки, накапливая в них огромное > количество устаревших сессионных файлов и пытаясь удалять старые сессии > не фоновым процессом, а непосредственно во время обработки юзеровского > HTTP-запроса. Этот braindamage лечится только отключением такого > поведения движка > (чтобы он во время выполения запросов не пытался заниматься посторонними > делами > типа очистки сессионного каталога) плюс переключением движка на хранение > сессий в структуре каталогов вместо одного плоского. A чистку старых > сессий > выполнять cron'ом. > >>> > >>> Нет, это не в момент высокой нагрузки, т.к. ситуация > >>> стабилизировалась, и поймать ее пока не получается. > >> > >> Повторится. > > > > Повторилось > > sysctl vfs.ufs | fgrep mem > > vfs.ufs.dirhash_lowmemcount: 0 > > vfs.ufs.dirhash_mem: 21596046 > > vfs.ufs.dirhash_maxmem: 80646144 > > > > Куды бечь? (с) > > top -S > http://pastebin.com/81vE6sB1 мы так и не увидели вывода pmcstat.
[freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
10 января 2013 г., 19:34 пользователь Vasiliy P. Melnik написал: > >> > Куды бечь? (с) >> >> top -S >> http://pastebin.com/81vE6sB1 > > > > под каждого юзера апач запускаете ? или это все-таки suexec? > там php-fpm Eugene Grosbein низкий поклон - пхп гадил в /var/tmp своими кусками, и их там набралось 200к
[freebsd] Re: [freebsd] Re: [freebsd] Высокая нагрузка
> > Куды бечь? (с) > > top -S > http://pastebin.com/81vE6sB1 > под каждого юзера апач запускаете ? или это все-таки suexec?
[freebsd] Re: [freebsd] Высокая нагрузка
10 января 2013 г., 19:22 пользователь greenh написал: > 5 января 2013 г., 9:55 пользователь Eugene Grosbein > написал: >> 05.01.2013 14:50, greenh пишет: >> > 4 января 2013 г., 15:10 пользователь Eugene Grosbein > написал: >> sysctl vfs.ufs | fgrep mem > > vfs.ufs.dirhash_lowmemcount: 0 > vfs.ufs.dirhash_mem: 53137380 > vfs.ufs.dirhash_maxmem: 80646144 Это в момент высокого потребления system time и высокого LA? С одной стороны, упирания в maxmem нет, с другой - текущее потребление dirhash в более чем 50MB это очень много и подтверждает предположение о существовании каталога с огромным количеством файлов. Такие каталоги делают некоторые php-движки, накапливая в них огромное количество устаревших сессионных файлов и пытаясь удалять старые сессии не фоновым процессом, а непосредственно во время обработки юзеровского HTTP-запроса. Этот braindamage лечится только отключением такого поведения движка (чтобы он во время выполения запросов не пытался заниматься посторонними делами типа очистки сессионного каталога) плюс переключением движка на хранение сессий в структуре каталогов вместо одного плоского. A чистку старых сессий выполнять cron'ом. >>> >>> Нет, это не в момент высокой нагрузки, т.к. ситуация >>> стабилизировалась, и поймать ее пока не получается. >> >> Повторится. > > Повторилось > sysctl vfs.ufs | fgrep mem > vfs.ufs.dirhash_lowmemcount: 0 > vfs.ufs.dirhash_mem: 21596046 > vfs.ufs.dirhash_maxmem: 80646144 > > Куды бечь? (с) top -S http://pastebin.com/81vE6sB1
[freebsd] Re: [freebsd] Высокая нагрузка
5 января 2013 г., 9:55 пользователь Eugene Grosbein написал: > 05.01.2013 14:50, greenh пишет: > 4 января 2013 г., 15:10 пользователь Eugene Grosbein написал: > sysctl vfs.ufs | fgrep mem vfs.ufs.dirhash_lowmemcount: 0 vfs.ufs.dirhash_mem: 53137380 vfs.ufs.dirhash_maxmem: 80646144 >>> >>> Это в момент высокого потребления system time и высокого LA? >>> С одной стороны, упирания в maxmem нет, с другой - текущее потребление >>> dirhash в более чем 50MB это очень много и подтверждает предположение >>> о существовании каталога с огромным количеством файлов. >>> >>> Такие каталоги делают некоторые php-движки, накапливая в них огромное >>> количество устаревших сессионных файлов и пытаясь удалять старые сессии >>> не фоновым процессом, а непосредственно во время обработки юзеровского >>> HTTP-запроса. Этот braindamage лечится только отключением такого поведения >>> движка >>> (чтобы он во время выполения запросов не пытался заниматься посторонними >>> делами >>> типа очистки сессионного каталога) плюс переключением движка на хранение >>> сессий в структуре каталогов вместо одного плоского. A чистку старых сессий >>> выполнять cron'ом. >> >> Нет, это не в момент высокой нагрузки, т.к. ситуация >> стабилизировалась, и поймать ее пока не получается. > > Повторится. Повторилось sysctl vfs.ufs | fgrep mem vfs.ufs.dirhash_lowmemcount: 0 vfs.ufs.dirhash_mem: 21596046 vfs.ufs.dirhash_maxmem: 80646144 Куды бечь? (с)
[freebsd] Re: [freebsd] Высокая нагрузка
5 января 2013 г., 9:55 пользователь Eugene Grosbein написал: > 05.01.2013 14:50, greenh пишет: > 4 января 2013 г., 15:10 пользователь Eugene Grosbein написал: > sysctl vfs.ufs | fgrep mem vfs.ufs.dirhash_lowmemcount: 0 vfs.ufs.dirhash_mem: 53137380 vfs.ufs.dirhash_maxmem: 80646144 >>> >>> Это в момент высокого потребления system time и высокого LA? >>> С одной стороны, упирания в maxmem нет, с другой - текущее потребление >>> dirhash в более чем 50MB это очень много и подтверждает предположение >>> о существовании каталога с огромным количеством файлов. >>> >>> Такие каталоги делают некоторые php-движки, накапливая в них огромное >>> количество устаревших сессионных файлов и пытаясь удалять старые сессии >>> не фоновым процессом, а непосредственно во время обработки юзеровского >>> HTTP-запроса. Этот braindamage лечится только отключением такого поведения >>> движка >>> (чтобы он во время выполения запросов не пытался заниматься посторонними >>> делами >>> типа очистки сессионного каталога) плюс переключением движка на хранение >>> сессий в структуре каталогов вместо одного плоского. A чистку старых сессий >>> выполнять cron'ом. >> >> Нет, это не в момент высокой нагрузки, т.к. ситуация >> стабилизировалась, и поймать ее пока не получается. > > Повторится. > >> Проект действительно содержит огромное количество файлов картинок, >> раскиданых по папкам, и с этим, увы, ничего сделать нельзя. > > Раскиданных по папкам это хорошо. Плохо, когда на UFS в одной папке > очень много файлов, с этим нужно бороться. Либо уходить с UFS, на ZFS > например. А если во вложенных папках? Вида xx/yy/zz/qq/file_nn.jpg? > >> Сессии проекта представляли собой большую проблемы и давно вынесены в мемкеш > > Тоже вариант (c). Вместо того, чтобы нормализовать работу приложения, можно > обкладываться кешами. Структура проекта такова, что от этого уйти не удалось :(
[freebsd] Re: [freebsd] Высокая нагрузка
3 января 2013 г., 13:47 пользователь greenh написал: > Подскажите плз, куда смотреть > Имеется сервер > FreeBSD nw10 9.1-PRERELEASE FreeBSD 9.1-PRERELEASE #1: Wed Oct 24 > 13:44:32 MSK 2012 root@nw10:/usr/obj/usr/src/sys/GREENH amd64 > На него валится http трафик в среднем около 2k rps > В какой то момент я стал замечать увеличение LA, в основном > скакообразно до значений 100-600 > при этом очень сильльно растет system > > top -S > last pid: 35908; load averages: 105.38, 68.05, 34.35 up 0+00:14:49 > 15:45:12 > 1489 processes:97 running, 1360 sleeping, 1 waiting, 31 lock > CPU: 13.9% user, 0.0% nice, 84.8% system, 1.3% interrupt, 0.0% idle > Mem: 4658M Active, 3420M Inact, 2972M Wired, 612K Cache, 2079M Buf, 36G > Free > Swap: 4086M Total, 4086M Free > так уже 100 раз обсуждали, что la - это сферический конь в вакууме, а для такой достаточно специфичной нагрузки как веб-сервер больше 100% абсолютно нормальное явление.
