Яндекс, утро понедельника, невыспавшийся небритый руководитель одной из групп разработки монотонным голосом проводит планёрку:
- Раньше у нас было правило: не выкатываться вечером в пятницу... пауза... - Теперь у нас новое правило: совсем не выкатываться. --- Dmitriy V. Simonov, Perl & Python programmer 2012/10/18 [email protected] <[email protected]>: > Про идеал - я с вами согласен, а вот правда жизни: > Стоит сервер... На нем крутится приложение, у которого 50К коннектов... > В 4 часа дня выкатили новую версию... Все нормально... > 12 часов ночи... Включился новый функционал... Полет нормальный... > 4 часа ночи... оперативка падает , но медленно... > 8 часов утра следующего дня... оперативка резко упала из-за того, что народ > начал просыпаться... Это нормальное поведение > 8 часов 30 минут оперативки нету из-за утечки в 100 байт на коннект. > 8 часов 30 минут 10 секунд... Скорость обработки резко упала... Мастер начал > запускать дополнительные воркеры для обрабоки поступающих коннектов. > Коннектов стало больше, так как старые выбивает. > 8:30:20: Мастер скооперировался с остальными нодами и началось перекидывание > пользователей... Памяти нету, своп засирается... > 8:30:50: Машине плохо... нет, не так... всему кластеру ОЧЕНЬ ПЛОХО. > 8:33:00: Свопы забились и начал работать "убиватор". > > Время на реакцию админов было: 3 минуты. Я сейчас утрирую, но факт тот, что > они не успели, так как сменных админов небыло, да и если-бы они были, то > что-бы они сделали? Приложение - основной бизнес компании. > > Так что про идеал не надо... Вы правы только в том случае, если сервер ни > разу не нагружен, нету пиков и программы на нем не разрабатываются в режиме > непрерывной разработки. В то время как хай лоад будет нагружен всегда (более > или менее), пики там бывают часто и выкатки идут чуть-ли не раз в неделю... > > Как-то так... > > Thu, 18 Oct 2012 20:20:57 +0400 от Daniel Podolsky <[email protected]>: > >> засрать своп надо минуту-другую и есть врея реакции... > Ваши представления о работе сисадмина пугают меня... > > На самом деле - в идеале в нашей работе вообще не должно быть места > для "реакции", ее должна заменять профилактика. > -- > Moscow.pm mailing list > [email protected] | http://moscow.pm.org > > > > -- > Moscow.pm mailing list > [email protected] | http://moscow.pm.org > -- Moscow.pm mailing list [email protected] | http://moscow.pm.org
