Здравствуйте, Мадорский. Вы писали 27 июня 2007 г., 14:48:48:
> Хочу хранить логи SQUID и IPTABLES. У меня так оно и есть. Разные базы под FB1.5, правда под виндой. Я логи кажодое утро с сервера по ftp стягиваю и уже на винде дельфевой самопиской обрабатываю. squidlog просто разбираю и в базу заливаю, оттуда отчетики поюзерно. По iptables. Готового и рабочего решения не нашел. Используем логирование средствами iptables по iplog в /var/log/messages. При ротации messages из него отгрепливаются строки с названиями правил iptables. Из самого messages данные iplog удаляются - очень уж много получается, чуть ли не 1:1 с самим логируемым трафиком. Однако потом маета их обрабатывать. У меля получалось отгрепленный messages порядка 100-200мб в сутки. И обрабатывался он, правда нифига не оптимальным способом порядка 30-40 минут. Потом в базе сворачивал (агрегировал) исходные данные с точностью до минуты но из-за массового install-delete пухнет база. Однако после того как при ловле спам рассыльщиков и протчего messages выжрал все место на сервере и потом пришлось его неделю обрабатывать решили переделать по другому. iptables умеет писать логи через ulog. Точнее он может выдавать данные по обрабатываемым пакетам в определенном формате. Ловить эти данные должна специальная программа. Одна из них называется ulog-acctd или примерно так, на память не очень надеюсь. И этот вот сборщик умеет агрегировать данные за заданный период. допустим каждые 5 минут он сбрасывает полученные агрегаты в свой лог а каждый час этот лог ротируется. Т.е. вытаскивать данные можно с давностью до часа. Уже почти онлайн. Причем формат лога от ulog-acctd настраивается, можно даже сделат так что бы он в виде insert-скрипта выводился. Мне было удобнее сделать его в типа csv да там по дефолту почти так и есть. Файлики получаются весьма небольшие. В базу я их заливаю только для того что бы в помощью sql посмотреть агрегаты или проанализировать по протоколам, портам и IP. Держать данные в базе более 2-х месяцев смысла нет. Исходные логи если пожать - хранятся весьма компактно и всегда при необходимости можно их залить в базу и посчитать что надо. Однако замечен косяк. Когда один из абонентов подхватил агента DoS-атак и он сработал - ентот биллинг через ULOG сильно обсчитался в бОльщую сторону. За время атаки траф увеличил раза в 3. В остальное время - вопросов не было. maillog разбираю программкой SMA - получаю весьма прозрачный лог одно письмо - одна строка. Правда если в мыле не указан домен - невозможно достоверно определить откуда и куда это было. SMA есть и под винду и под линух. Формат лога так же настраивается, хоть до insert-скрипта. Полученное заливаю в базу и потом даже не стал делать прикладуху - просто из IBExpert вызываю процедурки. -- С уважением, Владимир mailto:[EMAIL PROTECTED]
