Re: Посоветуйте готов ую систему учёта сете вого трафика
Andrey A Lubimets wrote: Вообще (видимо рискую разжечь флейм) хотелось бы услышать более-менее компетентное мнение на тему iptables(ulog) vs libpcap. Ну или кто подскажет что почитать на эту тему. Читать придётся в основном флейм :-D Практически весь он будет посвящён тому, что pcap теряет пакеты. Но на самом деле это urban legend. Точнее, скажем так, теряет pcap не больше ulog'а - и там и там могут быть потери если не предпринять некоторых мер. Так что на этом уровне они равны. Далее: pcap портабелен, что очевидный плюс, также очень привлекательно выглядят его гибкие фильтры и pcap "слышит" всё, тогда как ulog только ip. Однако, получаемая через pcap информация о пакете не содержит ни какой информации о маршруте. Т.е. определить вошёл данный пакет или выходит и через какой интерфейс на основании _только_ полученной из pcap информации невозможно. Последний недостаток pcap, на мой взгляд, перевешивает все его плюсы (в рамках обсуждаемой темы учёта и мониторинга трафика, конечно). -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Ed пишет: Andrey A Lubimets wrote: а как насчёт потерь на больших скоростях, у меня до провайдера 100 мегабит и потенциально могут быть всплески трафика. Вообще (видимо рискую разжечь флейм) хотелось бы услышать более-менее компетентное мнение на тему iptables(ulog) vs libpcap. какой тут флейм. в общем libpcap имеет свои плюсы (кросплатформенность, позвояет ловить пакет целиком, развитая система фильтров), но вот для учета трафика оно не очень. пакеты теряет под нагрузкой. Разрешите, как альтернативу предложить pmacct. Хорошая поддержка, развивается, есть работа с netflow. Умеет класть агрерированные данные в базу. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Andrey A Lubimets wrote: а как насчёт потерь на больших скоростях, у меня до провайдера 100 мегабит и потенциально могут быть всплески трафика. Вообще (видимо рискую разжечь флейм) хотелось бы услышать более-менее компетентное мнение на тему iptables(ulog) vs libpcap. какой тут флейм. в общем libpcap имеет свои плюсы (кросплатформенность, позвояет ловить пакет целиком, развитая система фильтров), но вот для учета трафика оно не очень. пакеты теряет под нагрузкой. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
[EMAIL PROTECTED] пишет: Я вот что-то не могу понять ? Вам для учета или мониторинга? Я так думаю, что мониторинг - типа учет в реальном времени (в идеале, конечно) Мне это пока неактуально. Пока поставил ulog-acctd - пишет в файл всё что пробегает через FORWARD/ Дальше буду думать что с ним делать :-) Задача выяснить - провайдер криво считает или одно одно из двух ;-) учет насколько я понимаю - это подсчет. Я использую netacct-mysql - никаких проблем не возникает с ним, есть веб-интерфейс а как насчёт потерь на больших скоростях, у меня до провайдера 100 мегабит и потенциально могут быть всплески трафика. Вообще (видимо рискую разжечь флейм) хотелось бы услышать более-менее компетентное мнение на тему iptables(ulog) vs libpcap. Ну или кто подскажет что почитать на эту тему. Если для мониторинга , то тут конечно netflow и думать придумывать особо нечего больше -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Andrey A Lubimets wrote: Нужно срочно поставить на слабенькую машину (роутер, что-то типа P100-32Mb,ничем не нагружен кроме iptables)прогу, которая бы собирала статистику и позволяла бы получать отчеты по интерфейсам, портам, дням, чтобы можно было бы не считать трафик на сеть провайдера и тп. Желательно готовую , из дебиановского репозитария :-) Спрашиваю, поскольку надо было сделать вчера:-(, нет времени на попробовать. посмотри netams...умеет много... у меня работает на машине п133-48Мб, но там еще крутятся сквид и мускл. только на вчера не получиться - документацию придется читать вдумчиво... и его нет в дебиановском репозитарии - нужно будет собирать из исходников... -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Andrey A Lubimets wrote: Нужно срочно поставить на слабенькую машину (роутер, что-то типа P100-32Mb,ничем не нагружен кроме iptables)прогу, которая бы собирала статистику и позволяла бы получать отчеты по интерфейсам, портам, дням, чтобы можно было бы не считать трафик на сеть провайдера и тп. Желательно готовую , из дебиановского репозитария :-) Спрашиваю, поскольку надо было сделать вчера:-(, нет времени на попробовать. посмотри netams...умеет много... у меня работает на машине п133-48Мб, но там еще крутятся сквид и мускл. только на вчера не получиться - документацию придется читать вдумчиво... и его нет в дебиановском репозитарии - нужно будет собирать из исходников... -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
[EMAIL PROTECTED] wrote: Я вот что-то не могу понять ? Вам для учета или мониторинга? учет насколько я понимаю - это подсчет. Я использую netacct-mysql - никаких проблем не возникает с ним, есть веб-интерфейс Если для мониторинга , то тут конечно netflow и думать придумывать особо нечего больше Подсчёт - это частный случай мониторинга. И нередко по результатам подсчёта требуется провести "разбор полётов". Поэтому хочется (ну, скажем, лично мне) иметь более детализированные данные нежели просто счётчики. И NetFlow тут очень удобен, потому как позволяет выбрать приемлимое соотношение между объёмом и детализацией данных путём изменения параметров агрегации. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Andrey A Lubimets wrote: сам ulog-acctd мне понравился, только вот чем обрабатывать 1.5 гига логов в gzip? Кашмар. Т.е. он просто в текстовый файл всё пишет? 1,5 гига это за какой период/трафик, а то у меня /var всего 1 гиг :-/ Вроде как syslog умеет на другую машину логи пересылать - этим можно воспользоваться или нет? попробовал тупо загрузить часть данных в postgres - как и ожидалось тормоз ещё тот (замена на mysql явно не решит проблему), надо как-то группировать данные за прошлые периоды - нет времени заняться этим. а ulogd (ulogd-mysql, ulogd-pgsql) - никто не пробовал? Присоединяюсь к совету воспользоваться fprobe-ulog + flow-tools -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Andrey A Lubimets wrote: сам ulog-acctd мне понравился, только вот чем обрабатывать 1.5 гига логов в gzip? Т.е. он просто в текстовый файл всё пишет? да. 1,5 гига это за какой период/трафик, а то у меня /var всего 1 гиг :-/ период - с конца 2003, трафика - ну поменьше 100 гигов. дело-то в том, что данные очень детализованные, их надо сразу как-то обрабатывать, а не хранить. другой вопрос - вроде бы всё и надо, даже и не знаешь как организовать данные более компактно, без потери потенциально полезной информации. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Mikhail Gusarov wrote: AAL> Вроде как syslog умеет на другую машину логи пересылать - этим можно AAL> воспользоваться или нет? Оно по UDP шлет - для подсчета трафика лучше не использовать. И что? У вас на eth такие большие потери? Протокол NetFlow (де-факто стандарт для учёта и мониторинга трафика) в качестве транспорта использует UDP. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Ed пишет: Artem Chuprina wrote: AAL> Нужно срочно поставить на слабенькую машину (роутер, что-то типа AAL> P100-32Mb,ничем не нагружен кроме iptables)прогу, которая бы AAL> собирала статистику и позволяла бы получать отчеты по интерфейсам, AAL> портам, дням, чтобы можно было бы не считать трафик на сеть AAL> провайдера и тп. Желательно готовую , из дебиановского репозитария AAL> :-) Спрашиваю, поскольку надо было сделать вчера:-(, нет времени AAL> на попробовать. ulog-acctd. Это такой net-acct, только пакеты в него попадают в том месте правил iptables, в котором скажешь. сам ulog-acctd мне понравился, только вот чем обрабатывать 1.5 гига логов в gzip? Т.е. он просто в текстовый файл всё пишет? 1,5 гига это за какой период/трафик, а то у меня /var всего 1 гиг :-/ Вроде как syslog умеет на другую машину логи пересылать - этим можно воспользоваться или нет? попробовал тупо загрузить часть данных в postgres - как и ожидалось тормоз ещё тот (замена на mysql явно не решит проблему), надо как-то группировать данные за прошлые периоды - нет времени заняться этим. а ulogd (ulogd-mysql, ulogd-pgsql) - никто не пробовал? -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
Re: Посоветуйте готов ую систему учёта сете вого трафика
Artem Chuprina wrote: AAL> Нужно срочно поставить на слабенькую машину (роутер, что-то типа AAL> P100-32Mb,ничем не нагружен кроме iptables)прогу, которая бы AAL> собирала статистику и позволяла бы получать отчеты по интерфейсам, AAL> портам, дням, чтобы можно было бы не считать трафик на сеть AAL> провайдера и тп. Желательно готовую , из дебиановского репозитария AAL> :-) Спрашиваю, поскольку надо было сделать вчера:-(, нет времени AAL> на попробовать. ulog-acctd. Это такой net-acct, только пакеты в него попадают в том месте правил iptables, в котором скажешь. сам ulog-acctd мне понравился, только вот чем обрабатывать 1.5 гига логов в gzip? попробовал тупо загрузить часть данных в postgres - как и ожидалось тормоз ещё тот (замена на mysql явно не решит проблему), надо как-то группировать данные за прошлые периоды - нет времени заняться этим. -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
