Re: Подсчет трафика
Hello! On Sunday 14 February 2010 23:23:30 Artem Chuprina wrote: Насколько я понимаю, мейнстрим формата съема на одной машине с обработкой на другой - это NetFlow. Но если со снималкой для него вроде все понятно - fprobe-ulog, остальные ulog-варианты не умеют NetFlow, то вот с дальнейшей обработкой и визуализацией хотелось бы почитать мнение тех, кто этих устриц ел. Вопрос - а почему вас не устраивает детализация до сессии? По принципу жил- был демон, кушал нетфло, отдавал информацию о сессиях в базу, куда ходил гнуплот и рисовал красивые графики. Сейчас у меня для телефонного биллинга такое опубликовано: http://mobigroup.ru/debian/pool-lenny/main/m/ Коллекторы доступны, только сам движок тарификации закрыт. Описание в блоге. Графики построить проблем нет. Собственно идея в том, что есть набор скриптов сбора данных через сокет и из файла, данные агрегируются и регулярно сбрасываются в эскулайт базу на диск (пакетная запись). Если сбросить не удалось, хранятся до следующей попытки записи. Последний раз смотрел давно, аптайм коллекторов полгода был, случалось, что записи по паре недель не сбрасывались в базу (то ли места не было, то ли права на файл не позволяли), а по исправлению ситуации все аккуратно сохранялось. Для интернет имхо тоже вещь полезная будет, если есть интересующиеся, готов сделать и опубликовать коллекторы. С вас описание: какие поля нужны в базе, из каких форматов собирать, как агрегировать. Best regards, Alexey Pechnikov. http://pechnikov.tel/
Re: Подсчет трафика
Sun, 14 Feb 2010 23:23:30 +0300 Artem Chuprina r...@ran.pp.ru wrote: Люди местные, сами мы недобрые... А расскажите, кто чем считает трафик и потом анализирует насчитанное. Боюсь сказать слово netams. Да оно кривое и авторы странны. Но в принципе оно работает (практически из коробки) и включает в себя всё что надо. И нет, я им сам не пользуюсь кроме одной инсталляции, которая поставил и забыл. -- Best regards, Alexander GQ Gerasiov Contacts: e-mail:g...@cs.msu.su Jabber: g...@jabber.ru Homepage: http://gq.net.ru ICQ: 7272757 PGP fingerprint: 04B5 9D90 DF7C C2AB CD49 BAEA CA87 E9E8 2AAC 33F1 -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20100218113102.30030...@desktopvm.lvknet
Re: Подсчет трафика
Посмотреть на трафик, в красивых графиках, позволяет ntop. Но я слышал, что иногда жалуются, слишком много ресурсов жрёт. 16 февраля 2010 г. 10:35 пользователь DamirX damir.haki...@gmail.com написал: В Пнд, 15/02/2010 в 22:09 +0300, Artem Chuprina пишет: А у нас стоит задача типа мягко пнуть кого-нибудь, забывшего утром притормозить торрент - или тормознуть не успевший за ночь debmirror или ой, что-то эта машина подозрительно много трафика гонит, не трояна ли поймало? Не более. Я подумал-подумал и ограничил интернет для _пользователей_ http-proxy. Доволен. -- DamirX -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1266298509.3362.18.ca...@everest.agg -- Константин Фадеев
Re: Подсчет трафика
17 февраля 2010 г. 15:59 пользователь Konstantin Fadeyev jred...@gmail.com написал: Посмотреть на трафик, в красивых графиках, позволяет ntop. Но я слышал, что иногда жалуются, слишком много ресурсов жрёт. Не иногда, а после N дней аптайма. N - зависит от трафика и количества отловленых адресов. -- Stanislav
Re: Подсчет трафика
17 февраля 2010 г. 16:40 пользователь Stanislav Vlasov stanislav@gmail.com написал: 17 февраля 2010 г. 15:59 пользователь Konstantin Fadeyev jred...@gmail.com написал: Посмотреть на трафик, в красивых графиках, позволяет ntop. Но я слышал, что иногда жалуются, слишком много ресурсов жрёт. Не иногда, а после N дней аптайма. N - зависит от трафика и количества отловленых адресов. -- Stanislav Методы борьбы есть? -- Константин Фадеев
Re: Подсчет трафика
Artem Chuprina wrote: А расскажите, кто чем считает трафик и потом анализирует насчитанное. - кто пожрал внешний канал То что вы написали - сложная задача, решать ее можно по частям. Из своего опыта: если есть внешний канал - то он шейпится, если канал шейпится - то есть htb, если есть htb - то он автоматом считает трафик. Вывод его статистики, хоть ежеминутный, не занимает cpu. Результат можно отображать c помощью rrd. Разделять трафик на торрент и неторрент, этим способом врятли получиться, особенно если торент через openvpn. Хотя, если очень хочется, можно попробовать модулем iptables (http://sourceforge.net/projects/iptables-p2p/ например) отфильтровать торрент и его уже отдельно считать/шейпить htb. Есть и другие варианты, из архива рассыки: http://www.mail-archive.com/debian-russian@lists.debian.org/msg82905.html http://lists.debian.org/debian-russian/2003/07/msg00462.html http://lists.debian.org/debian-russian/2002/04/msg00022.html Вообще, как я понял, любая статистика будет загружать cpu, кроме случая с htb (или другой дисциплиной) когда статистика уже есть. Удачи. -- Sincerely, Nicholas -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/hlbu5c$ki...@ger.gmane.org
Re: Подсчет трафика
On 02/15/2010 01:23 AM, Artem Chuprina wrote: Люди местные, сами мы недобрые... А расскажите, кто чем считает трафик и потом анализирует насчитанное. Интересует примерно следующая модель использования. Есть сеть, довольно развесистая, аж о двух роутерах (один роутит подсети внутренней сети и в DMZ, а другой из DMZ наружу). Внешний роутер маскарадит (и сам тоже малость генерирует трафик). Внутренняя сеть на VLAN'ах, и есть OpenVPN. Что хочется получить. В любой момент под рукой должна быть сводная информация вида кто пожрал канал - Top несколько пожирателей канала. Статистика (можно переключаемо вручную): за последние сутки-двое (с детализацией по часам), неделю (с детализацией приблизительно по времени дня), за пару месяцев (с детализацией по дням). Детализацию удобно было бы видеть графиками. Поскольку у внешнего роутера может быть более одного внешнего интерфейса, хорошо бы уметь увидеть статистику, касающуюся только одного из них. Заинтересовавшие вхождения нужно иметь возможность быстро и удобно (с точки зрения интерфейса) увидеть с аналогичным подходом (Top несколько, с детализацией) по: протоколам (в понимании IP, т.е. ICMP/UDP/TCP/что-там-еще-бывает), хостам (с кем в основном обменивался пакетами заинтересовавший меня наш внутренний хост), внутри протоколов TCP/UDP - по портам. Собственно, задачи, которые хочется решать: - сколько мы пожрали трафика за отчетный перед провайдером период - кто пожрал внешний канал - чем он его пожрал (трояна словил, за ненужными апдейтами ломанулся мимо родного WSUS'а, торрент торрентит, и т.п.) - где узкие места в локальной сети При этом на роутерах софта должно быть по минимуму - особенно софта, слушающего какие-то соединения. Категорически отказать апачу, а за выполнение aptitude install phpчто-угодно на роутере у нас применяется корпоративный расстрел на месте. На машине, которая показывает результаты админу или начальнику, можно и пыхпых. Поскольку внешний роутер маскарадит, то, вероятно, снимать надо ULOG'ом. pcap'ом либо его собственный внешний трафик не увидишь, либо детализацию по внутренним адресам не получишь. Насколько я понимаю, мейнстрим формата съема на одной машине с обработкой на другой - это NetFlow. Но если со снималкой для него вроде все понятно - fprobe-ulog, остальные ulog-варианты не умеют NetFlow, то вот с дальнейшей обработкой и визуализацией хотелось бы почитать мнение тех, кто этих устриц ел. Мда, живут же люди... у меня все гораздо проще: Две внутренних сети (~100 машин), обе включены в один роутер, имеющий выход в мир и выход к сервакам на коллокейшене отдельно. Роуты разводятся iproute, стандартно. Подсчет трафика - pmacct, пищущий в мускуль (ip, mac, source ip, dest ip, протокол, порт, объем и кол-во пакетов). Данные pmacctd кеширует и сбрасывает в таблицу раз в пять минут. Авторизации, по сути, никакой - по ip, и раз в неделю я прогоняю скриптик на предмет несоответствия маков ip, дабы наказать особо умных. Есть прозрачный squid, там же. Раз в день данные за день чистятся и группируются по принципу пользун-хост-порт (перловым скриптом) и заносятся в таблицу истории. Сумма за день инкрементится в свойствах пользователя. Раз в 10 минут другой скрипт проверяет, сколько пользователь использовал, если перебор - банит его iptables, оставляя только корп. мыло и аську. Без ежедневного упрощения статистики в месяц (~15 гб трафа, мы нищеброды) текущая таблица имела 2-3 миллиона записей и объем в полтора гигабайта, что отрицательно влияло на производительность банилки, потому ввел ежедневое подведение итогов. Начальству, по сути, интересен не список портов и ip, а лог сквида с группировкой по домену (сей лог парсится раз в 30 мин, чистится и кладется в мускуль). Есть некий интерфейс ко всему этому на php. Понимаю, что местами через задницу, но оно работает, а на корню менять не хочется. Недавно в сторонней организации, занимающейся транспортом на WiFI, увидел роутеры (специальные девайсы на ARM) под управлением Mikrotik RouterOS (урл не дам, но гуглится легко - у сволочи прова умер прокси). Сия ось - жутко погрызанный BSD, около 30 метров, есть сборка под x86, может грузиться с флешки/харда и заточена под роутерные нужды, есть отдельный удаленный гуй для настройки и снятия статистики. Сама ось дает шейпинг и маршрутизацию, возможно и кеширование HTTP. Гуй - графики и разноцветных пользователей по длине очереди (суть загрузке канала). Только вот сумму сама считать и логи вести не особо любит - во встроенной железке просто мозгов нет. Думаю попробовать заюзать, а статистику снимать по snmp и скармливать mrtg. Минус - ось платная. Впрочем, лицензия покупается единоразово, недорого. Сам Mikrotik Router - около 80-100 баксов с доставкой по почте, это три eth и два miniPci под вайфай, плюс лицензия на ось. Вот. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive:
Re: Подсчет трафика
Nicholas - debian-russian@lists.debian.org @ Mon, 15 Feb 2010 11:51:14 +: А расскажите, кто чем считает трафик и потом анализирует насчитанное. - кто пожрал внешний канал N То что вы написали - сложная задача, решать ее можно по частям. N Из своего опыта: если есть внешний канал - то он шейпится, Ой, не, это уже более изощренно, чем мне нужно. Чтоб шейпить, надо иметь четкое представление, что и зачем. А у нас стоит задача типа мягко пнуть кого-нибудь, забывшего утром притормозить торрент - или тормознуть не успевший за ночь debmirror или ой, что-то эта машина подозрительно много трафика гонит, не трояна ли поймало? Не более. Формализовать политику шейпинга - работа, которую делать скорее не надо, нежели надо... Но для анализа подобного типа надо таки видеть топ. -- hands-free BSD -- (С)энта -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/99583...@wizzle.ran.pp.ru
Re: Подсчет трафика
Если нужна полная статистика fprobe/nprobe + flow-tools (есть даже веб-панель для наглядного анализа). Позволяет генерировать отчеты. (nprobe - платная ) Если полная статистика не нужна, а нужно лишь найти затыки в сети и просто анализировать ее работу - sflow (берется не каждый пакет как в нетфло, а избранные. Все настраивается).
Re: Подсчет трафика (+ шей пинг)
Artem Chuprina wrote: N Из своего опыта: если есть внешний канал - то он шейпится, Ой, не, это уже более изощренно, чем мне нужно. Чтоб шейпить, надо иметь четкое представление, что и зачем. Можно сделать, для профилактики, просто - по ip: 4 + 3х255 строчек на сеть. Правила tc.conf: #!/bin/bash #..шапка: tc qdisc add dev eth0 root handle 1: htb default 9991 tc class add dev eth0 parent 1: classid 1: htb rate 1mbps burst 150k tc class add dev eth0 parent 1: classid 1:9991 htb rate 64kbps ceil 128kbps burst 150k tc qdisc add dev eth0 parent 1:9991 handle 9991: sfq perturb 10 #..и для каждого из ip: tc class add dev eth0 parent 1: classid 1:1 htb rate 256kbps ceil 512kbps burst 300k tc class add dev eth0 parent 1: classid 1:255 htb rate 256kbps ceil 512kbps burst 300k tc qdisc add dev eth0 parent 1:1 handle 1: sfq perturb 10 tc qdisc add dev eth0 parent 1:255 handle 255: sfq perturb 10 tc filter add dev eth0 parent 1: protocol ip prio 1 u32 match ip src x.xx.xx.1 flowid 1:1 tc filter add dev eth0 parent 1: protocol ip prio 1 u32 match ip src xx.xx.xx.255 flowid 1:255 Основная часть скрипта генерится 3мя командами: (вы это знаете, но может кому пригодится) for i in `seq 1 255`; do echo tc class add dev eth0 parent 1: classid 1:$i htb rate 256kbps ceil 512kbps burst 300k tc.conf; done; for i in `seq 1 255`; do echo tc qdisc add dev eth0 parent 1:$i handle $i: sfq perturb 10 tc.conf; done; for i in `seq 1 255`; do echo tc filter add dev eth0 parent 1: protocol ip prio 1 u32 match ip src xx.xx.xx.$i flowid 1:$i tc.conf; done; Посмотреть что получилось (и статистику) tc_show.sh: #!/bin/bash tc -s -d qdisc show dev eth0 tc -s -d class show dev eth0 tc -s -d filter show dev eth0 -- Sincerely, Nicholas -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/hlcfp2$ju...@ger.gmane.org
Re: Подсчет трафика
В Пнд, 15/02/2010 в 22:09 +0300, Artem Chuprina пишет: А у нас стоит задача типа мягко пнуть кого-нибудь, забывшего утром притормозить торрент - или тормознуть не успевший за ночь debmirror или ой, что-то эта машина подозрительно много трафика гонит, не трояна ли поймало? Не более. Я подумал-подумал и ограничил интернет для _пользователей_ http-proxy. Доволен. -- DamirX -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1266298509.3362.18.ca...@everest.agg
Re: Подсчет трафика на дексто пе
7 мая 2009 г. 19:46 пользователь Andrey Zhidenkov andrey.zhiden...@gmail.com написал: Подскажите, пожалуйста, софтину для подсчета трафика. Nagios слишком тяжеловата, mrtg уж слишком прост. Хотелось бы что-нибудь среднее. Чтобы не тяжелая была и рисовала красиво. Трафик считать нужно или всё-таки рисовать? Сам пользуюсь vnstat - приятная консольная программа, считает трафик, прошедший через интерфейсы. Когда-то видел iog - может быть то, что вам нужно. Умеет генерировать веб-странички с цветными столбиками, по функционалу - та же vntstat.
Re: Подсчет трафика на дексто пе
Забыл ссылку указать: http://www.dynw.com/iog/ -Input Output Grapher
Re: Подсчет трафика на декстопе
-[ Andrey Zhidenkov 07/05/2009 17:46 (GMT +3) Подскажите, пожалуйста, софтину для подсчета трафика. Nagios слишком тяжеловата, mrtg уж слишком прост. Хотелось бы что-нибудь среднее. Чтобы не тяжелая была и рисовала красиво. Посмотри на netams. Правда в дистрибутиве нет его. На etch я ставил. Ставилось без проблем. -- Best regards, Mikhail xmpp: ant...@stopicq.ru irc: Bart-mdv- @ SolarNet SolarNet: http://www.solarnet.ru/ signature.asc Description: This is a digitally signed message part.
Re: Подсчет трафика на декстопе
Hello, Mikhail. On Thu, 7 May 2009 18:02:34 +0400 Mikhail A Antonov b...@solarnet.ru wrote: -[ Andrey Zhidenkov 07/05/2009 17:46 (GMT +3) Подскажите, пожалуйста, софтину для подсчета трафика. Nagios слишком тяжеловата, mrtg уж слишком прост. Хотелось бы что-нибудь среднее. Чтобы не тяжелая была и рисовала красиво. Посмотри на netams. Правда в дистрибутиве нет его. На etch я ставил. Ставилось без проблем. Пакет есть у меня (правда бажистый, руки не доходят доделать). Но автору он точно не нужен, не для того он, не для десктопа: слишком тяжелый и графики рисовать не умеет. -- Best regards, Alexander GQ Gerasiov Contacts: e-mail:g...@cs.msu.su Jabber: g...@jabber.ru Homepage: http://gq.net.ru ICQ: 7272757 PGP fingerprint: 0628 ACC7 291A D4AA 6D7D 79B8 0641 D82A E3E3 CE1D -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Re: Подсчет трафика на дексто пе
пользую vnstat+vnstat php frontend http://www.sqweek.com/sqweek/index.php?p=1 легкий и с графиками -- С уважением, Анатолий Лебедев Mobile: 8-911-999-23-15 XMPP: beas...@gmail.com George Burns http://www.brainyquote.com/quotes/authors/g/george_burns.html - Happiness is having a large, loving, caring, close-knit family in another city. 7 мая 2009 г. 18:11 пользователь Alexander GQ Gerasiov g...@cs.msu.suнаписал: Hello, Mikhail. On Thu, 7 May 2009 18:02:34 +0400 Mikhail A Antonov b...@solarnet.ru wrote: -[ Andrey Zhidenkov 07/05/2009 17:46 (GMT +3) Подскажите, пожалуйста, софтину для подсчета трафика. Nagios слишком тяжеловата, mrtg уж слишком прост. Хотелось бы что-нибудь среднее. Чтобы не тяжелая была и рисовала красиво. Посмотри на netams. Правда в дистрибутиве нет его. На etch я ставил. Ставилось без проблем. Пакет есть у меня (правда бажистый, руки не доходят доделать). Но автору он точно не нужен, не для того он, не для десктопа: слишком тяжелый и графики рисовать не умеет. -- Best regards, Alexander GQ Gerasiov Contacts: e-mail:g...@cs.msu.su Jabber: g...@jabber.ru Homepage: http://gq.net.ru ICQ: 7272757 PGP fingerprint: 0628 ACC7 291A D4AA 6D7D 79B8 0641 D82A E3E3 CE1D -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Re: Подсчет трафика на дексто пе
7 мая 2009 г. 20:16 пользователь Анатолий Лебедев beas...@gmail.com написал: пользую vnstat+vnstat php frontend http://www.sqweek.com/sqweek/index.php?p=1 легкий и с графиками О! Спасибо. О фронтенде не знал. Поставил - понравилось :)
