Re: bash парсинг лога

2011-02-25 Нитка Тарас Перебейносов
А так использование ресурсов меньше? 25 февраля 2011 г. 21:33 пользователь Сергей Болонкин написал: > Связку "sort| uniq" можно заменить на sort -u, и уменьшить количество > проходов. > Я использую uniq только для подсчёта совпадений (uniq -c). > > 25 февраля 2011 г. 20:19 пользователь Тарас Пере

Re: bash парсинг лога

2011-02-25 Нитка Сергей Болонкин
Связку "sort| uniq" можно заменить на sort -u, и уменьшить количество проходов. Я использую uniq только для подсчёта совпадений (uniq -c). 25 февраля 2011 г. 20:19 пользователь Тарас Перебейносов написал: ... > grep -v "];-" $logfile | sed -e > > 's/^\[\([0-9]\{2\}\/[A-Z][a-z]\{2\}\/[0-9]\{4\}\

Re: bash парсинг лога

2011-02-25 Нитка Тарас Перебейносов
Спасибо! Пример не заработал, там нужно как минимум вместо () использовать \( \) чтобы флаги отметить. Но, это дало мне точку опоры и я поправил под свои нужды))) #!/bin/bash echo "`date` Script started" logfile="/var/log/httpd/users.csv" LOGFILE_OUT="/root/users-count/out.csv" # Remove users "-"

Re: bash парсинг лога

2011-02-25 Нитка Vyacheslav Karamov
25-Feb-11 16:56, Alexander пишет: On 02/25/2011 04:17 PM, Vyacheslav Karamov wrote: В том же Perl, будь он трижды проклят Простите, а почему? Я Perl не знаю, но подобные отзывы слышу иногда. Почему пёрл так плох по вашему? Потому что нужно всегда помнить, в каком контексте вызвана функция (в

Re: Ubuntu и 802x.1 на свитче

2011-02-25 Нитка Андрей Высочиненко
У меня этот геморрой на работе. Прикрутить не получилось. Хотя я сильно не старался, т.к. на том компе софт только для винды. 25.02.11, Igor Shipenkov написал(а): > я тут кстати глянул в нетворк-менеджер. так вот тут прямо отдельная > вкладка для настройки 802.1x и там можно указывать и тип > ауте

Re: bash парсинг лога

2011-02-25 Нитка Serge Matveenko
2011/2/25 Тарас Перебейносов : > 25/Feb/2011:11:43:08 а кто придумал двоеточие для разделения даты и времени? усложняет парсинг сильно... -- Serge Matveenko se...@matveenko.ru http://www.ohloh.net/accounts/lig http://ru.linkedin.com/in/sergematveenko -- ubuntu-ru mailing list ubuntu-ru@lists.

Re: bash парсинг лога

2011-02-25 Нитка Alexander
On 02/25/2011 04:17 PM, Vyacheslav Karamov wrote: > В том же Perl, будь он трижды проклят Простите, а почему? Я Perl не знаю, но подобные отзывы слышу иногда. Почему пёрл так плох по вашему? -- ubuntu-ru mailing list ubuntu-ru@lists.ubuntu.com https://lists.ubuntu.com/mailman/listinfo/ubuntu-ru

Re: bash парсинг лога

2011-02-25 Нитка Dmitry Agafonov
300 мб - сущая мелочь :) Я бы написал как-то так (не проверял): grep -v "];-" LOGFILE | sed "s/^\[([0-9]{1,2}/[A-Z][a-z]{2}/[0-9]{4}):.+\];(.+)$/\1;\2" | sort | uniq > LOGFILE_OUT Интуитивно - потребуется около 500 мб озу. Но таки bash тут не используется, ну разве для работы трубопроводчиком :)

Re: bash парсинг лога

2011-02-25 Нитка Vyacheslav Karamov
Ваше упорство достойно восхищения. Но почему бы тогда не попробовать решить задачу на каком-то ЯП? В том же Perl, будь он трижды проклят, есть хэши. в качестве ключа используйте имя пользователя, которое выделите при помощи регулярного выражения. Программа будет на несколько строчек. 25-Feb-11

Re: Ubuntu и 802x.1 на свитче

2011-02-25 Нитка Igor Shipenkov
я тут кстати глянул в нетворк-менеджер. так вот тут прямо отдельная вкладка для настройки 802.1x и там можно указывать и тип аутентификации, и имя, и пароль, и сертификат, и пароль к сертификату. подозреваю, что проблем с 802.1x в убунту нет. 25 февраля 2011 г. 16:18 пользователь Тарас Перебейносо

Re: bash парсинг лога

2011-02-25 Нитка Тарас Перебейносов
C++ это конечно хорошо, но, во-первых, могут потребоваться изменения в коде, а я с C++ на Вы, а во-вторых, я хочу всё-таки освоить bash 25 февраля 2011 г. 15:40 пользователь Vyacheslav Karamov < ubuntul...@yandex.ru> написал: > Я могу Вам на С++ программу написать, а вы её себе соберёте и будете

Re: bash парсинг лога

2011-02-25 Нитка Vyacheslav Karamov
Я могу Вам на С++ программу написать, а вы её себе соберёте и будете пользоваться. Зачем Вам баш? "Сегодня ты юзаешь баш, а завтра Родину продашь" (с) 25-Feb-11 10:47, Тарас Перебейносов пишет: Доброго времени суток! Нужна помощь в написании скрипта, который будет парсить очень большой лог

Re: Ubuntu и 802x.1 на свитче

2011-02-25 Нитка Igor Shipenkov
просто предполагается что помочь смогут только те кто знает что такое 802.1x вот я правда хоть и знаю что это, но помочь могу только тем фактом что с 802.1x работает wpa_supplicant (просто в стандарте wpa как раз 802.1x и применяется, только без проводов). 25 февраля 2011 г. 16:20 пользователь Ил

Re: bash парсинг лога

2011-02-25 Нитка Сергей Болонкин
Тут есть неплохое описание с примерами: http://citforum.ru/operating_systems/articles/sed_awk.shtml http://www.opennet.ru/docs/RUS/bash_scripting_guide/ 25 февраля 2011 г. 13:14 пользователь Тарас Перебейносов написал: > ну вот) за каждый день, а не за каждую секунду) а если убирать повторения >

Re: Ubuntu и 802x.1 на свитче

2011-02-25 Нитка Илья Таскаев
Что за стандарт то такой? Думаешь тут умники одни? 25 февраля 2011 г. 20:18 пользователь Тарас Перебейносов < taras.perebeyno...@gmail.com> написал: > 802x.1 -- C уважением, Илья Таскаев -- ubuntu-ru mailing list ubuntu-ru@lists.ubuntu.com https://lists.ubuntu.com/mailman/listinfo/ubuntu-ru

Re: bash парсинг лога

2011-02-25 Нитка Тарас Перебейносов
т.е. это вытаскивает из строки байты со 2го по 11? А одна буква - это точно 1 байт? 25 февраля 2011 г. 13:16 пользователь vova написал: > cut -b2-11 > > В Пт., 25/02/2011 в 13:07 +0300, Тарас Перебейносов пишет: > > Как мне из строки "[25/Feb/2011:11:42:57 +0300];X_HudsonAccesToSVN" > > получить

Re: bash парсинг лога

2011-02-25 Нитка vova
Ой, не 11, а 12, конечно. В Пт., 25/02/2011 в 16:16 +0600, vova пишет: > cut -b2-11 -- ubuntu-ru mailing list ubuntu-ru@lists.ubuntu.com https://lists.ubuntu.com/mailman/listinfo/ubuntu-ru

Ubuntu и 802x.1 на свитче

2011-02-25 Нитка Тарас Перебейносов
В связи с грядущей настройкой авторизации по стандарту 802x.1 на свитче к которому подключен мой комп с убунтой, хотелось бы узнать был ли у кого опыт общения с этим стандартом? Для винды используется авторизация по сертификату, можно ли это в убунте прикрутить? -- ubuntu-ru mailing list ubuntu-ru

Re: bash парсинг лога

2011-02-25 Нитка vova
cut -b2-11 В Пт., 25/02/2011 в 13:07 +0300, Тарас Перебейносов пишет: > Как мне из строки "[25/Feb/2011:11:42:57 +0300];X_HudsonAccesToSVN" > получить только дату в формате "25/Feb/2011"? -- ubuntu-ru mailing list ubuntu-ru@lists.ubuntu.com https://lists.ubuntu.com/mailman/listinfo/ubuntu-ru

Re: bash парсинг лога

2011-02-25 Нитка Тарас Перебейносов
ну вот) за каждый день, а не за каждую секунду) а если убирать повторения юзеров за день, нужно убрать время сначала. Но не суть, согласен, надо выражаться точнее. в общем, давно хотел узнать как из строки можно по шаблону вытаскивать кусок в переменную) 25 февраля 2011 г. 13:11 пользователь Серг

Re: bash парсинг лога

2011-02-25 Нитка Сергей Болонкин
Всё правильно. Как и было поставлено условие: "...Т.е. нужно получить список юзеров за каждый день, без повторений и пустых юзеров (-)" 25 февраля 2011 г. 13:07 пользователь Тарас Перебейносов написал: > Это всего лишь избавляет от пользователей "-". Дубликаты - один и тот же > пользователь в

Re: bash парсинг лога

2011-02-25 Нитка Тарас Перебейносов
Это всего лишь избавляет от пользователей "-". Дубликаты - один и тот же пользователь в течении дня, а не в ту же секунду. Т.е. нужно сначала отрезать от даты время, оставив только "25/Feb/2011", потом для каждой даты убрать дубликаты юзеров. Думаю без цикла не обойтись. Для начало хотелось бы реа

Re: bash парсинг лога

2011-02-25 Нитка Сергей Болонкин
Прошу прощения, не убрал дубликаты :) cat [dirname/filename]|grep -v ';-$'|sort -u 25 февраля 2011 г. 12:24 пользователь Сергей Болонкин написал: > Как быстрый вариант: > cat [dirname/filename]|grep -v ';-$' > > 25 февраля 2011 г. 11:47 пользователь Тарас Перебейносов > написал: >> Доброго врем

Re: bash парсинг лога

2011-02-25 Нитка Сергей Болонкин
Как быстрый вариант: cat [dirname/filename]|grep -v ';-$' 25 февраля 2011 г. 11:47 пользователь Тарас Перебейносов написал: > Доброго времени суток! > > Нужна помощь в написании скрипта, который будет парсить очень большой лог (> > 300 Mb) > > Лог выглядит так: > > [25/Feb/2011:11:42:57 +0300];X_

bash парсинг лога

2011-02-25 Нитка Тарас Перебейносов
Доброго времени суток! Нужна помощь в написании скрипта, который будет парсить очень большой лог (> 300 Mb) Лог выглядит так: [25/Feb/2011:11:42:57 +0300];X_HudsonAccesToSVN [25/Feb/2011:11:42:57 +0300];X_HudsonAccesToSVN [25/Feb/2011:11:42:57 +0300];X_HudsonAccesToSVN [25/Feb/2011:11:42:57 +030