Re: [freebsd] syslog и управление журналами

2019-06-10 Пенетрантность Paul Tatarenko

On 10.06.2019 10:22, uphol...@mail.ru wrote:

Обработка=ротация+хранение+быстрый  доступ  (т.е  отказ  от  сжатия  в
архиве).
Собственно,  вопрос решился сменой ТЗ и разносом файлов обрабатываемых
разными программами по разным местам файловой систему
/var/log/software/ для ПО, которое ротирует самостоятельно
/var/log/syslog/ для rsyslog

А вот об этом :

/var/log- "дефолт"


уже ранее упоминали (и не зря):

On 09.06.2019 22:30, Eugene Grosbein wrote:

Сервер централизованного мониторинга не должен мешать собственные логи с чужими.
Для чужих логов обязательно нужно использовать другие каталоги,
лучше даже не внутри /var/log вообще. Я использую /usr/log, но это дело вкуса.



--
Best regards,
 Paul Tatarenko   http://tatarenko.kiev.ua
[listening to coolest sound - silence]
[Silence is sexy - Einsturzende Neubauten]

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-10 Пенетрантность upholder
Обработка=ротация+хранение+быстрый  доступ  (т.е  отказ  от  сжатия  в
архиве).
Собственно,  вопрос решился сменой ТЗ и разносом файлов обрабатываемых
разными программами по разным местам файловой систему
/var/log/software/ для ПО, которое ротирует самостоятельно
/var/log/syslog/ для rsyslog
/var/log- "дефолт"

>  Sun, Jun 09, 2019 at 17:26:35, upholder wrote about "[freebsd] syslog и 
> управление журналами":

>> Есть пачка системных логов в каталоге /var/log/
>> Есть logrotate для которого я не могу решить следующие задачи
>> Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)

> Начнём с терминологии. Что такое "обработка"?
> Просто складывать их? Складывать в каком-то спецформате?
> Вызов программы какого-то анализа на постоянной основе? В момент
> ротации?

> Как говорят в наших краях, "такое ТЗ это чистое ХЗ".
> Но если сформулируете задачу чётко хотя бы для себя, это будет
> половина решения.


> -netch-



-- 
С уважением, Виталий Михно

Vitaly A. Mikhno
System Administration
Technical Support
phone: +7-911-935-98-56
skype://Vitus9856
primary e-mail: walgr...@gmail.com
secondary e-mail: uphol...@mail.ru
Viber, Whatsapp

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность Valentin Nechayev
hi,

 Sun, Jun 09, 2019 at 17:26:35, upholder wrote about "[freebsd] syslog и 
управление журналами": 

> Есть пачка системных логов в каталоге /var/log/
> Есть logrotate для которого я не могу решить следующие задачи
> Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)

Начнём с терминологии. Что такое "обработка"?
Просто складывать их? Складывать в каком-то спецформате?
Вызов программы какого-то анализа на постоянной основе? В момент
ротации?

Как говорят в наших краях, "такое ТЗ это чистое ХЗ".
Но если сформулируете задачу чётко хотя бы для себя, это будет
половина решения.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность George L. Yermulnik
Hello!

On Sun, 09 Jun 2019 at 22:48:52 (+0300), Andrey Marshalenko wrote:

> Может проще для всей этой ???каши??? завести централизованный сервер логов?

Изначального вопроса топикстартера это не только не отменит, но и преумножит =)

> __
> Best regards,
> Andrey Marshalenko.
> System & Network Administrator
> AM1000-UANIC
> mailto: marsh...@marshall.kiev.ua
> tel (cell #) +380676574197
> Skype: marshalenko

> > On Jun 9, 2019, at 21:19, uphol...@mail.ru wrote:

> > Готов  читать  и конфигурить что-угодно для достижения результата (это
> > сервер  централизованного  мониторинга,  так  что результат окупит все
> > вложения)
> > Не все локальные демоны ротируют логи сами
> > Именно про штатный newsyslog речь и идет (см. второе письмо)
> > Есть   желание   обрабатывать  _все  файлы_  попавшие  в  /var/log  по
> > следующему принципу
> > 1. Кто умеет-обрабатывает сам
> > 2. Кто упомянут в rsyslog.conf-тех обрабатывает rsyslog
> > Здесь же добавляем в rsyslog.conf исключения для файлов п.1, как?
> > 3. Кто упомянут в newsyslog.conf-тех обработает newsyslog
> > Здесь же добавляем в rsyslog.conf исключения для файлов п. 2, как?
> > Здесь же добавляем в rsyslog.con поведение для файлов "прочие", как?

> > Разносить по каталогам и обрабатывать раздельно?

> >> Пачка логов из /var/log/ прекрасно ротируется штатным newsyslog
> >> (man newsyslog.conf) вместо портового /usr/ports/sysutils/logrotate
> >> Кроме того, логи некоторых демонов можно ротировать средствами самих 
> >> демонов (см документацию)..
> >> Так что ИМХО logrotate в вашем случае - лишняя сущность, если
> >> только вы не переносите ротацию логов из linux, и у Вас нет времени
> >> или желания читать документацию по настройке newsyslog.

> >> __
> >> Best regards,
> >> Andrey Marshalenko.
> >> System & Network Administrator
> >> AM1000-UANIC
> >> mailto: marsh...@marshall.kiev.ua
> >> tel (mob) +380676574197
> >> Skype: marshalenko

> >>> On Jun 9, 2019, at 17:26, uphol...@mail.ru wrote:

> >>> Добрый день.

> >>> Есть пачка системных логов в каталоге /var/log/
> >>> Есть logrotate для которого я не могу решить следующие задачи
> >>> Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)
> >>> Обработка файлов httpd, named, mysql (ну, хотя-бы исключение их из под
> >>> обработки, явным указанием в в конфиге newsyslog)

> >>> -- 
> >>> С уважением, Виталий Михно

> >>> Vitaly A. Mikhno
> >>> System Administration
> >>> Technical Support
> >>> phone: +7-911-935-98-56
> >>> skype://Vitus9856
> >>> primary e-mail: walgr...@gmail.com
> >>> secondary e-mail: uphol...@mail.ru
> >>> Viber, Whatsapp

> >>> ___
> >>> freebsd mailing list
> >>> freebsd@uafug.org.ua
> >>> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

> > -- 
> > С уважением, Виталий Михно

> > Vitaly A. Mikhno
> > System Administration
> > Technical Support
> > phone: +7-911-935-98-56
> > skype://Vitus9856
> > primary e-mail: walgr...@gmail.com
> > secondary e-mail: uphol...@mail.ru
> > Viber, Whatsapp

> > ___
> > freebsd mailing list
> > freebsd@uafug.org.ua
> > http://mailman.uafug.org.ua/mailman/listinfo/freebsd

> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

-- 
George L. Yermulnik
[YZ-RIPE]
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность Andrey Marshalenko
Может проще для всей этой “каши” завести централизованный сервер логов?

__
Best regards,
Andrey Marshalenko.
System & Network Administrator
AM1000-UANIC
mailto: marsh...@marshall.kiev.ua
tel (cell #) +380676574197
Skype: marshalenko





> On Jun 9, 2019, at 21:19, uphol...@mail.ru wrote:
> 
> Готов  читать  и конфигурить что-угодно для достижения результата (это
> сервер  централизованного  мониторинга,  так  что результат окупит все
> вложения)
> Не все локальные демоны ротируют логи сами
> Именно про штатный newsyslog речь и идет (см. второе письмо)
> Есть   желание   обрабатывать  _все  файлы_  попавшие  в  /var/log  по
> следующему принципу
> 1. Кто умеет-обрабатывает сам
> 2. Кто упомянут в rsyslog.conf-тех обрабатывает rsyslog
> Здесь же добавляем в rsyslog.conf исключения для файлов п.1, как?
> 3. Кто упомянут в newsyslog.conf-тех обработает newsyslog
> Здесь же добавляем в rsyslog.conf исключения для файлов п. 2, как?
> Здесь же добавляем в rsyslog.con поведение для файлов "прочие", как?
> 
> Разносить по каталогам и обрабатывать раздельно?
> 
> 
> 
> 
>> Пачка логов из /var/log/ прекрасно ротируется штатным newsyslog
>> (man newsyslog.conf) вместо портового /usr/ports/sysutils/logrotate
>> Кроме того, логи некоторых демонов можно ротировать средствами самих демонов 
>> (см документацию)..
>> Так что ИМХО logrotate в вашем случае - лишняя сущность, если
>> только вы не переносите ротацию логов из linux, и у Вас нет времени
>> или желания читать документацию по настройке newsyslog.
> 
>> __
>> Best regards,
>> Andrey Marshalenko.
>> System & Network Administrator
>> AM1000-UANIC
>> mailto: marsh...@marshall.kiev.ua
>> tel (mob) +380676574197
>> Skype: marshalenko
> 
> 
> 
> 
>>> On Jun 9, 2019, at 17:26, uphol...@mail.ru wrote:
>>> 
>>> Добрый день.
>>> 
>>> Есть пачка системных логов в каталоге /var/log/
>>> Есть logrotate для которого я не могу решить следующие задачи
>>> Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)
>>> Обработка файлов httpd, named, mysql (ну, хотя-бы исключение их из под
>>> обработки, явным указанием в в конфиге newsyslog)
>>> 
>>> 
>>> -- 
>>> С уважением, Виталий Михно
>>> 
>>> Vitaly A. Mikhno
>>> System Administration
>>> Technical Support
>>> phone: +7-911-935-98-56
>>> skype://Vitus9856
>>> primary e-mail: walgr...@gmail.com
>>> secondary e-mail: uphol...@mail.ru
>>> Viber, Whatsapp
>>> 
>>> ___
>>> freebsd mailing list
>>> freebsd@uafug.org.ua
>>> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
> 
> 
> 
> 
> -- 
> С уважением, Виталий Михно
> 
> Vitaly A. Mikhno
> System Administration
> Technical Support
> phone: +7-911-935-98-56
> skype://Vitus9856
> primary e-mail: walgr...@gmail.com
> secondary e-mail: uphol...@mail.ru
> Viber, Whatsapp
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность Eugene Grosbein
10.06.2019 1:19, uphol...@mail.ru пишет:

> Готов  читать  и конфигурить что-угодно для достижения результата (это
> сервер  централизованного  мониторинга,  так  что результат окупит все
> вложения)

Сервер централизованного мониторинга не должен мешать собственные логи с чужими.
Для чужих логов обязательно нужно использовать другие каталоги,
лучше даже не внутри /var/log вообще. Я использую /usr/log, но это дело вкуса.

> Разносить по каталогам и обрабатывать раздельно?

Безусловно.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность upholder
Готов  читать  и конфигурить что-угодно для достижения результата (это
сервер  централизованного  мониторинга,  так  что результат окупит все
вложения)
Не все локальные демоны ротируют логи сами
Именно про штатный newsyslog речь и идет (см. второе письмо)
Есть   желание   обрабатывать  _все  файлы_  попавшие  в  /var/log  по
следующему принципу
1. Кто умеет-обрабатывает сам
2. Кто упомянут в rsyslog.conf-тех обрабатывает rsyslog
Здесь же добавляем в rsyslog.conf исключения для файлов п.1, как?
3. Кто упомянут в newsyslog.conf-тех обработает newsyslog
Здесь же добавляем в rsyslog.conf исключения для файлов п. 2, как?
Здесь же добавляем в rsyslog.con поведение для файлов "прочие", как?

Разносить по каталогам и обрабатывать раздельно?




> Пачка логов из /var/log/ прекрасно ротируется штатным newsyslog
> (man newsyslog.conf) вместо портового /usr/ports/sysutils/logrotate
> Кроме того, логи некоторых демонов можно ротировать средствами самих демонов 
> (см документацию)..
> Так что ИМХО logrotate в вашем случае - лишняя сущность, если
> только вы не переносите ротацию логов из linux, и у Вас нет времени
> или желания читать документацию по настройке newsyslog.

> __
> Best regards,
> Andrey Marshalenko.
> System & Network Administrator
> AM1000-UANIC
> mailto: marsh...@marshall.kiev.ua
> tel (mob) +380676574197
> Skype: marshalenko




>> On Jun 9, 2019, at 17:26, uphol...@mail.ru wrote:
>> 
>> Добрый день.
>> 
>> Есть пачка системных логов в каталоге /var/log/
>> Есть logrotate для которого я не могу решить следующие задачи
>> Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)
>> Обработка файлов httpd, named, mysql (ну, хотя-бы исключение их из под
>> обработки, явным указанием в в конфиге newsyslog)
>> 
>> 
>> -- 
>> С уважением, Виталий Михно
>> 
>> Vitaly A. Mikhno
>> System Administration
>> Technical Support
>> phone: +7-911-935-98-56
>> skype://Vitus9856
>> primary e-mail: walgr...@gmail.com
>> secondary e-mail: uphol...@mail.ru
>> Viber, Whatsapp
>> 
>> ___
>> freebsd mailing list
>> freebsd@uafug.org.ua
>> http://mailman.uafug.org.ua/mailman/listinfo/freebsd




-- 
С уважением, Виталий Михно

Vitaly A. Mikhno
System Administration
Technical Support
phone: +7-911-935-98-56
skype://Vitus9856
primary e-mail: walgr...@gmail.com
secondary e-mail: uphol...@mail.ru
Viber, Whatsapp

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность Andrey Marshalenko
Доброго времени суток.

Пачка логов из /var/log/ прекрасно ротируется штатным newsyslog (man 
newsyslog.conf) вместо портового /usr/ports/sysutils/logrotate
Кроме того, логи некоторых демонов можно ротировать средствами самих демонов 
(см документацию)..
Так что ИМХО logrotate в вашем случае - лишняя сущность, если только вы не 
переносите ротацию логов из linux, и у Вас нет времени или желания читать 
документацию по настройке newsyslog.

__
Best regards,
Andrey Marshalenko.
System & Network Administrator
AM1000-UANIC
mailto: marsh...@marshall.kiev.ua
tel (mob) +380676574197
Skype: marshalenko




> On Jun 9, 2019, at 17:26, uphol...@mail.ru wrote:
> 
> Добрый день.
> 
> Есть пачка системных логов в каталоге /var/log/
> Есть logrotate для которого я не могу решить следующие задачи
> Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)
> Обработка файлов httpd, named, mysql (ну, хотя-бы исключение их из под
> обработки, явным указанием в в конфиге newsyslog)
> 
> 
> -- 
> С уважением, Виталий Михно
> 
> Vitaly A. Mikhno
> System Administration
> Technical Support
> phone: +7-911-935-98-56
> skype://Vitus9856
> primary e-mail: walgr...@gmail.com
> secondary e-mail: uphol...@mail.ru
> Viber, Whatsapp
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность Eugene Grosbein
10.06.2019 0:29, Eugene Grosbein пишет:

> В newsyslog нет никакой магии - это самая обычная утилита, вызываемая из cron,
> даже не демон. Никто не запрещает прописать в crontab вызов её с нужными 
> аргументами
> второй раз, чтобы получить нужное поведение.
> 
> Читаны ли man newsyslog на тему синтаксиса командной строки newsyslod и man 
> syslyslog.conf

s/newsyslod/newsyslog/
s/syslyslog.conf/newsyslog.conf/

Прошу прощения, надо больше спать.

> на тему его конфигурирования? В самом начале второго мана документировано 
> слово ,
> что мешает его использовать?

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность Eugene Grosbein
09.06.2019 21:26, uphol...@mail.ru пишет:
> Добрый день.
> 
> Есть пачка системных логов в каталоге /var/log/
> Есть logrotate для которого я не могу решить следующие задачи
> Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)
> Обработка файлов httpd, named, mysql (ну, хотя-бы исключение их из под
> обработки, явным указанием в в конфиге newsyslog)

Подземный стук не лечится, как и неконкретные жалобы.

Совершенно непонятно, что значит "обработка файлов по дефолту"
и зачем создавать себе проблему, настраивая обработку для *.log,
а потом её героически преодолевать, пытаясь задать исключения.

В newsyslog нет никакой магии - это самая обычная утилита, вызываемая из cron,
даже не демон. Никто не запрещает прописать в crontab вызов её с нужными 
аргументами
второй раз, чтобы получить нужное поведение.

Читаны ли man newsyslog на тему синтаксиса командной строки newsyslod и man 
syslyslog.conf
на тему его конфигурирования? В самом начале второго мана документировано слово 
,
что мешает его использовать?

И что мешает раскидать файлы по подкаталогам внутри /var/log и обрабатывать их 
по-разному,
раз уж хочется обрабатывать их по-разному?



___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd


Re: [freebsd] syslog и управление журналами

2019-06-09 Пенетрантность Denis Kachurin


On 09.06.2019 17:26, uphol...@mail.ru wrote:

Добрый день.

Есть пачка системных логов в каталоге /var/log/
Есть logrotate для которого я не могу решить следующие задачи
Обработка файлов по дефолту (т.е просто файлов подпадающих под *.log)
Обработка файлов httpd, named, mysql (ну, хотя-бы исключение их из под


named умеет сам:

logging {
category general { named_log; };
category config { named_log; };
category queries { queries_log; };

channel named_log {
    file "/var/log/named.log" versions 3 size 500k;
    print-time yes;
    print-category yes;
};

channel queries_log {
    file "/var/log/queries.log" versions 3 size 500k;
    print-time yes;
    print-category yes;
};
};

httpd это апач? тогда тоже сам умеет:



Define HOST my.mega.host

 ErrorLog "|/usr/local/sbin/rotatelogs -L 
/var/log/apache/${HOST}-error.log -fn 5 
/var/log/apache/${HOST}/error.log 5M"
 CustomLog "|/usr/local/sbin/rotatelogs -L 
/var/log/apache/${HOST}-access.log -fn 5 
/var/log/apache/${HOST}/access.log 5M" combined




каталог /var/log/apache/${HOST}/ нужно создать


обработки, явным указанием в в конфиге newsyslog)


nginx через newsyslog:

# cat /usr/local/etc/newsyslog.conf.d/nginx.conf
/var/log/nginx/*.log    root:wheel  640  10    100    *  GJ 
/var/run/nginx.pid 30


--
С уважением,
Качурин Денис
Группа системного администрирования и выпуска программной продукции (Витебск)
Инженер по системной интеграции
ООО "Исида-Информатика"

тел. (212) 273-000
факс (212) 273-000
mailto: d.kachu...@isida.by
http://www.isida.by, http://www.labma.ru

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd