Re: [freebsd] dma(8) mail forwarding
Wed, Jun 29, 2022 at 16:55:32, vsasjason wrote about "[freebsd] dma(8) mail forwarding": > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: remote > delivery to smtp.google.com [64.233.165.26] failed after final DATA: > 550-5.7.1 [x.x.x.x] Messages missing a valid address in From: header, > or^M 550 5.7.1 having no From: header, are not accepted. > s5-20020a2e81c500b0025a97d857besi6415ljg.150 - gsmtp > > Чего же мне такого интересного в последнем скрипте не хватает, что > даже MASQUERADE не помогает? Я неправильно воспринимаю ошибку gsmtp? А эту dma нельзя попросить записать её общение в plaintext? А если связать с пробным MTA и без SSL? -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] dma(8) mail forwarding
Hello! On Wed, 29 Jun 2022 at 23:06:07 (+0300), Anton Saietskii wrote: > > Так а не "mail -E ..." ли срабатывает и формирует "From:" в этом > > periodic скрипте? Или у тебя вывод твоего скрипта тоже mail'ом > > отправляется? > -E никакого отношения к From не имеет: > -E Do not send messages with an empty body. This is useful for pip- > ing errors from cron(8) scripts. Я не про ключ(и), а про саму команду mail. > У меня скрипт просто плюёт в stdout/stderr. Автомагически форвардить вывод > в почту -- функция cron/anacron, разве нет? Так оно и форвардит. As is. Не похоже, чтобы его (их) задачей было устранять user errors или формировать user-friendly заголовки писем. Заверни аутпут своего скрипта пайпой в mail. -- George L. Yermulnik [YZ-RIPE] ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] dma(8) mail forwarding
On Wed, Jun 29, 2022, 23:03 George L. Yermulnik wrote:
> Hello!
>
> On Wed, 29 Jun 2022 at 21:25:25 (+0300), Anton Saietskii wrote:
>
> > > > И вот такой конфиг dma:
> > > > SMARTHOST smtp.google.com
> > > > SECURETRANSFER
> > > > STARTTLS
> > > > MASQUERADE dma@
>
> > > > Письма от periodic приходят прекрасно, а от update_srcports.sh (там
> > > > вызовы git, zfs snapshot и poudriere) -- не со следующей ошибкой:
> > > > Jun 29 12:33:44 freebsdvm dma[961a][56264]: new mail from user=root
> > > > uid=26 envelope_from=
> > > > Jun 29 12:33:44 freebsdvm dma[961a][56264]: mail
> > > > to= queued as 961a.7b883c0c050
> > > > Jun 29 12:33:44 freebsdvm dma[961a.7b883c0c050][56265]:
> > > > trying delivery
> > > > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: trying remote
> > > > delivery to smtp.google.com [64.233.165.26] pref 0
> > > > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: remote
> > > > delivery to smtp.google.com [64.233.165.26] failed after final DATA:
> > > > 550-5.7.1 [x.x.x.x] Messages missing a valid address in From: header,
> > > > or^M 550 5.7.1 having no From: header, are not accepted.
> > > > s5-20020a2e81c500b0025a97d857besi6415ljg.150 - gsmtp
>
> > > > Чего же мне такого интересного в последнем скрипте не хватает, что
> > > > даже MASQUERADE не помогает? Я неправильно воспринимаю ошибку gsmtp?
>
> > > Думаю, если посмотреть в хидера сформированного письма, хидер From: (не
> > > envelope-from, а From:) там отсутствует. Не знаю, как в dma это
> > > заенфорсить.
>
> > Дык, от periodic-то всё нормально приходит! Смотрю в него, а там:
> > output_pipe()
> > {
> > # Where's our output going ?
> > eval output=\$${1##*/}_output
> > case "$output" in
> > /*) pipe="cat >>$output";;
> > "") pipe=cat;;
> > *) pipe="mail -E -s '$host ${2}${2:+ }${1##*/} run output' $output";;
> > esac
> > eval $pipe
> > }
> > Никаких "From:" и в помине нет, только сабж. Может, gsmtp на самом деле
> > сабж не устраивает, а не отправитель и текст ошибки врёт?
> > Бегло глянул в код dma -- там "subject" (case insensitive) встречается
> > только один раз, когда он bounce делает. Вероятно, письмо с выводом
> > update_srcports вообще без этого заголовка уходит...
>
> > Как кошерно закостылить, пока не придумал... Формировать письмо ручками
> > неохота, да и этот скрипт иногда руками запускается, там письмо не нужно
> --
> > вывод в консоли смотрим.
> > Можно в тот же periodic завернуть, но хотелось бы вывод poudriere bulk -n
> > получать не в daily run output, а отдельно.
>
> Так а не "mail -E ..." ли срабатывает и формирует "From:" в этом
> periodic скрипте? Или у тебя вывод твоего скрипта тоже mail'ом
> отправляется?
>
-E никакого отношения к From не имеет:
-E Do not send messages with an empty body. This is useful for pip-
ing errors from cron(8) scripts.
У меня скрипт просто плюёт в stdout/stderr. Автомагически форвардить вывод
в почту -- функция cron/anacron, разве нет?
>
> --
> George L. Yermulnik
> [YZ-RIPE]
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
>
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] dma(8) mail forwarding
Hello!
On Wed, 29 Jun 2022 at 21:25:25 (+0300), Anton Saietskii wrote:
> > > И вот такой конфиг dma:
> > > SMARTHOST smtp.google.com
> > > SECURETRANSFER
> > > STARTTLS
> > > MASQUERADE dma@
> > > Письма от periodic приходят прекрасно, а от update_srcports.sh (там
> > > вызовы git, zfs snapshot и poudriere) -- не со следующей ошибкой:
> > > Jun 29 12:33:44 freebsdvm dma[961a][56264]: new mail from user=root
> > > uid=26 envelope_from=
> > > Jun 29 12:33:44 freebsdvm dma[961a][56264]: mail
> > > to= queued as 961a.7b883c0c050
> > > Jun 29 12:33:44 freebsdvm dma[961a.7b883c0c050][56265]:
> > > trying delivery
> > > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: trying remote
> > > delivery to smtp.google.com [64.233.165.26] pref 0
> > > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: remote
> > > delivery to smtp.google.com [64.233.165.26] failed after final DATA:
> > > 550-5.7.1 [x.x.x.x] Messages missing a valid address in From: header,
> > > or^M 550 5.7.1 having no From: header, are not accepted.
> > > s5-20020a2e81c500b0025a97d857besi6415ljg.150 - gsmtp
> > > Чего же мне такого интересного в последнем скрипте не хватает, что
> > > даже MASQUERADE не помогает? Я неправильно воспринимаю ошибку gsmtp?
> > Думаю, если посмотреть в хидера сформированного письма, хидер From: (не
> > envelope-from, а From:) там отсутствует. Не знаю, как в dma это
> > заенфорсить.
> Дык, от periodic-то всё нормально приходит! Смотрю в него, а там:
> output_pipe()
> {
> # Where's our output going ?
> eval output=\$${1##*/}_output
> case "$output" in
> /*) pipe="cat >>$output";;
> "") pipe=cat;;
> *) pipe="mail -E -s '$host ${2}${2:+ }${1##*/} run output' $output";;
> esac
> eval $pipe
> }
> Никаких "From:" и в помине нет, только сабж. Может, gsmtp на самом деле
> сабж не устраивает, а не отправитель и текст ошибки врёт?
> Бегло глянул в код dma -- там "subject" (case insensitive) встречается
> только один раз, когда он bounce делает. Вероятно, письмо с выводом
> update_srcports вообще без этого заголовка уходит...
> Как кошерно закостылить, пока не придумал... Формировать письмо ручками
> неохота, да и этот скрипт иногда руками запускается, там письмо не нужно --
> вывод в консоли смотрим.
> Можно в тот же periodic завернуть, но хотелось бы вывод poudriere bulk -n
> получать не в daily run output, а отдельно.
Так а не "mail -E ..." ли срабатывает и формирует "From:" в этом
periodic скрипте? Или у тебя вывод твоего скрипта тоже mail'ом
отправляется?
--
George L. Yermulnik
[YZ-RIPE]
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] dma(8) mail forwarding
On Wed, Jun 29, 2022, 17:47 George L. Yermulnik wrote:
> Hello!
>
> On Wed, 29 Jun 2022 at 16:55:32 (+0300), Anton Saietskii wrote:
>
> > И вот такой конфиг dma:
> > SMARTHOST smtp.google.com
> > SECURETRANSFER
> > STARTTLS
> > MASQUERADE dma@
>
> > Письма от periodic приходят прекрасно, а от update_srcports.sh (там
> > вызовы git, zfs snapshot и poudriere) -- не со следующей ошибкой:
> > Jun 29 12:33:44 freebsdvm dma[961a][56264]: new mail from user=root
> > uid=26 envelope_from=
> > Jun 29 12:33:44 freebsdvm dma[961a][56264]: mail
> > to= queued as 961a.7b883c0c050
> > Jun 29 12:33:44 freebsdvm dma[961a.7b883c0c050][56265]:
> > trying delivery
> > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: trying remote
> > delivery to smtp.google.com [64.233.165.26] pref 0
> > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: remote
> > delivery to smtp.google.com [64.233.165.26] failed after final DATA:
> > 550-5.7.1 [x.x.x.x] Messages missing a valid address in From: header,
> > or^M 550 5.7.1 having no From: header, are not accepted.
> > s5-20020a2e81c500b0025a97d857besi6415ljg.150 - gsmtp
>
> > Чего же мне такого интересного в последнем скрипте не хватает, что
> > даже MASQUERADE не помогает? Я неправильно воспринимаю ошибку gsmtp?
>
> Думаю, если посмотреть в хидера сформированного письма, хидер From: (не
> envelope-from, а From:) там отсутствует. Не знаю, как в dma это
> заенфорсить.
>
Дык, от periodic-то всё нормально приходит! Смотрю в него, а там:
output_pipe()
{
# Where's our output going ?
eval output=\$${1##*/}_output
case "$output" in
/*) pipe="cat >>$output";;
"") pipe=cat;;
*) pipe="mail -E -s '$host ${2}${2:+ }${1##*/} run output' $output";;
esac
eval $pipe
}
Никаких "From:" и в помине нет, только сабж. Может, gsmtp на самом деле
сабж не устраивает, а не отправитель и текст ошибки врёт?
Бегло глянул в код dma -- там "subject" (case insensitive) встречается
только один раз, когда он bounce делает. Вероятно, письмо с выводом
update_srcports вообще без этого заголовка уходит...
Как кошерно закостылить, пока не придумал... Формировать письмо ручками
неохота, да и этот скрипт иногда руками запускается, там письмо не нужно --
вывод в консоли смотрим.
Можно в тот же periodic завернуть, но хотелось бы вывод poudriere bulk -n
получать не в daily run output, а отдельно.
--
> George L. Yermulnik
> [YZ-RIPE]
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
>
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 29 Jun 2022, at 18:17, Eugene Grosbein wrote: > > 29.06.2022 21:43, Taras Heichenko пишет: > >>> Это база для. >> >> Это хорошая база, она мне нравится. Но базы мало. Только база, это >> маргинализация. >> А сейчас дальше чем база, очень мало. > > А ты CBSD-то смотрел? Чтобы говорить "мало". Я смотрел, на чем живут облака. > > > ___ > freebsd mailing list > freebsd@uafug.org.ua > http://mailman.uafug.org.ua/mailman/listinfo/freebsd -- Taras Heichenko ta...@academ.kiev.ua ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
29.06.2022 22:36, Valentin Nechayev пишет: >>> Напоминаю, что в наше неспокойное время заметная часть того, что >>> собирается в контейнерах, поступает в виде кода всяких Go и Rust, >>> которые даже libc обходят, а вместо этого используют свой комплект >>> сисколлов и врапперов. >> >> Напоминаю: >> >> osrelease >> The string for the jail's kern.osrelease sysctl and uname -r. >> Они и sysctl kern.osrelease фрёвый дергать не будут. > > Будут. > > [root@verba /usr/ports/lang/go]# objdump -d /usr/local/bin/go | fgrep sysctl > | head > 00431600 : > 431604: 0f 86 b5 00 00 00 jbe4316bf > > 43163a: 76 78 jbe4316b4 > > 431666: e8 b5 43 03 00 callq 465a20 > 43167d: 7c 29 jl 4316a8 > > 431690: 77 0c ja 43169e > > 4316ec: e9 0f ff ff ff jmpq 431600 > > 43178f: e8 6c fe ff ff callq 431600 > > 4317d4: e8 47 42 03 00 callq 465a20 > 4319ac: e8 6f 40 03 00 callq 465a20 > ... > [root@verba /usr/ports/lang/go]# uname -mrs > FreeBSD 12.3-RELEASE-p5 amd64 > > Так что наличие sysctl для авторов своих аналогов libc ни капельки не секрет. Я говорил вовсе не об sysctl как таковом, а конкретно об фрёвом sysctl kern.osrelease в контексте обсуждаемых линуксовых Jail. Не будут. ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
Wed, Jun 29, 2022 at 21:34:49, eugen wrote about "Re: [freebsd] AWS Tech Conference": > > Напоминаю, что в наше неспокойное время заметная часть того, что > > собирается в контейнерах, поступает в виде кода всяких Go и Rust, > > которые даже libc обходят, а вместо этого используют свой комплект > > сисколлов и врапперов. > > Напоминаю: > > osrelease > The string for the jail's kern.osrelease sysctl and uname -r. > Они и sysctl kern.osrelease фрёвый дергать не будут. Будут. [root@verba /usr/ports/lang/go]# objdump -d /usr/local/bin/go | fgrep sysctl | head 00431600 : 431604: 0f 86 b5 00 00 00 jbe4316bf 43163a: 76 78 jbe4316b4 431666: e8 b5 43 03 00 callq 465a20 43167d: 7c 29 jl 4316a8 431690: 77 0c ja 43169e 4316ec: e9 0f ff ff ff jmpq 431600 43178f: e8 6c fe ff ff callq 431600 4317d4: e8 47 42 03 00 callq 465a20 4319ac: e8 6f 40 03 00 callq 465a20 ... [root@verba /usr/ports/lang/go]# uname -mrs FreeBSD 12.3-RELEASE-p5 amd64 Так что наличие sysctl для авторов своих аналогов libc ни капельки не секрет. > А если будут запускать uname, > то /etc/profile или другие способы заполнить environment ничуть не хуже. Может таки проверишь в следующий раз до постинга? ;) -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
29.06.2022 21:43, Taras Heichenko пишет: >> Это база для. > > Это хорошая база, она мне нравится. Но базы мало. Только база, это > маргинализация. > А сейчас дальше чем база, очень мало. А ты CBSD-то смотрел? Чтобы говорить "мало". ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] dma(8) mail forwarding
Hello! On Wed, 29 Jun 2022 at 16:55:32 (+0300), Anton Saietskii wrote: > И вот такой конфиг dma: > SMARTHOST smtp.google.com > SECURETRANSFER > STARTTLS > MASQUERADE dma@ > Письма от periodic приходят прекрасно, а от update_srcports.sh (там > вызовы git, zfs snapshot и poudriere) -- не со следующей ошибкой: > Jun 29 12:33:44 freebsdvm dma[961a][56264]: new mail from user=root > uid=26 envelope_from= > Jun 29 12:33:44 freebsdvm dma[961a][56264]: mail > to= queued as 961a.7b883c0c050 > Jun 29 12:33:44 freebsdvm dma[961a.7b883c0c050][56265]: > trying delivery > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: trying remote > delivery to smtp.google.com [64.233.165.26] pref 0 > Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: remote > delivery to smtp.google.com [64.233.165.26] failed after final DATA: > 550-5.7.1 [x.x.x.x] Messages missing a valid address in From: header, > or^M 550 5.7.1 having no From: header, are not accepted. > s5-20020a2e81c500b0025a97d857besi6415ljg.150 - gsmtp > Чего же мне такого интересного в последнем скрипте не хватает, что > даже MASQUERADE не помогает? Я неправильно воспринимаю ошибку gsmtp? Думаю, если посмотреть в хидера сформированного письма, хидер From: (не envelope-from, а From:) там отсутствует. Не знаю, как в dma это заенфорсить. -- George L. Yermulnik [YZ-RIPE] ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 29 Jun 2022, at 14:18, Eugene Grosbein wrote: > > > Фря может исполнять фрёвый софт параллельно с линуксовым jail. Да, конечно. Но это не промышленное решение. >>> >>> А причем тут промышленное решение? >> >> Это игрушка или инструмент? > > Это база для. Это хорошая база, она мне нравится. Но базы мало. Только база, это маргинализация. А сейчас дальше чем база, очень мало. > > > > > ___ > freebsd mailing list > freebsd@uafug.org.ua > http://mailman.uafug.org.ua/mailman/listinfo/freebsd -- Taras Heichenko ta...@academ.kiev.ua ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
29.06.2022 20:31, Valentin Nechayev пишет: >> ENVIRONMENT >> An environment variable composed of the string UNAME_ followed by any >> flag to the uname utility (except for -a) will allow the corresponding >> data to be set to the contents of the environment variable. > > Осталось понять, какая доля из тех, кто спрашивает эти параметры, > запускает внешнюю команду :) > Напоминаю, что в наше неспокойное время заметная часть того, что > собирается в контейнерах, поступает в виде кода всяких Go и Rust, > которые даже libc обходят, а вместо этого используют свой комплект > сисколлов и врапперов. Напоминаю: osrelease The string for the jail's kern.osrelease sysctl and uname -r. osreldate The number for the jail's kern.osreldate and uname -K. Они и sysctl kern.osrelease фрёвый дергать не будут. А если будут запускать uname, то /etc/profile или другие способы заполнить environment ничуть не хуже. ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
[freebsd] dma(8) mail forwarding
Приветствую, Играюсь тут с сабжем, и часть писем (всегда одну и ту же он не доставляет). Имеется вот такой конфиг anacron: # days delay id command 1 5 daily periodic daily 7 10 weekly periodic weekly 30 15 monthly periodic monthly 1 20 update_srcports /root/bin/update_srcports.sh И вот такой конфиг dma: SMARTHOST smtp.google.com SECURETRANSFER STARTTLS MASQUERADE dma@ Письма от periodic приходят прекрасно, а от update_srcports.sh (там вызовы git, zfs snapshot и poudriere) -- не со следующей ошибкой: Jun 29 12:33:44 freebsdvm dma[961a][56264]: new mail from user=root uid=26 envelope_from= Jun 29 12:33:44 freebsdvm dma[961a][56264]: mail to= queued as 961a.7b883c0c050 Jun 29 12:33:44 freebsdvm dma[961a.7b883c0c050][56265]: trying delivery Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: trying remote delivery to smtp.google.com [64.233.165.26] pref 0 Jun 29 12:33:45 freebsdvm dma[961a.7b883c0c050][56265]: remote delivery to smtp.google.com [64.233.165.26] failed after final DATA: 550-5.7.1 [x.x.x.x] Messages missing a valid address in From: header, or^M 550 5.7.1 having no From: header, are not accepted. s5-20020a2e81c500b0025a97d857besi6415ljg.150 - gsmtp Чего же мне такого интересного в последнем скрипте не хватает, что даже MASQUERADE не помогает? Я неправильно воспринимаю ошибку gsmtp? ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] (no subject)
On 29.06.2022 16:32, Valentin Nechayev wrote: Wed, Jun 29, 2022 at 16:05:06, vsasjason wrote about "Re: [freebsd] AWS Tech Conference": Вот в том числе этим и плохи спамеры -- наброс ссылки и начался флейм на 3 дня. Что, вероятно, повлияло на внимание к другим тредам в рассылке, которые точно по теме. :-) А я только "за". Другие треды не денутся, кто знает - тот ответит. А тут и так слишком мелкий поток. Да и давно ли тут были треды, переваливающие за несколько десятков сообщений за такой короткий срок. К тому же, как обычно, с первоначальной темы уже давно съехали. :) -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd -- Best regards, Paul Tatarenko http://tatarenko.kiev.ua [listening to coolest sound - silence] [Silence is sexy - Einsturzende Neubauten] ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
[freebsd] (no subject)
Wed, Jun 29, 2022 at 16:05:06, vsasjason wrote about "Re: [freebsd] AWS Tech Conference": > Вот в том числе этим и плохи спамеры -- наброс ссылки и начался флейм > на 3 дня. Что, вероятно, повлияло на внимание к другим тредам в > рассылке, которые точно по теме. :-) А я только "за". Другие треды не денутся, кто знает - тот ответит. А тут и так слишком мелкий поток. -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
Wed, Jun 29, 2022 at 20:03:08, eugen wrote about "Re: [freebsd] AWS Tech Conference": > >> И что? Их можно в /etc/profile прописать даже. > > И кто их оттуда читать будет? > Команда uname читает из своего environment. > > ENVIRONMENT > An environment variable composed of the string UNAME_ followed by any > flag to the uname utility (except for -a) will allow the corresponding > data to be set to the contents of the environment variable. Осталось понять, какая доля из тех, кто спрашивает эти параметры, запускает внешнюю команду :) Напоминаю, что в наше неспокойное время заметная часть того, что собирается в контейнерах, поступает в виде кода всяких Go и Rust, которые даже libc обходят, а вместо этого используют свой комплект сисколлов и врапперов. -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
Вот в том числе этим и плохи спамеры -- наброс ссылки и начался флейм на 3 дня. Что, вероятно, повлияло на внимание к другим тредам в рассылке, которые точно по теме. :-) ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
29.06.2022 19:53, Valentin Nechayev пишет: > Wed, Jun 29, 2022 at 16:45:30, eugen wrote about "Re: [freebsd] AWS Tech > Conference": > > 6. идентификация ядра (ответ на uname) Сразу нет. Всё-таки jail это клетки над общим ядром. osrelease The string for the jail's kern.osrelease sysctl and uname -r. >> Это просто обманка. > > Верно, для того и придумано. > >> И что? Их можно в /etc/profile прописать даже. > > И кто их оттуда читать будет? Команда uname читает из своего environment. ENVIRONMENT An environment variable composed of the string UNAME_ followed by any flag to the uname utility (except for -a) will allow the corresponding data to be set to the contents of the environment variable. ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
Wed, Jun 29, 2022 at 16:45:30, eugen wrote about "Re: [freebsd] AWS Tech Conference": > >>> 6. идентификация ядра (ответ на uname) > >> Сразу нет. Всё-таки jail это клетки над общим ядром. > >> osrelease > >> The string for the jail's kern.osrelease sysctl and uname -r. > Это просто обманка. Верно, для того и придумано. > И что? Их можно в /etc/profile прописать даже. И кто их оттуда читать будет? -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
hi, Wed, Jun 29, 2022 at 12:38:29, i wrote about "Re: [freebsd] AWS Tech Conference": > >> Причём много этого всего есть задолго до того, как оно появилось в linux. > > > > Ой я бы не спешил с подобными историческими выводами:) > > Всё началось где-то в 2006-м году, когда Google надоело поддерживать > внутреннее глубоко кастомное ядро, и они опубликовали свои разработки для > Borg, которые теперь известны как cgroups. > До этого все в линукс мире верили “фигня эти ваши jail-ы, будущее за > виртаулизацией”. В моей проекции линуксового мира каждый второй, кто задолбался тому, что как хостеру ему приходится сочетать требования десятка разных пользователей с индивидуальными настройками PHP, радовался любой возможности загнать каждого пользователя в свой chroot, а потом сделать ему какой-то шейпинг ресурсов, чтобы озверелые скрипты не сжирали всё что могли, а также чтобы он держал персональный mysql и опять же не морочил голову "вы другим слишком много даёте". И тут пришли некие ребята со своим VZ (Virtuozzo) и сказали - а у нас всё из коробки и в шоколаде... и это было уже кто мог платить - в 2000 (помню, как в Зеноне хвастались, что они это умеют и у них нет "через месяц мигрируем на 4.1.2, кто не переписал код, тот сам виноват"). В Киеве было несколько пиратских Virtuozzo на хостингах. А в 2005 сделали уже OpenVZ - меньше, но достаточно для мелких. И это только одна из таких разработок, хотя самая выдающаяся. То, что ты вспоминаешь про 2006, это именно что гугл решил опубликовать для всех. И район 2008-2012 это вечные мучения "делать на OpenVZ или на LXC?", которые закончились только с появлением Docker. (Давно хочу написать едкую статью типа "Чем хуже, тем лучше, или PHP как крёстный отец Docker";)) > Но это не принципиально для вопроса. Как раз принципиально. Именно путь: веб-хостинг (~90% на PHP) => контейнеры (начиная с chroot) -> усиленная контейнеризация - привёл к тому, что все BSD были выкошены с этого, самого бурного и активного, рынка. Как BSD выехали на новом рынке за счёт того, что у них сеть работала лучше конкурентов и не требовала лицензий и прочих извратов - так на следующем новом рынке они и потеряли первенство, отстав реально на десятилетие. -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
29.06.2022 16:52, Taras Heichenko пишет: > > >> On 29 Jun 2022, at 12:44, Eugene Grosbein wrote: >> >> 29.06.2022 12:53, Taras Heichenko пишет: >> >> Насколько я ничего не понимаю, всего хватает. >> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый >> userland в jail, >> включая Docker. Сам не пробовал. > > Вот здесь возникает вопрос: а зачем там собственно фря? Фря может исполнять фрёвый софт параллельно с линуксовым jail. >>> >>> Да, конечно. Но это не промышленное решение. >> >> А причем тут промышленное решение? > > Это игрушка или инструмент? Это база для. ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 29 Jun 2022, at 10:56, Valentin Nechayev wrote: > > hi, > > Wed, Jun 29, 2022 at 10:05:47, i wrote about "Re: [freebsd] AWS Tech > Conference": > >>> 2. своё пространство pidʼов >> >> Похоже что нету, но на самом деле не очень то и надо - вообще то pid-ы >> изнутри docker контейнеров тоже прекрасно видны на host системе. > > Во-первых, видны, но под своими номерами. В контейнере иерархия > строится от pid=1, дальше последовательно 2, 3 и так далее, а у хоста > они видны иначе. Вот я заглянул execʼом в контейнер: > > / # ps ax > PID USER TIME COMMAND >1 root 0:00 sleep 3600 > 10 root 0:00 /bin/sh > 15 root 0:00 ps ax > > А вот я смотрю на то же самое из хост-системы: > > 4037136 ?Sl 0:00 /usr/bin/containerd-shim-runc-v2 -namespace moby > -i > d cc8eb0bd81e855e58132d5db46ae35a534bf746abeb6fd4d8e20459ae683b47a -address > /var > /run/docker/containerd/containerd.sock > 4037157 ?Ss 0:00 \_ sleep 3600 > 4042116 pts/0Ss+0:00 \_ /bin/sh > > Во-вторых, эта видимость односторонняя (ещё бы). > > (Вот что плохо, что соответствие pidʼов хоста и контейнера надо искать кривыми > путями. Видимо, обычно мало кому нужно.) Виноват, в спешке думал об UID-ах. Да, такого нету. Насколько это критично не знаю. В общем не должно, но уверен что есть куча мест, которые ожидают первый процесс в контейнере имеет pid=1 и сломаются если это будет не так. >>> 3. шейперы разных шедулеров (CPU, IO, память) и пространства учёта >> >> Есть через rctl, который умеет дружить с jail: >> https://docs.freebsd.org/doc/9.2-RELEASE/usr/share/doc/freebsd/handbook/security-resourcelimits.html > > Жестковато и неиерархично, но для начала сойдёт. > >> Частично есть: cpuset.id в jail(8). Но на самом деле не так часто >> используется в K8s. > > Где как... мы сейчас в контейнерах привязываемся через DPDK к сетевым > интерфейсам, там это критично. > >> Повторюсь: большинство необходимых компонент есть, а чего нету, то можно >> доделать и/или не так уже и критично на самом деле. > > Я вообще-то не утверждал, что его нет :) > я говорил, что для полноценного контейнера нужно много больше, чем те 2-3 > пункта, что привёл Евгений. > Это сейчас мы уже перешли к конкретным пунктам, есть или нет, и как именно. > >> Причём много этого всего есть задолго до того, как оно появилось в linux. > > Ой я бы не спешил с подобными историческими выводами:) Всё началось где-то в 2006-м году, когда Google надоело поддерживать внутреннее глубоко кастомное ядро, и они опубликовали свои разработки для Borg, которые теперь известны как cgroups. До этого все в линукс мире верили “фигня эти ваши jail-ы, будущее за виртаулизацией”. Но это не принципиально для вопроса. >> Только никто не будет это всё ручками лепить докучи. Надо чтобы всё это было > слеплено в стандартизированный СRI. И вот этого нету. > > Да, похоже на то. > > > -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 29 Jun 2022, at 12:44, Eugene Grosbein wrote: > > 29.06.2022 12:53, Taras Heichenko пишет: > > Насколько я ничего не понимаю, всего хватает. > В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland > в jail, > включая Docker. Сам не пробовал. Вот здесь возникает вопрос: а зачем там собственно фря? >>> >>> Фря может исполнять фрёвый софт параллельно с линуксовым jail. >> >> Да, конечно. Но это не промышленное решение. > > А причем тут промышленное решение? Это игрушка или инструмент? Если игрушка – окей. Если инструмент, то без промышленных решений этот инструмент будет жить плохо. > Промышленное решение это совсем отдельная тема, > ей больше место в портах или пакетах. Насколько я слышал, такое решение > предлагает sysutils/cbsd, > или как минимум активно движется в ту сторону. Можно спросить у > olev...@olevole.ru, > он есть в телеграмм-чате @freebsd_ru > > > > > ___ > freebsd mailing list > freebsd@uafug.org.ua > http://mailman.uafug.org.ua/mailman/listinfo/freebsd -- Taras Heichenko ta...@academ.kiev.ua ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 29 Jun 2022, at 11:09, Mykola Dzham wrote: > > > >> On 28 Jun 2022, at 14:58, Taras Heichenko wrote: >> >> >> >>> On 28 Jun 2022, at 00:14, Eugene Grosbein wrote: >>> >>> On 27.06.2022 15:36, Valentin Nechayev wrote: hi, Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] AWS Tech Conference": Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный аналог). >>> >>> Насколько я ничего не понимаю, всего хватает. >>> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в >>> jail, >>> включая Docker. Сам не пробовал. >> >> Вот здесь возникает вопрос: а зачем там собственно фря? > > Фря была бы очень неплохим хостом гонять контейнеры: > очень небольшая базовая система, нормальная поддержка zfs (включая загрузку с > любых пуллов), фаерволл, который можно понять мозгами. > > Но для этого всего фря должна предоставлять стандартизированный интерфейс, > чтобы её можно было легко поставить не меняя всё и вся. + фря должна лучше шевелиться с поддержкой всякого железа, особенно свеженького. > Если оно есть, можно её рекламировать в плане, например, "у нас то же самое, но линуксовый вирус не сработает". Если нет - то понимать, чего именно не хватает. Я уровня изоляции в jail уже не понимаю совсем, что именно там есть, чего нет. >>> >>> Jail это chroot плюс опционально виртуализированный сетевой стек >>> плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже >>> близко, >>> для этого bhyve. >>> ___ >>> freebsd mailing list >>> freebsd@uafug.org.ua >>> http://mailman.uafug.org.ua/mailman/listinfo/freebsd >> >> -- >> Taras Heichenko >> ta...@academ.kiev.ua >> >> >> >> >> >> ___ >> freebsd mailing list >> freebsd@uafug.org.ua >> http://mailman.uafug.org.ua/mailman/listinfo/freebsd > > ___ > freebsd mailing list > freebsd@uafug.org.ua > http://mailman.uafug.org.ua/mailman/listinfo/freebsd -- Taras Heichenko ta...@academ.kiev.ua ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
29.06.2022 15:11, Mykola Dzham пишет: >>> 6. идентификация ядра (ответ на uname) >> >> Сразу нет. Всё-таки jail это клетки над общим ядром. > > Эм > > jail(8); > >> osrelease >> The string for the jail's kern.osrelease sysctl and uname -r. >> >> osreldate >> The number for the jail's kern.osreldate and uname -K. И что? Их можно в /etc/profile прописать даже. Это просто обманка. ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
29.06.2022 12:53, Taras Heichenko пишет: Насколько я ничего не понимаю, всего хватает. В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в jail, включая Docker. Сам не пробовал. >>> >>> Вот здесь возникает вопрос: а зачем там собственно фря? >> >> Фря может исполнять фрёвый софт параллельно с линуксовым jail. > > Да, конечно. Но это не промышленное решение. А причем тут промышленное решение? Промышленное решение это совсем отдельная тема, ей больше место в портах или пакетах. Насколько я слышал, такое решение предлагает sysutils/cbsd, или как минимум активно движется в ту сторону. Можно спросить у olev...@olevole.ru, он есть в телеграмм-чате @freebsd_ru ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
On Tue, Jun 28, 2022 at 02:32:11PM +0300, Valentin Nechayev wrote: > > Насколько я ничего не понимаю, всего хватает. > > В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в > > jail, > > включая Docker. Сам не пробовал. > > Звучит хорошо, но наличие нативного было бы лучше. Серьёзно, лозунг > типа "вы не заметите разницы для своего любимого кубера" тут бы что-то > дал. разумеется это невозможно. просто потому что на данный момент докер -- это пребилденные бинари для линуха, завязанные на всякое линукс-онли. даже если всё перебилдить (а откуда ресурсы?) там в скриптах линуксизмов до дури. ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
hi, Wed, Jun 29, 2022 at 10:05:47, i wrote about "Re: [freebsd] AWS Tech Conference": > > 2. своё пространство pidʼов > > Похоже что нету, но на самом деле не очень то и надо - вообще то pid-ы > изнутри docker контейнеров тоже прекрасно видны на host системе. Во-первых, видны, но под своими номерами. В контейнере иерархия строится от pid=1, дальше последовательно 2, 3 и так далее, а у хоста они видны иначе. Вот я заглянул execʼом в контейнер: / # ps ax PID USER TIME COMMAND 1 root 0:00 sleep 3600 10 root 0:00 /bin/sh 15 root 0:00 ps ax А вот я смотрю на то же самое из хост-системы: 4037136 ?Sl 0:00 /usr/bin/containerd-shim-runc-v2 -namespace moby -i d cc8eb0bd81e855e58132d5db46ae35a534bf746abeb6fd4d8e20459ae683b47a -address /var /run/docker/containerd/containerd.sock 4037157 ?Ss 0:00 \_ sleep 3600 4042116 pts/0Ss+0:00 \_ /bin/sh Во-вторых, эта видимость односторонняя (ещё бы). (Вот что плохо, что соответствие pidʼов хоста и контейнера надо искать кривыми путями. Видимо, обычно мало кому нужно.) > > 3. шейперы разных шедулеров (CPU, IO, память) и пространства учёта > > Есть через rctl, который умеет дружить с jail: > https://docs.freebsd.org/doc/9.2-RELEASE/usr/share/doc/freebsd/handbook/security-resourcelimits.html Жестковато и неиерархично, но для начала сойдёт. > Частично есть: cpuset.id в jail(8). Но на самом деле не так часто > используется в K8s. Где как... мы сейчас в контейнерах привязываемся через DPDK к сетевым интерфейсам, там это критично. > Повторюсь: большинство необходимых компонент есть, а чего нету, то можно > доделать и/или не так уже и критично на самом деле. Я вообще-то не утверждал, что его нет :) я говорил, что для полноценного контейнера нужно много больше, чем те 2-3 пункта, что привёл Евгений. Это сейчас мы уже перешли к конкретным пунктам, есть или нет, и как именно. > Причём много этого всего есть задолго до того, как оно появилось в linux. Ой я бы не спешил с подобными историческими выводами:) > Только никто не будет это всё ручками лепить докучи. Надо чтобы всё это было слеплено в стандартизированный СRI. И вот этого нету. Да, похоже на то. -netch- ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 28 Jun 2022, at 21:56, Eugene Grosbein wrote: > > On 28.06.2022 18:32, Valentin Nechayev wrote: >> hi, >> >> Tue, Jun 28, 2022 at 04:14:26, eugen wrote about "Re: [freebsd] AWS Tech >> Conference": >> >>> Jail это chroot плюс опционально виртуализированный сетевой стек >>> плюс запрет руту из клетки влиять на хост. >> >> Судя по тому, что можно видеть в комплекте всяких cgroup, в опциях >> clone и так далее, параметров сильно больше: > > Придумать можно неограниченное число параметров, > но перечисленное ниже явно не про jail. > >> 6. идентификация ядра (ответ на uname) > > Сразу нет. Всё-таки jail это клетки над общим ядром. Эм jail(8); > osrelease > The string for the jail's kern.osrelease sysctl and uname -r. > > osreldate > The number for the jail's kern.osreldate and uname -K. > ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 28 Jun 2022, at 14:58, Taras Heichenko wrote: > > > >> On 28 Jun 2022, at 00:14, Eugene Grosbein wrote: >> >> On 27.06.2022 15:36, Valentin Nechayev wrote: >>> hi, >>> >>> Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] >>> AWS Tech Conference": >>> >>> Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в >>> FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный >>> аналог). >> >> Насколько я ничего не понимаю, всего хватает. >> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в >> jail, >> включая Docker. Сам не пробовал. > > Вот здесь возникает вопрос: а зачем там собственно фря? Фря была бы очень неплохим хостом гонять контейнеры: очень небольшая базовая система, нормальная поддержка zfs (включая загрузку с любых пуллов), фаерволл, который можно понять мозгами. Но для этого всего фря должна предоставлять стандартизированный интерфейс, чтобы её можно было легко поставить не меняя всё и вся. >>> Если оно есть, можно её рекламировать в плане, например, "у нас то >>> же самое, но линуксовый вирус не сработает". Если нет - то понимать, >>> чего именно не хватает. >>> Я уровня изоляции в jail уже не понимаю совсем, что именно там есть, >>> чего нет. >> >> Jail это chroot плюс опционально виртуализированный сетевой стек >> плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже близко, >> для этого bhyve. >> ___ >> freebsd mailing list >> freebsd@uafug.org.ua >> http://mailman.uafug.org.ua/mailman/listinfo/freebsd > > -- > Taras Heichenko > ta...@academ.kiev.ua > > > > > > ___ > freebsd mailing list > freebsd@uafug.org.ua > http://mailman.uafug.org.ua/mailman/listinfo/freebsd ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
Re: [freebsd] AWS Tech Conference
> On 28 Jun 2022, at 13:32, Valentin Nechayev wrote: > > hi, > > Tue, Jun 28, 2022 at 04:14:26, eugen wrote about "Re: [freebsd] AWS Tech > Conference": > >> Jail это chroot плюс опционально виртуализированный сетевой стек >> плюс запрет руту из клетки влиять на хост. > > Судя по тому, что можно видеть в комплекте всяких cgroup, в опциях > clone и так далее, параметров сильно больше: > 1. chroot (уже сказано) Всегда было в jail > 2. своё пространство pidʼов Похоже что нету, но на самом деле не очень то и надо - вообще то pid-ы изнутри docker контейнеров тоже прекрасно видны на host системе. > 3. шейперы разных шедулеров (CPU, IO, память) и пространства учёта Есть через rctl, который умеет дружить с jail: https://docs.freebsd.org/doc/9.2-RELEASE/usr/share/doc/freebsd/handbook/security-resourcelimits.html > 4. ограничения на набор допустимых устройств (тех что в /dev) Давно есть: devfs_ruleset в jail(8) > 5. сетевой стек (инстанс, интерфейсы) Есть: vnet в jail(8) > 6. идентификация ядра (ответ на uname) Частично есть: osrelease, osreldate в jail(8) > 7. отдельное пространство IPC (если не сделано через FS) Вроде достаточно давно уже отдельное в jail > 8. CPU affinity (ограничение сверху и возможно маппинг) Частично есть: cpuset.id в jail(8). Но на самом деле не так часто используется в K8s. > 9. таки да, запрет "влиять на хост", и это может быть сложно (что > можно монтировать, а что нет) > И это я наверняка мог ещё что-то потерять (если заглянуть в > /proc/cgroup в podʼе под k8s, видны hugetlb и какой-то freezer). > > В принципе повторить всё это не проблема, но конкретный механизм... Повторюсь: большинство необходимых компонент есть, а чего нету, то можно доделать и/или не так уже и критично на самом деле. Причём много этого всего есть задолго до того, как оно появилось в linux. Только никто не будет это всё ручками лепить докучи. Надо чтобы всё это было слеплено в стандартизированный СRI. И вот этого нету. >> Не виртуальная машина даже близко, >> для этого bhyve. > > Кэп:) > >> Насколько я ничего не понимаю, всего хватает. >> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в >> jail, >> включая Docker. Сам не пробовал. > > Звучит хорошо, но наличие нативного было бы лучше. Серьёзно, лозунг > типа "вы не заметите разницы для своего любимого кубера" тут бы что-то > дал. > > > -netch- > ___ > freebsd mailing list > freebsd@uafug.org.ua > http://mailman.uafug.org.ua/mailman/listinfo/freebsd ___ freebsd mailing list freebsd@uafug.org.ua http://mailman.uafug.org.ua/mailman/listinfo/freebsd
