Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 29 Jun 2022, at 18:17, Eugene Grosbein  wrote:
> 
> 29.06.2022 21:43, Taras Heichenko пишет:
> 
>>> Это база для.
>> 
>> Это хорошая база, она мне нравится. Но базы мало. Только база, это 
>> маргинализация.
>> А сейчас дальше чем база, очень мало.
> 
> А ты CBSD-то смотрел? Чтобы говорить "мало".

Я смотрел, на чем живут облака.

> 
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

29.06.2022 22:36, Valentin Nechayev пишет:

>>> Напоминаю, что в наше неспокойное время заметная часть того, что
>>> собирается в контейнерах, поступает в виде кода всяких Go и Rust,
>>> которые даже libc обходят, а вместо этого используют свой комплект
>>> сисколлов и врапперов.
>>
>> Напоминаю:
>>
>> osrelease
>>  The string for the jail's kern.osrelease sysctl and uname -r.
>> Они и sysctl kern.osrelease фрёвый дергать не будут.
> 
> Будут.
> 
> [root@verba /usr/ports/lang/go]# objdump -d /usr/local/bin/go | fgrep sysctl 
> | head
> 00431600 :
>   431604:   0f 86 b5 00 00 00   jbe4316bf 
> 
>   43163a:   76 78   jbe4316b4 
> 
>   431666:   e8 b5 43 03 00  callq  465a20 
>   43167d:   7c 29   jl 4316a8 
> 
>   431690:   77 0c   ja 43169e 
> 
>   4316ec:   e9 0f ff ff ff  jmpq   431600 
> 
>   43178f:   e8 6c fe ff ff  callq  431600 
> 
>   4317d4:   e8 47 42 03 00  callq  465a20 
>   4319ac:   e8 6f 40 03 00  callq  465a20 
> ...
> [root@verba /usr/ports/lang/go]# uname -mrs
> FreeBSD 12.3-RELEASE-p5 amd64
> 
> Так что наличие sysctl для авторов своих аналогов libc ни капельки не секрет.

Я говорил вовсе не об sysctl как таковом, а конкретно об фрёвом
sysctl kern.osrelease в контексте обсуждаемых линуксовых Jail.

Не будут.

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

 Wed, Jun 29, 2022 at 21:34:49, eugen wrote about "Re: [freebsd] AWS Tech 
Conference": 


> > Напоминаю, что в наше неспокойное время заметная часть того, что
> > собирается в контейнерах, поступает в виде кода всяких Go и Rust,
> > которые даже libc обходят, а вместо этого используют свой комплект
> > сисколлов и врапперов.
> 
> Напоминаю:
> 
> osrelease
>  The string for the jail's kern.osrelease sysctl and uname -r.
> Они и sysctl kern.osrelease фрёвый дергать не будут.

Будут.

[root@verba /usr/ports/lang/go]# objdump -d /usr/local/bin/go | fgrep sysctl | 
head
00431600 :
  431604:   0f 86 b5 00 00 00   jbe4316bf 

  43163a:   76 78   jbe4316b4 

  431666:   e8 b5 43 03 00  callq  465a20 
  43167d:   7c 29   jl 4316a8 

  431690:   77 0c   ja 43169e 

  4316ec:   e9 0f ff ff ff  jmpq   431600 
  43178f:   e8 6c fe ff ff  callq  431600 
  4317d4:   e8 47 42 03 00  callq  465a20 
  4319ac:   e8 6f 40 03 00  callq  465a20 
...
[root@verba /usr/ports/lang/go]# uname -mrs
FreeBSD 12.3-RELEASE-p5 amd64

Так что наличие sysctl для авторов своих аналогов libc ни капельки не секрет.

> А если будут запускать uname,
> то /etc/profile или другие способы заполнить environment ничуть не хуже.

Может таки проверишь в следующий раз до постинга? ;)


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

29.06.2022 21:43, Taras Heichenko пишет:

>> Это база для.
> 
> Это хорошая база, она мне нравится. Но базы мало. Только база, это 
> маргинализация.
> А сейчас дальше чем база, очень мало.

А ты CBSD-то смотрел? Чтобы говорить "мало".


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 29 Jun 2022, at 14:18, Eugene Grosbein  wrote:
> 
> 
> Фря может исполнять фрёвый софт параллельно с линуксовым jail.
 
 Да, конечно. Но это не промышленное решение.
>>> 
>>> А причем тут промышленное решение?
>> 
>> Это игрушка или инструмент?
> 
> Это база для.

Это хорошая база, она мне нравится. Но базы мало. Только база, это 
маргинализация.
А сейчас дальше чем база, очень мало.

> 
> 
> 
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

29.06.2022 20:31, Valentin Nechayev пишет:

>> ENVIRONMENT
>>  An environment variable composed of the string UNAME_ followed by any
>>  flag to the uname utility (except for -a) will allow the corresponding
>>  data to be set to the contents of the environment variable.
> 
> Осталось понять, какая доля из тех, кто спрашивает эти параметры,
> запускает внешнюю команду :)
> Напоминаю, что в наше неспокойное время заметная часть того, что
> собирается в контейнерах, поступает в виде кода всяких Go и Rust,
> которые даже libc обходят, а вместо этого используют свой комплект
> сисколлов и врапперов.

Напоминаю:

osrelease
 The string for the jail's kern.osrelease sysctl and uname -r.
osreldate
 The number for the jail's kern.osreldate and uname -K.

Они и sysctl kern.osrelease фрёвый дергать не будут. А если будут запускать 
uname,
то /etc/profile или другие способы заполнить environment ничуть не хуже.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

 Wed, Jun 29, 2022 at 20:03:08, eugen wrote about "Re: [freebsd] AWS Tech 
Conference": 

> >> И что? Их можно в /etc/profile прописать даже.
> > И кто их оттуда читать будет?
> Команда uname читает из своего environment.
> 
> ENVIRONMENT
>  An environment variable composed of the string UNAME_ followed by any
>  flag to the uname utility (except for -a) will allow the corresponding
>  data to be set to the contents of the environment variable.

Осталось понять, какая доля из тех, кто спрашивает эти параметры,
запускает внешнюю команду :)
Напоминаю, что в наше неспокойное время заметная часть того, что
собирается в контейнерах, поступает в виде кода всяких Go и Rust,
которые даже libc обходят, а вместо этого используют свой комплект
сисколлов и врапперов.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Anton Saietskii]

Вот в том числе этим и плохи спамеры -- наброс ссылки и начался флейм
на 3 дня. Что, вероятно, повлияло на внимание к другим тредам в
рассылке, которые точно по теме. :-)
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

29.06.2022 19:53, Valentin Nechayev пишет:
>  Wed, Jun 29, 2022 at 16:45:30, eugen wrote about "Re: [freebsd] AWS Tech 
> Conference": 
> 
>>>>> 6. идентификация ядра (ответ на uname)
>>>> Сразу нет. Всё-таки jail это клетки над общим ядром.
>>>>  osrelease
>>>>  The string for the jail's kern.osrelease sysctl and uname -r.
>> Это просто обманка.
> 
> Верно, для того и придумано.
> 
>> И что? Их можно в /etc/profile прописать даже.
> 
> И кто их оттуда читать будет?

Команда uname читает из своего environment.

ENVIRONMENT
 An environment variable composed of the string UNAME_ followed by any
 flag to the uname utility (except for -a) will allow the corresponding
 data to be set to the contents of the environment variable.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

 Wed, Jun 29, 2022 at 16:45:30, eugen wrote about "Re: [freebsd] AWS Tech 
Conference": 

> >>> 6. идентификация ядра (ответ на uname)
> >> Сразу нет. Всё-таки jail это клетки над общим ядром.
> >>  osrelease
> >>  The string for the jail's kern.osrelease sysctl and uname -r.
> Это просто обманка.

Верно, для того и придумано.

> И что? Их можно в /etc/profile прописать даже.

И кто их оттуда читать будет?


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

hi,

 Wed, Jun 29, 2022 at 12:38:29, i wrote about "Re: [freebsd] AWS Tech 
Conference": 

> >> Причём много этого всего есть задолго до того, как оно появилось в linux.
> > 
> > Ой я бы не спешил с подобными историческими выводами:)
> 
> Всё началось где-то в 2006-м году, когда Google надоело поддерживать 
> внутреннее глубоко кастомное ядро, и они опубликовали свои разработки для 
> Borg, которые теперь известны как cgroups.
> До этого все в линукс мире верили “фигня эти ваши jail-ы, будущее за 
> виртаулизацией”.

В моей проекции линуксового мира каждый второй, кто задолбался тому,
что как хостеру ему приходится сочетать требования десятка разных
пользователей с индивидуальными настройками PHP, радовался любой
возможности загнать каждого пользователя в свой chroot, а потом
сделать ему какой-то шейпинг ресурсов, чтобы озверелые скрипты не
сжирали всё что могли, а также чтобы он держал персональный mysql и
опять же не морочил голову "вы другим слишком много даёте".
И тут пришли некие ребята со своим VZ (Virtuozzo) и сказали - а у нас
всё из коробки и в шоколаде... и это было уже кто мог платить - в
2000 (помню, как в Зеноне хвастались, что они это умеют и у них нет
"через месяц мигрируем на 4.1.2, кто не переписал код, тот сам
виноват"). В Киеве было несколько пиратских Virtuozzo на хостингах. А
в 2005 сделали уже OpenVZ - меньше, но достаточно для мелких. И это
только одна из таких разработок, хотя самая выдающаяся. То, что ты
вспоминаешь про 2006, это именно что гугл решил опубликовать для всех.
И район 2008-2012 это вечные мучения "делать на OpenVZ или на LXC?",
которые закончились только с появлением Docker.

(Давно хочу написать едкую статью типа "Чем хуже, тем лучше, или PHP
как крёстный отец Docker";))

> Но это не принципиально для вопроса.

Как раз принципиально. Именно путь: веб-хостинг (~90% на PHP) =>
контейнеры (начиная с chroot) -> усиленная контейнеризация - привёл к
тому, что все BSD были выкошены с этого, самого бурного и активного,
рынка. Как BSD выехали на новом рынке за счёт того, что у них сеть
работала лучше конкурентов и не требовала лицензий и прочих извратов -
так на следующем новом рынке они и потеряли первенство, отстав реально
на десятилетие.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

29.06.2022 16:52, Taras Heichenko пишет:
> 
> 
>> On 29 Jun 2022, at 12:44, Eugene Grosbein  wrote:
>>
>> 29.06.2022 12:53, Taras Heichenko пишет:
>>
>> Насколько я ничего не понимаю, всего хватает.
>> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый 
>> userland в jail,
>> включая Docker. Сам не пробовал.
>
> Вот здесь возникает вопрос: а зачем там собственно фря?

 Фря может исполнять фрёвый софт параллельно с линуксовым jail.
>>>
>>> Да, конечно. Но это не промышленное решение.
>>
>> А причем тут промышленное решение?
> 
> Это игрушка или инструмент?

Это база для.




___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Mykola Dzham]

> On 29 Jun 2022, at 10:56, Valentin Nechayev  wrote:
> 
> hi,
> 
> Wed, Jun 29, 2022 at 10:05:47, i wrote about "Re: [freebsd] AWS Tech 
> Conference": 
> 
>>> 2. своё пространство pidʼов
>> 
>> Похоже что нету, но на самом деле не очень то и надо - вообще то pid-ы 
>> изнутри docker контейнеров тоже прекрасно видны на host системе.
> 
> Во-первых, видны, но под своими номерами. В контейнере иерархия
> строится от pid=1, дальше последовательно 2, 3 и так далее, а у хоста
> они видны иначе. Вот я заглянул execʼом в контейнер:
> 
> / # ps ax
> PID   USER TIME  COMMAND
>1 root  0:00 sleep 3600
>   10 root  0:00 /bin/sh
>   15 root  0:00 ps ax
> 
> А вот я смотрю на то же самое из хост-системы:
> 
> 4037136 ?Sl 0:00 /usr/bin/containerd-shim-runc-v2 -namespace moby 
> -i
> d cc8eb0bd81e855e58132d5db46ae35a534bf746abeb6fd4d8e20459ae683b47a -address 
> /var
> /run/docker/containerd/containerd.sock
> 4037157 ?Ss 0:00  \_ sleep 3600
> 4042116 pts/0Ss+0:00  \_ /bin/sh
> 
> Во-вторых, эта видимость односторонняя (ещё бы).
> 
> (Вот что плохо, что соответствие pidʼов хоста и контейнера надо искать кривыми
> путями. Видимо, обычно мало кому нужно.)

Виноват, в спешке думал об UID-ах. Да, такого нету. Насколько это критично не 
знаю. В общем не должно, но уверен что есть куча мест, которые ожидают первый 
процесс в контейнере имеет pid=1 и сломаются если это будет не так.

>>> 3. шейперы разных шедулеров (CPU, IO, память) и пространства учёта
>> 
>> Есть через rctl, который умеет дружить с jail: 
>> https://docs.freebsd.org/doc/9.2-RELEASE/usr/share/doc/freebsd/handbook/security-resourcelimits.html
> 
> Жестковато и неиерархично, но для начала сойдёт.
> 
>> Частично есть: cpuset.id в jail(8). Но на самом деле не так часто 
>> используется в K8s.
> 
> Где как... мы сейчас в контейнерах привязываемся через DPDK к сетевым
> интерфейсам, там это критично.
> 
>> Повторюсь: большинство необходимых компонент есть, а чего нету, то можно 
>> доделать и/или не так уже и критично на самом деле.
> 
> Я вообще-то не утверждал, что его нет :)
> я говорил, что для полноценного контейнера нужно много больше, чем те 2-3
> пункта, что привёл Евгений.
> Это сейчас мы уже перешли к конкретным пунктам, есть или нет, и как именно.
> 
>> Причём много этого всего есть задолго до того, как оно появилось в linux.
> 
> Ой я бы не спешил с подобными историческими выводами:)

Всё началось где-то в 2006-м году, когда Google надоело поддерживать внутреннее 
глубоко кастомное ядро, и они опубликовали свои разработки для Borg, которые 
теперь известны как cgroups.
До этого все в линукс мире верили “фигня эти ваши jail-ы, будущее за 
виртаулизацией”.
Но это не принципиально для вопроса.

>> Только никто не будет это всё ручками лепить докучи. Надо чтобы всё это было
> слеплено в стандартизированный СRI. И вот этого нету.
> 
> Да, похоже на то.
> 
> 
> -netch-

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 29 Jun 2022, at 12:44, Eugene Grosbein  wrote:
> 
> 29.06.2022 12:53, Taras Heichenko пишет:
> 
> Насколько я ничего не понимаю, всего хватает.
> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland 
> в jail,
> включая Docker. Сам не пробовал.
 
 Вот здесь возникает вопрос: а зачем там собственно фря?
>>> 
>>> Фря может исполнять фрёвый софт параллельно с линуксовым jail.
>> 
>> Да, конечно. Но это не промышленное решение.
> 
> А причем тут промышленное решение?

Это игрушка или инструмент? Если игрушка – окей. Если инструмент, то без 
промышленных решений этот
инструмент будет жить плохо.

> Промышленное решение это совсем отдельная тема,
> ей больше место в портах или пакетах. Насколько я слышал, такое решение 
> предлагает sysutils/cbsd,
> или как минимум активно движется в ту сторону. Можно спросить у 
> olev...@olevole.ru,
> он есть в телеграмм-чате @freebsd_ru
> 
> 
> 
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 29 Jun 2022, at 11:09, Mykola Dzham  wrote:
> 
> 
> 
>> On 28 Jun 2022, at 14:58, Taras Heichenko  wrote:
>> 
>> 
>> 
>>> On 28 Jun 2022, at 00:14, Eugene Grosbein  wrote:
>>> 
>>> On 27.06.2022 15:36, Valentin Nechayev wrote:
>>>> hi,
>>>> 
>>>> Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] 
>>>> AWS Tech Conference": 
>>>> 
>>>> Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
>>>> FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
>>>> аналог).
>>> 
>>> Насколько я ничего не понимаю, всего хватает.
>>> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
>>> jail,
>>> включая Docker. Сам не пробовал.
>> 
>> Вот здесь возникает вопрос: а зачем там собственно фря?
> 
> Фря была бы очень неплохим хостом гонять контейнеры:
> очень небольшая базовая система, нормальная поддержка zfs (включая загрузку с 
> любых пуллов), фаерволл, который можно понять мозгами.
> 
> Но для этого всего фря должна предоставлять стандартизированный интерфейс, 
> чтобы её можно было легко поставить не меняя всё и вся.

+ фря должна лучше шевелиться с поддержкой всякого железа, особенно свеженького.

> 
>>>> Если оно есть, можно её рекламировать в плане, например, "у нас то
>>>> же самое, но линуксовый вирус не сработает". Если нет - то понимать,
>>>> чего именно не хватает.
>>>> Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
>>>> чего нет.
>>> 
>>> Jail это chroot плюс опционально виртуализированный сетевой стек
>>> плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже 
>>> близко,
>>> для этого bhyve.
>>> ___
>>> freebsd mailing list
>>> freebsd@uafug.org.ua
>>> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
>> 
>> --
>> Taras Heichenko
>> ta...@academ.kiev.ua
>> 
>> 
>> 
>> 
>> 
>> ___
>> freebsd mailing list
>> freebsd@uafug.org.ua
>> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

29.06.2022 15:11, Mykola Dzham пишет:

>>> 6. идентификация ядра (ответ на uname)
>>
>> Сразу нет. Всё-таки jail это клетки над общим ядром.
> 
> Эм
> 
> jail(8);
> 
>>  osrelease
>>  The string for the jail's kern.osrelease sysctl and uname -r.
>>
>>  osreldate
>>  The number for the jail's kern.osreldate and uname -K.

И что? Их можно в /etc/profile прописать даже. Это просто обманка.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

29.06.2022 12:53, Taras Heichenko пишет:

 Насколько я ничего не понимаю, всего хватает.
 В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland 
 в jail,
 включая Docker. Сам не пробовал.
>>>
>>> Вот здесь возникает вопрос: а зачем там собственно фря?
>>
>> Фря может исполнять фрёвый софт параллельно с линуксовым jail.
> 
> Да, конечно. Но это не промышленное решение.

А причем тут промышленное решение? Промышленное решение это совсем отдельная 
тема,
ей больше место в портах или пакетах. Насколько я слышал, такое решение 
предлагает sysutils/cbsd,
или как минимум активно движется в ту сторону. Можно спросить у 
olev...@olevole.ru,
он есть в телеграмм-чате @freebsd_ru




___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Slawa Olhovchenkov]

On Tue, Jun 28, 2022 at 02:32:11PM +0300, Valentin Nechayev wrote:

> > Насколько я ничего не понимаю, всего хватает.
> > В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
> > jail,
> > включая Docker. Сам не пробовал.
> 
> Звучит хорошо, но наличие нативного было бы лучше. Серьёзно, лозунг
> типа "вы не заметите разницы для своего любимого кубера" тут бы что-то
> дал.

разумеется это невозможно.
просто потому что на данный момент докер -- это пребилденные бинари
для линуха, завязанные на всякое линукс-онли.

даже если всё перебилдить (а откуда ресурсы?) там в скриптах
линуксизмов до дури.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

hi,

 Wed, Jun 29, 2022 at 10:05:47, i wrote about "Re: [freebsd] AWS Tech 
Conference": 

> > 2. своё пространство pidʼов
> 
> Похоже что нету, но на самом деле не очень то и надо - вообще то pid-ы 
> изнутри docker контейнеров тоже прекрасно видны на host системе.

Во-первых, видны, но под своими номерами. В контейнере иерархия
строится от pid=1, дальше последовательно 2, 3 и так далее, а у хоста
они видны иначе. Вот я заглянул execʼом в контейнер:

/ # ps ax
PID   USER TIME  COMMAND
1 root  0:00 sleep 3600
   10 root  0:00 /bin/sh
   15 root  0:00 ps ax

А вот я смотрю на то же самое из хост-системы:

4037136 ?Sl 0:00 /usr/bin/containerd-shim-runc-v2 -namespace moby -i
d cc8eb0bd81e855e58132d5db46ae35a534bf746abeb6fd4d8e20459ae683b47a -address /var
/run/docker/containerd/containerd.sock
4037157 ?Ss 0:00  \_ sleep 3600
4042116 pts/0Ss+0:00  \_ /bin/sh

Во-вторых, эта видимость односторонняя (ещё бы).

(Вот что плохо, что соответствие pidʼов хоста и контейнера надо искать кривыми
путями. Видимо, обычно мало кому нужно.)

> > 3. шейперы разных шедулеров (CPU, IO, память) и пространства учёта
> 
> Есть через rctl, который умеет дружить с jail: 
> https://docs.freebsd.org/doc/9.2-RELEASE/usr/share/doc/freebsd/handbook/security-resourcelimits.html

Жестковато и неиерархично, но для начала сойдёт.

> Частично есть: cpuset.id в jail(8). Но на самом деле не так часто 
> используется в K8s.

Где как... мы сейчас в контейнерах привязываемся через DPDK к сетевым
интерфейсам, там это критично.

> Повторюсь: большинство необходимых компонент есть, а чего нету, то можно 
> доделать и/или не так уже и критично на самом деле.

Я вообще-то не утверждал, что его нет :)
я говорил, что для полноценного контейнера нужно много больше, чем те 2-3
пункта, что привёл Евгений.
Это сейчас мы уже перешли к конкретным пунктам, есть или нет, и как именно.

> Причём много этого всего есть задолго до того, как оно появилось в linux.

Ой я бы не спешил с подобными историческими выводами:)

> Только никто не будет это всё ручками лепить докучи. Надо чтобы всё это было
слеплено в стандартизированный СRI. И вот этого нету.

Да, похоже на то.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Mykola Dzham]

> On 28 Jun 2022, at 21:56, Eugene Grosbein  wrote:
> 
> On 28.06.2022 18:32, Valentin Nechayev wrote:
>> hi,
>> 
>> Tue, Jun 28, 2022 at 04:14:26, eugen wrote about "Re: [freebsd] AWS Tech 
>> Conference": 
>> 
>>> Jail это chroot плюс опционально виртуализированный сетевой стек
>>> плюс запрет руту из клетки влиять на хост.
>> 
>> Судя по тому, что можно видеть в комплекте всяких cgroup, в опциях
>> clone и так далее, параметров сильно больше:
> 
> Придумать можно неограниченное число параметров,
> но перечисленное ниже явно не про jail.
> 
>> 6. идентификация ядра (ответ на uname)
> 
> Сразу нет. Всё-таки jail это клетки над общим ядром.

Эм

jail(8);

>  osrelease
>  The string for the jail's kern.osrelease sysctl and uname -r.
> 
>  osreldate
>  The number for the jail's kern.osreldate and uname -K.
> 
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Mykola Dzham]

> On 28 Jun 2022, at 14:58, Taras Heichenko  wrote:
> 
> 
> 
>> On 28 Jun 2022, at 00:14, Eugene Grosbein  wrote:
>> 
>> On 27.06.2022 15:36, Valentin Nechayev wrote:
>>> hi,
>>> 
>>> Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] 
>>> AWS Tech Conference": 
>>> 
>>> Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
>>> FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
>>> аналог).
>> 
>> Насколько я ничего не понимаю, всего хватает.
>> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
>> jail,
>> включая Docker. Сам не пробовал.
> 
> Вот здесь возникает вопрос: а зачем там собственно фря?

Фря была бы очень неплохим хостом гонять контейнеры:
очень небольшая базовая система, нормальная поддержка zfs (включая загрузку с 
любых пуллов), фаерволл, который можно понять мозгами.

Но для этого всего фря должна предоставлять стандартизированный интерфейс, 
чтобы её можно было легко поставить не меняя всё и вся.

>>> Если оно есть, можно её рекламировать в плане, например, "у нас то
>>> же самое, но линуксовый вирус не сработает". Если нет - то понимать,
>>> чего именно не хватает.
>>> Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
>>> чего нет.
>> 
>> Jail это chroot плюс опционально виртуализированный сетевой стек
>> плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже близко,
>> для этого bhyve.
>> ___
>> freebsd mailing list
>> freebsd@uafug.org.ua
>> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
> 
> --
> Taras Heichenko
> ta...@academ.kiev.ua
> 
> 
> 
> 
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Mykola Dzham]

> On 28 Jun 2022, at 13:32, Valentin Nechayev  wrote:
> 
> hi,
> 
> Tue, Jun 28, 2022 at 04:14:26, eugen wrote about "Re: [freebsd] AWS Tech 
> Conference": 
> 
>> Jail это chroot плюс опционально виртуализированный сетевой стек
>> плюс запрет руту из клетки влиять на хост.
> 
> Судя по тому, что можно видеть в комплекте всяких cgroup, в опциях
> clone и так далее, параметров сильно больше:
> 1. chroot (уже сказано)

Всегда было в jail

> 2. своё пространство pidʼов

Похоже что нету, но на самом деле не очень то и надо - вообще то pid-ы изнутри 
docker контейнеров тоже прекрасно видны на host системе.

> 3. шейперы разных шедулеров (CPU, IO, память) и пространства учёта

Есть через rctl, который умеет дружить с jail: 
https://docs.freebsd.org/doc/9.2-RELEASE/usr/share/doc/freebsd/handbook/security-resourcelimits.html

> 4. ограничения на набор допустимых устройств (тех что в /dev)

Давно есть: devfs_ruleset в jail(8)

> 5. сетевой стек (инстанс, интерфейсы)

Есть: vnet в jail(8)

> 6. идентификация ядра (ответ на uname)

Частично есть: osrelease, osreldate в jail(8)

> 7. отдельное пространство IPC (если не сделано через FS)

Вроде достаточно давно уже отдельное в jail

> 8. CPU affinity (ограничение сверху и возможно маппинг)

Частично есть: cpuset.id в jail(8). Но на самом деле не так часто используется 
в K8s.

> 9. таки да, запрет "влиять на хост", и это может быть сложно (что
> можно монтировать, а что нет)
> И это я наверняка мог ещё что-то потерять (если заглянуть в
> /proc/cgroup в podʼе под k8s, видны hugetlb и какой-то freezer).
> 
> В принципе повторить всё это не проблема, но конкретный механизм...


Повторюсь: большинство необходимых компонент есть, а чего нету, то можно 
доделать и/или не так уже и критично на самом деле.
Причём много этого всего есть задолго до того, как оно появилось в linux.
Только никто не будет это всё ручками лепить докучи. Надо чтобы всё это было 
слеплено в стандартизированный СRI. И вот этого нету.

>> Не виртуальная машина даже близко,
>> для этого bhyve.
> 
> Кэп:)
> 
>> Насколько я ничего не понимаю, всего хватает.
>> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
>> jail,
>> включая Docker. Сам не пробовал.
> 
> Звучит хорошо, но наличие нативного было бы лучше. Серьёзно, лозунг
> типа "вы не заметите разницы для своего любимого кубера" тут бы что-то
> дал.
> 
> 
> -netch-
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 28 Jun 2022, at 23:16, Eugene Grosbein  wrote:
> 
> On 28.06.2022 19:58, Taras Heichenko wrote:
> 
>>> Насколько я ничего не понимаю, всего хватает.
>>> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
>>> jail,
>>> включая Docker. Сам не пробовал.
>> 
>> Вот здесь возникает вопрос: а зачем там собственно фря?
> 
> Фря может исполнять фрёвый софт параллельно с линуксовым jail.

Да, конечно. Но это не промышленное решение. Т.е. да, можно запускать там 
линух, а там докер. А рядом
еще маленький свечной заводик под фрей. И я даже готов согласиться, что в 
некоторых случаях это действительно
нужно и удобно. Беда в том, что случаи действительно _некоторые_. Это не 
промышленное решение. Чем хороши
докер с кубернетисом – подготовил нужные докер контейнеры, пристроил над этим 
всем кубернетис, и в таком виде
сравнительно просто управлять кучей инстансов. Легко добавлять, если нужно, 
понижать количество, если не
нужно, перемещать и т.д. Т.е. это уже где-то от массового обслуживания. Докеры 
с кубернетисами имеют свои
недостатки, с которыми можно мириться ради тех преимуществ, которые они дают. А 
в таком виде – докеры под
линуховым userland в jail я преимуществ как-то не особо. Т.е. это хорошо, что 
оно есть, но это куда-то не туда IMO.

> 
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

On 28.06.2022 19:58, Taras Heichenko wrote:

>> Насколько я ничего не понимаю, всего хватает.
>> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
>> jail,
>> включая Docker. Сам не пробовал.
> 
> Вот здесь возникает вопрос: а зачем там собственно фря?

Фря может исполнять фрёвый софт параллельно с линуксовым jail.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

On 28.06.2022 18:32, Valentin Nechayev wrote:
> hi,
> 
>  Tue, Jun 28, 2022 at 04:14:26, eugen wrote about "Re: [freebsd] AWS Tech 
> Conference": 
> 
>> Jail это chroot плюс опционально виртуализированный сетевой стек
>> плюс запрет руту из клетки влиять на хост.
> 
> Судя по тому, что можно видеть в комплекте всяких cgroup, в опциях
> clone и так далее, параметров сильно больше:

Придумать можно неограниченное число параметров,
но перечисленное ниже явно не про jail.

> 6. идентификация ядра (ответ на uname)

Сразу нет. Всё-таки jail это клетки над общим ядром.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 28 Jun 2022, at 00:14, Eugene Grosbein  wrote:
> 
> On 27.06.2022 15:36, Valentin Nechayev wrote:
>> hi,
>> 
>> Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] 
>> AWS Tech Conference": 
>> 
>> Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
>> FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
>> аналог).
> 
> Насколько я ничего не понимаю, всего хватает.
> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
> jail,
> включая Docker. Сам не пробовал.

Вот здесь возникает вопрос: а зачем там собственно фря?

> 
>> Если оно есть, можно её рекламировать в плане, например, "у нас то
>> же самое, но линуксовый вирус не сработает". Если нет - то понимать,
>> чего именно не хватает.
>> Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
>> чего нет.
> 
> Jail это chroot плюс опционально виртуализированный сетевой стек
> плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже близко,
> для этого bhyve.
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

hi,

 Tue, Jun 28, 2022 at 04:14:26, eugen wrote about "Re: [freebsd] AWS Tech 
Conference": 

> Jail это chroot плюс опционально виртуализированный сетевой стек
> плюс запрет руту из клетки влиять на хост.

Судя по тому, что можно видеть в комплекте всяких cgroup, в опциях
clone и так далее, параметров сильно больше:
1. chroot (уже сказано)
2. своё пространство pidʼов
3. шейперы разных шедулеров (CPU, IO, память) и пространства учёта
4. ограничения на набор допустимых устройств (тех что в /dev)
5. сетевой стек (инстанс, интерфейсы)
6. идентификация ядра (ответ на uname)
7. отдельное пространство IPC (если не сделано через FS)
8. CPU affinity (ограничение сверху и возможно маппинг)
9. таки да, запрет "влиять на хост", и это может быть сложно (что
можно монтировать, а что нет)
И это я наверняка мог ещё что-то потерять (если заглянуть в
/proc/cgroup в podʼе под k8s, видны hugetlb и какой-то freezer).

В принципе повторить всё это не проблема, но конкретный механизм...

> Не виртуальная машина даже близко,
> для этого bhyve.

Кэп:)

> Насколько я ничего не понимаю, всего хватает.
> В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
> jail,
> включая Docker. Сам не пробовал.

Звучит хорошо, но наличие нативного было бы лучше. Серьёзно, лозунг
типа "вы не заметите разницы для своего любимого кубера" тут бы что-то
дал.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

On 28.06.2022 13:33, Vladimir Sharun wrote:
> Привет,
> 
> Jail это chroot плюс опционально виртуализированный сетевой стек
> плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже 
> близко,
> для этого bhyve.
> 
> 
> Чуть больше:
> 
>   * процессы работают в собственном jailspace назовем его так, которые 
> грохаются вместе с jail

В клетке они работают, понятия jailspace я не видел. Разумеется, убиваются при 
уничтожении клетки,
но убийство группы или групп процессов не уникальная фича для jail :-) Просто 
удобно убивать пачку
возможно неродственных процессов, согласен.

>   * affinity

Process affinity уж точно не уникальная фича клеток, cpuset универсален.

>   * Limit the number of commands from exec.*

Это о чём?

>   * Следующие sysctl'ки дают приблизительный обзор ограничений:
> 
> 
> security.bsd.see_jail_proc: 1
> security.jail.mount_tmpfs_allowed: 0
> security.jail.mount_zfs_allowed: 0
> security.jail.mount_procfs_allowed: 0
> security.jail.mount_devfs_allowed: 0
> security.jail.param.sysvshm.: 0
> security.jail.param.sysvsem.: 0
> security.jail.param.sysvmsg.: 0
> security.jail.param.allow.mount.tmpfs: 0
> security.jail.param.allow.mount.zfs: 0
> security.jail.param.allow.mount.procfs: 0
> security.jail.param.allow.mount.devfs: 0
> security.jail.param.allow.mount.: 0
> security.jail.param.allow.suser: 0
> security.jail.param.allow.unprivileged_proc_debug: 0
> security.jail.param.allow.read_msgbuf: 0
> security.jail.param.allow.reserved_ports: 0
> security.jail.param.allow.mlock: 0
> security.jail.param.allow.socket_af: 0
> security.jail.param.allow.quotas: 0
> security.jail.param.allow.chflags: 0
> security.jail.param.allow.raw_sockets: 0
> security.jail.param.allow.sysvipc: 0
> security.jail.param.allow.set_hostname: 0
> security.jail.param.ip6.saddrsel: 0
> security.jail.param.ip6.: 0
> security.jail.param.ip4.saddrsel: 0
> security.jail.param.ip4.: 0
> security.jail.param.cpuset.id: 0
> security.jail.param.host.hostid: 0
> security.jail.param.host.hostuuid: 64
> security.jail.param.host.domainname: 256
> security.jail.param.host.hostname: 256
> security.jail.param.host.: 0
> security.jail.param.children.max: 0
> security.jail.param.children.cur: 0
> security.jail.param.dying: 0
> security.jail.param.vnet: 0
> security.jail.param.persist: 0
> security.jail.param.devfs_ruleset: 0
> security.jail.param.enforce_statfs: 0
> security.jail.param.osrelease: 32
> security.jail.param.osreldate: 0
> security.jail.param.securelevel: 0
> security.jail.param.path: 1024
> security.jail.param.name: 256
> security.jail.param.parent: 0
> security.jail.param.jid: 0
> security.jail.devfs_ruleset: 0
> security.jail.enforce_statfs: 2
> security.jail.mount_allowed: 0
> security.jail.chflags_allowed: 0
> security.jail.allow_raw_sockets: 0
> security.jail.sysvipc_allowed: 0
> security.jail.socket_unixiproute_only: 1
> security.jail.set_hostname_allowed: 1
> security.jail.jail_max_af_ips: 255
> security.jail.vnet: 0

Это уже пошла детализация того же, о чем я упомянул, про ограничение влияния на 
хост (и на соседнией jail тоже).
Плюс ещё Mandatory Access Control (MAC) тоже может влиять на клетки.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Vladimir Sharun]

Привет,

Jail это chroot плюс опционально виртуализированный сетевой стек
плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже близко,
для этого bhyve. 
Чуть больше:
процессы работают в собственном jailspace назовем его так, которые грохаются 
вместе с jail
affinity
Limit the number of commands from exec.* Следующие sysctl'ки дают 
приблизительный обзор ограничений:

security.bsd.see_jail_proc: 1
security.jail.mount_tmpfs_allowed: 0
security.jail.mount_zfs_allowed: 0
security.jail.mount_procfs_allowed: 0
security.jail.mount_devfs_allowed: 0
security.jail.param.sysvshm.: 0
security.jail.param.sysvsem.: 0
security.jail.param.sysvmsg.: 0
security.jail.param.allow.mount.tmpfs: 0
security.jail.param.allow.mount.zfs: 0
security.jail.param.allow.mount.procfs: 0
security.jail.param.allow.mount.devfs: 0
security.jail.param.allow.mount.: 0
security.jail.param.allow.suser: 0
security.jail.param.allow.unprivileged_proc_debug: 0
security.jail.param.allow.read_msgbuf: 0
security.jail.param.allow.reserved_ports: 0
security.jail.param.allow.mlock: 0
security.jail.param.allow.socket_af: 0
security.jail.param.allow.quotas: 0
security.jail.param.allow.chflags: 0
security.jail.param.allow.raw_sockets: 0
security.jail.param.allow.sysvipc: 0
security.jail.param.allow.set_hostname: 0
security.jail.param.ip6.saddrsel: 0
security.jail.param.ip6.: 0
security.jail.param.ip4.saddrsel: 0
security.jail.param.ip4.: 0
security.jail.param.cpuset.id: 0
security.jail.param.host.hostid: 0
security.jail.param.host.hostuuid: 64
security.jail.param.host.domainname: 256
security.jail.param.host.hostname: 256
security.jail.param.host.: 0
security.jail.param.children.max: 0
security.jail.param.children.cur: 0
security.jail.param.dying: 0
security.jail.param.vnet: 0
security.jail.param.persist: 0
security.jail.param.devfs_ruleset: 0
security.jail.param.enforce_statfs: 0
security.jail.param.osrelease: 32
security.jail.param.osreldate: 0
security.jail.param.securelevel: 0
security.jail.param.path: 1024
security.jail.param.name: 256
security.jail.param.parent: 0
security.jail.param.jid: 0
security.jail.devfs_ruleset: 0
security.jail.enforce_statfs: 2
security.jail.mount_allowed: 0
security.jail.chflags_allowed: 0
security.jail.allow_raw_sockets: 0
security.jail.sysvipc_allowed: 0
security.jail.socket_unixiproute_only: 1
security.jail.set_hostname_allowed: 1
security.jail.jail_max_af_ips: 255
security.jail.vnet: 0


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Eugene Grosbein]

On 27.06.2022 15:36, Valentin Nechayev wrote:
> hi,
> 
>  Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] 
> AWS Tech Conference": 
> 
> Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
> FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
> аналог).

Насколько я ничего не понимаю, всего хватает.
В 13.1 допилили LinuxKPI, чтобы запускать современный линуксовый userland в 
jail,
включая Docker. Сам не пробовал.

> Если оно есть, можно её рекламировать в плане, например, "у нас то
> же самое, но линуксовый вирус не сработает". Если нет - то понимать,
> чего именно не хватает.
> Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
> чего нет.

Jail это chroot плюс опционально виртуализированный сетевой стек
плюс запрет руту из клетки влиять на хост. Не виртуальная машина даже близко,
для этого bhyve.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 27 Jun 2022, at 11:45, Vladimir Sharun  wrote:
> 
> Привет,
> 
> Ну слушай, Jail'ы ж первые (читай - контейнеры, докер) сделали в FreeBSD в 
> 2000м вроде. Уровень изоляции - lxc-like где-то больше, где-то меньше.
> 
> То, что не была сделана система оркестрации - шайсе, ага. Т.е. фреймоврк 
> дали, а дальше вы уж как-то сами. Те, кто делал jail'ы в курсе, что можно 
> канеш руками, но это ой нелегко. Регистри нужен локальный для контейнеров, 
> версии, тэги. Ничего этого нет, но можно, zfs жыш. Матрица совместимости 
> версий контейнеров.
> 
> В Terraform'е есть плагин для jail'ов, т.е. половину работы к8с можно сделать 
> через терраформ (IaaC), вопрос что делать с ингресс контроллерами, лоад 
> балансерами, которые уже есть в к8с нативно. А какой там metallb офигенный, а 
> ? Мы это по привычке скриптами, скриптами, makefile'ами, а в к8с хоба и 
> готово и надолго.

Это штучная работа. Для этого нужны дорогие сисадмины. С исчезающей 
квалификацией. У AWS, GCP и прочих азуров тоже не все в ажуре, но там массовое 
обслуживание, и не нужно очень уж квалифицированного админа, чтобы оно работало.

> 
> 
> 27 червня 2022, 11:37:00, від "Valentin Nechayev" :
> 
> hi,
> 
>  Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] 
> AWS Tech Conference": 
> 
> Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
> FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
> аналог).
> Если оно есть, можно её рекламировать в плане, например, "у нас то
> же самое, но линуксовый вирус не сработает". Если нет - то понимать,
> чего именно не хватает.
> Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
> чего нет.
> На следующем этапе Kubernetes (причём с плагинами типа Multus CNI). А
> то с одной стороны хороший уровень сетевых возможностей, а с другой -
> фиг их кто применит.
> 
> > AWS - это в западном мире настоящее, для нас - ближайшее будущее, в
> > которое через весьма короткое время консалтинг твоего работодателя
> > попросит телепортироваться.
> 
> Совершенно не обязательно AWS. Где-то Azure, прости господи, где-то
> Google Cloud... Но в общем, да, какое-то облако сейчас обязательно
> хотя бы к пониманию, как на нём быстро что-то запустить.
> 
> > Там весьма полезные концепты, которых у FreeBSD natively нет. Но
> > есть повод задуматься.
> 
> Вот кто бы это 20 лет назад начал полноценно делать...
> 
> 
> -netch-
> 
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 27 Jun 2022, at 11:36, Valentin Nechayev  wrote:
> 
> hi,
> 
>> Там весьма полезные концепты, которых у FreeBSD natively нет. Но
>> есть повод задуматься.
> 
> Вот кто бы это 20 лет назад начал полноценно делать...

К сожалению, фря всегда отставала используемостью от линуха. В силу объективных 
причин – как минимум меньшее коммьюнити. В начале нулевых уже были проблемы 
поставить фрю на блейд, потому как блейд был соединен с дисковым массивом 
оптикой, под которую у фри тупо не было драйвера. Мне очень жаль, мне фря 
нравится больше, но она тупо отстает от современных тенденций, и отставание это 
не уменьшается.

> 
> 
> -netch-
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Taras Heichenko]

> On 27 Jun 2022, at 11:18, Vladimir Sharun  wrote:
> 
> Привет,
> 
> AWS - это в западном мире настоящее, для нас - ближайшее будущее, в которое 
> через весьма короткое время консалтинг твоего работодателя попросит 
> телепортироваться.

Не знаю, для кого оно тут будущее. Оно и тут настоящее, иногда даже прошлое. На 
этом народ работает вовсю – чего тут будущего?

> 
> Вот эти вот все cloud native, простейшие сайты визитки на лямбде и т.п. То, 
> что будет урезать в деньгах и увольнять freebsd админов.
> 
> Полезно хотя бы знать/видеть чо там как внутри, включая обязаловку IaaC и 
> Terraform-like жизни.
> 
> Там весьма полезные концепты, которых у FreeBSD natively нет. Но есть повод 
> задуматься.
> 
> 27 червня 2022, 11:06:04, від "Владимир Друзенко via freebsd" 
> :
> 
> 27.06.2022 09:12, Vladimir Sharun пишет:
>> Привет,
>> 
>> Начнешь работу искать, сразу поймешь какое это имеет отношение к -.
>> 
>> 26 червня 2022, 23:40:30, від "Владимир Друзенко via freebsd" 
>> :
>> 
>> 26.06.2022 23:26, Катерина Кучернюк пишет:
>>> 30 червня AWS User Group Ukraine організовує AWS Tech Conference 
>>> #StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь безкоштовно: 
>>> https://bit.ly/3nif2Cp
>>> 
>> Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?
> 
> Это повод любой спам с предложением работы или каких-то технологий допускать 
> в тематическую рассылку?
> Ни одного доклада с упоминанием FreeBSD беглым поиском не нашёл - если такие 
> есть, то хотелось на них взглянуть. Собственно об этом и был мой вопрос.
> А так мне отдельно падает всякий подобный спам от прочих вендоров (IBM, 
> Oracle, и т.д.) - разве ему место тут?
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

--
Taras Heichenko
ta...@academ.kiev.ua





___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Mykola Dzham]

> On 27 Jun 2022, at 10:36, Valentin Nechayev  wrote:
> 
> hi,
> 
> Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] AWS 
> Tech Conference": 
> 
> Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
> FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
> аналог).

Не хватает чтобы всё было собрано до кучи, в идеале предоставляя 
стандартизированный Container Runtime Interface
 
> Если оно есть, можно её рекламировать в плане, например, "у нас то
> же самое, но линуксовый вирус не сработает". Если нет - то понимать,
> чего именно не хватает.
> Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
> чего нет.

Компоненты то вроде как все более-менее есть: jail, vnet, unionfs, linux abi … 
Вот только попытки собрать это всё вместе так и не были доведены до конца.

> На следующем этапе Kubernetes (причём с плагинами типа Multus CNI). А
> то с одной стороны хороший уровень сетевых возможностей, а с другой -
> фиг их кто применит.

CNI Как по мне это уже потом и не так важно: большинство вполне устраивает 
минимальных возможностей СNI.
Но пока нету СRI, нету ничего.

>> AWS - это в западном мире настоящее, для нас - ближайшее будущее, в
>> которое через весьма короткое время консалтинг твоего работодателя
>> попросит телепортироваться.
> 
> Совершенно не обязательно AWS. Где-то Azure, прости господи, где-то
> Google Cloud... Но в общем, да, какое-то облако сейчас обязательно
> хотя бы к пониманию, как на нём быстро что-то запустить.

А где-то Bare metal on prem K8s. Не так много так как мало кто умеет, но 
потенциальный рынок огромен - AWS стрижёт клиентов безбожно в том числе 
благодаря тому, что мало кто умеет собрать это всё сам.

>> Там весьма полезные концепты, которых у FreeBSD natively нет. Но
>> есть повод задуматься.
> 
> Вот кто бы это 20 лет назад начал полноценно делать...
> 
> 
> -netch-
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Vladimir Sharun]

Привет,

Ну слушай, Jail'ы ж первые (читай - контейнеры, докер) сделали в FreeBSD в 
2000м вроде. Уровень изоляции - lxc-like где-то больше, где-то меньше.

То, что не была сделана система оркестрации - шайсе, ага. Т.е. фреймоврк дали, 
а дальше вы уж как-то сами. Те, кто делал jail'ы в курсе, что можно канеш 
руками, но это ой нелегко. Регистри нужен локальный для контейнеров, версии, 
тэги. Ничего этого нет, но можно, zfs жыш. Матрица совместимости версий 
контейнеров.

В Terraform'е есть плагин для jail'ов, т.е. половину работы к8с можно сделать 
через терраформ (IaaC), вопрос что делать с ингресс контроллерами, лоад 
балансерами, которые уже есть в к8с нативно. А какой там metallb офигенный, а ? 
Мы это по привычке скриптами, скриптами, makefile'ами, а в к8с хоба и готово и 
надолго.


27 червня 2022, 11:37:00, від "Valentin Nechayev" :

hi,

 Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] AWS 
Tech Conference": 

Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
аналог).
Если оно есть, можно её рекламировать в плане, например, "у нас то
же самое, но линуксовый вирус не сработает". Если нет - то понимать,
чего именно не хватает.
Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
чего нет.
На следующем этапе Kubernetes (причём с плагинами типа Multus CNI). А
то с одной стороны хороший уровень сетевых возможностей, а с другой -
фиг их кто применит.

> AWS - это в западном мире настоящее, для нас - ближайшее будущее, в
> которое через весьма короткое время консалтинг твоего работодателя
> попросит телепортироваться.

Совершенно не обязательно AWS. Где-то Azure, прости господи, где-то
Google Cloud... Но в общем, да, какое-то облако сейчас обязательно
хотя бы к пониманию, как на нём быстро что-то запустить.

> Там весьма полезные концепты, которых у FreeBSD natively нет. Но
> есть повод задуматься.

Вот кто бы это 20 лет назад начал полноценно делать...


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

hi,

 Mon, Jun 27, 2022 at 11:18:53, vladimir.sharun wrote about "Re: [freebsd] AWS 
Tech Conference": 

Вообще хотелось бы увидеть актуальную сводку "чего именно сейчас в
FreeBSD не хватает, чтобы запустить Docker" (ну или его полноценный
аналог).
Если оно есть, можно её рекламировать в плане, например, "у нас то
же самое, но линуксовый вирус не сработает". Если нет - то понимать,
чего именно не хватает.
Я уровня изоляции в jail уже не понимаю совсем, что именно там есть,
чего нет.
На следующем этапе Kubernetes (причём с плагинами типа Multus CNI). А
то с одной стороны хороший уровень сетевых возможностей, а с другой -
фиг их кто применит.

> AWS - это в западном мире настоящее, для нас - ближайшее будущее, в
> которое через весьма короткое время консалтинг твоего работодателя
> попросит телепортироваться.

Совершенно не обязательно AWS. Где-то Azure, прости господи, где-то
Google Cloud... Но в общем, да, какое-то облако сейчас обязательно
хотя бы к пониманию, как на нём быстро что-то запустить.

> Там весьма полезные концепты, которых у FreeBSD natively нет. Но
> есть повод задуматься.

Вот кто бы это 20 лет назад начал полноценно делать...


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Vladimir Sharun]

Привет,

Для того чтобы смигрироваться с AWS (на FreeBSD) как минимум надо увидеть 
инвентори и понять/знать как оно работает.


27 червня 2022, 11:29:55, від "Mykola Dzham" :

Мой “западный” работодатель очень сильно заинтересован в миграции с AWS на on 
prem K8s. Чем я, собственно, сейчас и занимаюсь.
Только это никак не оправдывает оффтопик и тем более хамство в рассылке.

> On 27 Jun 2022, at 10:18, Vladimir Sharun  wrote:
> 
> Привет,
> 
> AWS - это в западном мире настоящее, для нас - ближайшее будущее, в которое 
> через весьма короткое время консалтинг твоего работодателя попросит 
> телепортироваться.
> 
> Вот эти вот все cloud native, простейшие сайты визитки на лямбде и т.п. То, 
> что будет урезать в деньгах и увольнять freebsd админов.
> 
> Полезно хотя бы знать/видеть чо там как внутри, включая обязаловку IaaC и 
> Terraform-like жизни.
> 
> Там весьма полезные концепты, которых у FreeBSD natively нет. Но есть повод 
> задуматься.
> 
> 27 червня 2022, 11:06:04, від "Владимир Друзенко via freebsd" 
> :
> 
> 27.06.2022 09:12, Vladimir Sharun пишет:
>> Привет,
>> 
>> Начнешь работу искать, сразу поймешь какое это имеет отношение к -.
>> 
>> 26 червня 2022, 23:40:30, від "Владимир Друзенко via freebsd" 
>> :
>> 
>> 26.06.2022 23:26, Катерина Кучернюк пишет:
>>> 30 червня AWS User Group Ukraine організовує AWS Tech Conference 
>>> #StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь безкоштовно: 
>>> https://bit.ly/3nif2Cp
>>> 
>> Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?
> 
> Это повод любой спам с предложением работы или каких-то технологий допускать 
> в тематическую рассылку?
> Ни одного доклада с упоминанием FreeBSD беглым поиском не нашёл - если такие 
> есть, то хотелось на них взглянуть. Собственно об этом и был мой вопрос.
> А так мне отдельно падает всякий подобный спам от прочих вендоров (IBM, 
> Oracle, и т.д.) - разве ему место тут?
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Mykola Dzham]

Мой “западный” работодатель очень сильно заинтересован в миграции с AWS на on 
prem K8s. Чем я, собственно, сейчас и занимаюсь.
Только это никак не оправдывает оффтопик и тем более хамство в рассылке.

> On 27 Jun 2022, at 10:18, Vladimir Sharun  wrote:
> 
> Привет,
> 
> AWS - это в западном мире настоящее, для нас - ближайшее будущее, в которое 
> через весьма короткое время консалтинг твоего работодателя попросит 
> телепортироваться.
> 
> Вот эти вот все cloud native, простейшие сайты визитки на лямбде и т.п. То, 
> что будет урезать в деньгах и увольнять freebsd админов.
> 
> Полезно хотя бы знать/видеть чо там как внутри, включая обязаловку IaaC и 
> Terraform-like жизни.
> 
> Там весьма полезные концепты, которых у FreeBSD natively нет. Но есть повод 
> задуматься.
> 
> 27 червня 2022, 11:06:04, від "Владимир Друзенко via freebsd" 
> :
> 
> 27.06.2022 09:12, Vladimir Sharun пишет:
>> Привет,
>> 
>> Начнешь работу искать, сразу поймешь какое это имеет отношение к -.
>> 
>> 26 червня 2022, 23:40:30, від "Владимир Друзенко via freebsd" 
>> :
>> 
>> 26.06.2022 23:26, Катерина Кучернюк пишет:
>>> 30 червня AWS User Group Ukraine організовує AWS Tech Conference 
>>> #StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь безкоштовно: 
>>> https://bit.ly/3nif2Cp
>>> 
>> Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?
> 
> Это повод любой спам с предложением работы или каких-то технологий допускать 
> в тематическую рассылку?
> Ни одного доклада с упоминанием FreeBSD беглым поиском не нашёл - если такие 
> есть, то хотелось на них взглянуть. Собственно об этом и был мой вопрос.
> А так мне отдельно падает всякий подобный спам от прочих вендоров (IBM, 
> Oracle, и т.д.) - разве ему место тут?
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Vladimir Sharun]

Привет,

AWS - это в западном мире настоящее, для нас - ближайшее будущее, в которое 
через весьма короткое время консалтинг твоего работодателя попросит 
телепортироваться.

Вот эти вот все cloud native, простейшие сайты визитки на лямбде и т.п. То, что 
будет урезать в деньгах и увольнять freebsd админов.

Полезно хотя бы знать/видеть чо там как внутри, включая обязаловку IaaC и 
Terraform-like жизни.

Там весьма полезные концепты, которых у FreeBSD natively нет. Но есть повод 
задуматься.

27 червня 2022, 11:06:04, від "Владимир Друзенко via freebsd" 
:

27.06.2022 09:12, Vladimir Sharun пишет:

Привет,

Начнешь работу искать, сразу поймешь какое это имеет отношение к -.

26 червня 2022, 23:40:30, від "Владимир Друзенко via freebsd" 
:

26.06.2022 23:26, Катерина Кучернюк пишет:
30 червня AWS User Group Ukraine організовує AWS Tech Conference 
#StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь безкоштовно: 
https://bit.ly/3nif2Cp
Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?

Это повод любой спам с предложением работы или каких-то технологий допускать в 
тематическую рассылку?
Ни одного доклада с упоминанием FreeBSD беглым поиском не нашёл - если такие 
есть, то хотелось на них взглянуть. Собственно об этом и был мой вопрос.
А так мне отдельно падает всякий подобный спам от прочих вендоров (IBM, Oracle, 
и т.д.) - разве ему место тут?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Владимир Друзенко via freebsd]

27.06.2022 09:12, Vladimir Sharun пишет:

Привет,

Начнешь работу искать, сразу поймешь какое это имеет отношение к -.

/26 червня 2022, 23:40:30, від "Владимир Друзенко via freebsd" 
mailto:freebsd@uafug.org.ua>>: /


26.06.2022 23:26, Катерина Кучернюк пишет:

30 червня AWS User Group Ukraine організовує AWS Tech Conference
#StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь
безкоштовно: https://bit.ly/3nif2Cp 

Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?



Это повод любой спам с предложением работы или каких-то технологий 
допускать в тематическую рассылку?
Ни одного доклада с упоминанием FreeBSD беглым поиском не нашёл - если 
такие есть, то хотелось на них взглянуть. Собственно об этом и был мой 
вопрос.


А так мне отдельно падает всякий подобный спам от прочих вендоров (IBM, 
Oracle, и т.д.) - разве ему место тут?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

hi,

 Mon, Jun 27, 2022 at 09:39:26, vsasjason wrote about "Re: [freebsd] AWS Tech 
Conference": 

> А фактически это просто спам от кого-то с 0 писем и 0 участия в жизни
> сообщества.

_Фактически_ я рад любому такому стороннему участию со стороны того,
кто может дать какую-то пользу сообществу, которое иначе, будем
откровенным, занимается пинанием давно дохлой лошади.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Vladislav V. Prodan]

Я предлагаю сразу бан за использование UTM меток в ссылках рассылки.

вс, 26 июн. 2022 г. в 23:27, Катерина Кучернюк <
kuchernyuk.kater...@gmail.com>:

> 30 червня AWS User Group Ukraine організовує AWS Tech Conference
> #StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь
> безкоштовно: https://bit.ly/3nif2Cp
>
>
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
>


-- 
 Vladislav V. Prodan
 System & Network Administrator
 support.od.ua
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Anton Saietskii]

А фактически это просто спам от кого-то с 0 писем и 0 участия в жизни
сообщества.

On Mon, Jun 27, 2022, 09:36 Valentin Nechayev  wrote:

> hi,
>
>  Sun, Jun 26, 2022 at 23:40:23, freebsd wrote about "Re: [freebsd] AWS
> Tech Conference":
>
> > > 30 червня AWS User Group Ukraine організовує AWS Tech Conference
> > > #StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь
> > > безкоштовно: https://bit.ly/3nif2Cp
> > Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?
>
> Ну FreeBSD можно запускать под AWS => отношение есть, хоть и
> косвенное. Хотя хотелось бы, конечно, доклад в духе "мы на ней
> используем Kubernetes и через AWS и напрямую, и это кое в чём лучше,
> чем на Linux" :)
>
>
> -netch-
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
>
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

hi,

 Mon, Jun 27, 2022 at 09:12:33, vladimir.sharun wrote about "Re: [freebsd] AWS 
Tech Conference": 

> Начнешь работу искать, сразу поймешь какое это имеет отношение к -.

"Захочешь есть - сразу поймёшь, какое отношение имеет реклама пончиков
к -"

Давайте не утрировать до такой степени.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Valentin Nechayev]

hi,

 Sun, Jun 26, 2022 at 23:40:23, freebsd wrote about "Re: [freebsd] AWS Tech 
Conference": 

> > 30 червня AWS User Group Ukraine організовує AWS Tech Conference
> > #StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь
> > безкоштовно: https://bit.ly/3nif2Cp
> Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?

Ну FreeBSD можно запускать под AWS => отношение есть, хоть и
косвенное. Хотя хотелось бы, конечно, доклад в духе "мы на ней
используем Kubernetes и через AWS и напрямую, и это кое в чём лучше,
чем на Linux" :)


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Vladimir Sharun]

Привет,

Начнешь работу искать, сразу поймешь какое это имеет отношение к -.

26 червня 2022, 23:40:30, від "Владимир Друзенко via freebsd" 
:

26.06.2022 23:26, Катерина Кучернюк пишет:

30 червня AWS User Group Ukraine організовує AWS Tech Conference 
#StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь безкоштовно: 
https://bit.ly/3nif2Cp
Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] AWS Tech Conference

[Владимир Друзенко via freebsd]

26.06.2022 23:26, Катерина Кучернюк пишет:
30 червня AWS User Group Ukraine організовує AWS Tech Conference 
#StandWithUkraine для міжнародного AWS ком’юніті! Долучайтесь 
безкоштовно: https://bit.ly/3nif2Cp

Это имеет какое-то отношение к FreeBSD или хотя бы к OpenSource?___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd