subject:"reverse proxy \+ mysql \+ video"

2016-04-05 Пенетрантность Oleksandr V. Typlyns'kyi

>   Отчего же?
>   Данные есть? Их структурировано сохранять и получать можно?
>   Индексы директорий, у некоторых даже журнал, контрольные суммы, 
> транзакции-снэпшоты.
Ну а чего нет? никто же не складывает файлы в sqlite, правда? почему?

>   Сам себя перемудрил?
батхерт - это грех (с)
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Today Apr 5, 2016 at 15:11 Daniel Podolsky wrote:

> >   Я понимаю в чем "подвох" вопроса - ФС тоже можно считать БД.
> ну только если с большой натяжкой.

  Отчего же?
  Данные есть? Их структурировано сохранять и получать можно?
  Индексы директорий, у некоторых даже журнал, контрольные суммы, 
транзакции-снэпшоты.
  Сам себя перемудрил?

> разница есть, она существенна, но, похоже, никто не дает себе труда
> задуматься - в чем она :(

  Я уже писал в чем разница для отдачи больших blob-ов.

> >   А непрерывной отдачи - усугубляться.
> с чего бы?

  Random read

-- 
WNGS-RIPE

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-05 Пенетрантность Oleksandr V. Typlyns'kyi

>   Я понимаю в чем "подвох" вопроса - ФС тоже можно считать БД.
ну только если с большой натяжкой.

разница есть, она существенна, но, похоже, никто не дает себе труда
задуматься - в чем она :(

>   А непрерывной отдачи - усугубляться.
с чего бы?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Today Apr 5, 2016 at 12:20 Daniel Podolsky wrote:

> >   Вы так и не рассказали топикстартеру почему это всё не нужно и как он
> >   может "дать возможность перемотки видео в плеере" прямо из базы.
> с одной стороны - топикстартер меня не просил ни о чем. и проблемы его
> мне не интересны, а интересно мне повоспитывать увольнятелей.
> 
> с другой - я правильно понял, что ответа на вопрос "в чем разница" вы
> не знаете? печально...

  Я понимаю в чем "подвох" вопроса - ФС тоже можно считать БД.

> с третьей - не надо хранить видео одним куском, надо хранить его
> чанками, и проблема перемотки будет решаться тривиальным запросом.

  А непрерывной отдачи - усугубляться.
-- 
WNGS-RIPE

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

> Отдача с базы это
> Отдача с диска это
ну это же только малая часть ответа.

> по моему профит очевиден.
а недостатки - очевидны?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-05 Пенетрантность kpoxa

Отдача с базы это
ос читает с диска в буфер, буфер копируется в процесс mysql, mysql
отправляет это в сеть, т.е. копирование в ОС, потом в сеть, потом в скрипт,
который далее по сети отдает данные в nginx, т.е. копирование в буфер, в
сетевой стэк, потом опять в буфер, потом в nginx который отдаёт данные по
сети клиенту ( не буду расписывать).
Отдача с диска это
ос читает с диска в буфер и отдает по сети клиенту, т.к. используется
sendfile и копирования в память nginx  не происходит.
по моему профит очевиден.
с учетом того, что видео это не мелкие картинки, то оверхед на чтение
файловой системы намного меньше в % соотношении к операциям чтения данных.

вт, 5 апр. 2016 г. в 11:50, Daniel Podolsky :

> > может я что то пропустил, но какой смысл хранить данные в реляционной БД,
> > если вы не будете использовать при этом SQL?
> ну какой-то язык/api использовать придется.
>
> а ответ на вопрос "какой смысл" прямо вытекает из ответ на "в чем разница"
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

>   Вы так и не рассказали топикстартеру почему это всё не нужно и как он
>   может "дать возможность перемотки видео в плеере" прямо из базы.
с одной стороны - топикстартер меня не просил ни о чем. и проблемы его
мне не интересны, а интересно мне повоспитывать увольнятелей.

с другой - я правильно понял, что ответа на вопрос "в чем разница" вы
не знаете? печально...

с третьей - не надо хранить видео одним куском, надо хранить его
чанками, и проблема перемотки будет решаться тривиальным запросом.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-05 Пенетрантность Oleksandr V. Typlyns'kyi

>   Вы так и не рассказали топикстартеру почему это всё не нужно и как он
>   может "дать возможность перемотки видео в плеере" прямо из базы.
с одной стороны - топикстартер меня не просил ни о чем. и проблемы его
мне не интересны, а интересно мне повоспитывать увольнятелей.

с другой - я правильно понял, что ответа на вопрос "в чем разница" вы
не знаете? печально...

с третьей
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Today Apr 5, 2016 at 09:39 Daniel Podolsky wrote:

> > Возможностью делать вышеперечисленное.
> Ну, конечно...
> 
> совсем не все файловые системы имеют "возможность делать
> вышеперечисленное". NFS, к примеру. или SquashFS...

  Вы так и не рассказали топикстартеру почему это всё не нужно и как он 
  может "дать возможность перемотки видео в плеере" прямо из базы.

-- 
WNGS-RIPE

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-05 Пенетрантность Dmitry Morozovsky

> может я что то пропустил, но какой смысл хранить данные в реляционной БД,
> если вы не будете использовать при этом SQL?
ну какой-то язык/api использовать придется.

а ответ на вопрос "какой смысл" прямо вытекает из ответ на "в чем разница"
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

On Tue, 5 Apr 2016, Alex Domoradov wrote:

> > Еще раз - чем отличаются ФС и БД?
> может я что то пропустил, но какой смысл хранить данные в реляционной БД,
> если вы не будете использовать при этом SQL?
> 
> > совсем не все базы находятся на файловых системах
> а где находятся базы mysql?

вот тут надо всё-таки сделать оговорку: OP вроде как раз писал, что в его 
случае MySQL on a raw disk partition


-- 
Sincerely,
D.Marck [DM5020, MCK-RIPE, DM3-RIPN]
[ FreeBSD committer: ma...@freebsd.org ]

*** Dmitry Morozovsky --- D.Marck --- Wild Woozle --- ma...@rinet.ru ***


___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-05 Пенетрантность Alex Domoradov

> Еще раз - чем отличаются ФС и БД?
может я что то пропустил, но какой смысл хранить данные в реляционной БД,
если вы не будете использовать при этом SQL?

> совсем не все базы находятся на файловых системах
а где находятся базы mysql?

2016-04-05 9:39 GMT+03:00 Daniel Podolsky :

> > Возможностью делать вышеперечисленное.
> Ну, конечно...
>
> совсем не все файловые системы имеют "возможность делать
> вышеперечисленное". NFS, к примеру. или SquashFS...
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-04 Пенетрантность Oleksandr V. Typlyns'kyi

> Возможностью делать вышеперечисленное.
Ну, конечно...

совсем не все файловые системы имеют "возможность делать
вышеперечисленное". NFS, к примеру. или SquashFS...
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Today Apr 5, 2016 at 02:50 Daniel Podolsky wrote:

> >   И для отдачи небольшого byte range от большого blob-а?
> большая блоба не нужна

  Расскажите это топикстартеру.

> >   Даже сразу клиенту по HTTP используя sendfile?
> sendfile не нужен

  Расскажите это топикстартеру.

> >   И любое другое ПО к такому blob-у самостоятельно на раз-два произвольный
> >   доступ получит?
> произвольный доступ не нужен

  Расскажите это топикстартеру.

> Еще раз - чем отличаются ФС и БД?

  Возможностью делать вышеперечисленное.

-- 
WNGS-RIPE

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-04 Пенетрантность Daniel Podolsky

>   И для отдачи небольшого byte range от большого blob-а?
большая блоба не нужна

>   Даже сразу клиенту по HTTP используя sendfile?
sendfile не нужен

>   И любое другое ПО к такому blob-у самостоятельно на раз-два произвольный
>   доступ получит?
произвольный доступ не нужен

Еще раз - чем отличаются ФС и БД?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-04 Пенетрантность Oleksandr V. Typlyns'kyi

Today Apr 5, 2016 at 01:58 Daniel Podolsky wrote:

> > Тем, что она находится на файловой системе, тем самым добавляет оверхед?
> безграмотный ответ номер раз, извините
> 
> 1. совсем не все базы находятся на файловых системах
> 2. никакого значительного оверхеда нахождение на фс не добавляет ни
> для каких операций. а мы про различия, все же.

  И для отдачи небольшого byte range от большого blob-а?
  Даже сразу клиенту по HTTP используя sendfile?
  И любое другое ПО к такому blob-у самостоятельно на раз-два произвольный 
  доступ получит?
-- 
WNGS-RIPE

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-04 Пенетрантность Daniel Podolsky

> Тем, что она находится на файловой системе, тем самым добавляет оверхед?
безграмотный ответ номер раз, извините

1. совсем не все базы находятся на файловых системах
2. никакого значительного оверхеда нахождение на фс не добавляет ни
для каких операций. а мы про различия, все же.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-04 Пенетрантность Андрей Василишин


05.04.2016 0:54, Daniel Podolsky пишет:


А можно нескромный вопрос? Архитектор всего этого решения еще не уволен?

я вижу, это популярная точка зрения.

Раз так - скажите мне, уважаемые увольнятели, чем отличается база данных
от файловой системы.


Тем, что она находится на файловой системе, тем самым добавляет оверхед?

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-04 Пенетрантность Daniel Podolsky

А можно нескромный вопрос? Архитектор всего этого решения еще не уволен? я 
вижу, это популярная точка зрения.
Раз так - скажите мне, уважаемые увольнятели, чем отличается база данных от 
файловой системы.___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-04 Пенетрантность Nikita Stupin

А можно нескромный вопрос? Архитектор всего этого решения еще не уволен?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-03 Пенетрантность Андрей Василишин


03.04.2016 2:44, tepkuh пишет:

Уже отвечал. Кратко вот основные моменты:
https://forum.nginx.org/read.php?21,265759,265847#msg-265847
Сетевые файловые системы, так же имеют ряд минусов. Решение хранить в БД
файлов является компромисом имеющим как свои плюсы так и свои минусы. Как
впрочем всегда и везде так.
НЕ использование сетевых файловых систем в распределенных географически
nginx'ах ведёт к большим денежным затратам на дисковые подсистемы. Тут либо
данные хранить в БД либо иметь доступ к данным через сетевую файловую
систему удаленными географический nginx'ами




Я конечно извиняюсь, но что-то мне подсказывает, что видео в базе будет 
заниматься места на дисках ничуть не меньше, то же видео в виде файла. И 
дисковые подсистемы тут будут абсолютно одинаковыми.



___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

3 апреля 2016 г., 2:59 пользователь tepkuh 
написал:

> ОП, привел ряд плюсов использования "нормального паттерна" в отличии от Вас
> где я ничего кроме эмоций от "CEO IT компании" не слышал.
> Так же ОП услышал ряд минусов без эмоций от коллег которые я не учел и
> которые требуется проверить. А так же ОП услышал ряд тех. предложений по
> решению технической задачи.
>

Ну и отлично - теперь еще парочку компромиссов и будет решение. За то потом
никто не уволит

Если на технический вопрос Вам нечего ответить то прошу не тратить моё время
> на чтения Ваших комментариев, а Вам не тратить время на их написания по
> причине их полной бессмысленности. И домыслы зачем архитекторы\разработчики
> БД сделали наличие blob'ов так же прошу оставить.
>

Ну вот и порешали - зачем париться то. Че приходил ?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2 апреля 2016 г., 22:34 пользователь tepkuh 
написал:

> Под "убиванием файла" имелось ввиду пропадание сетевой файловой системы в
> связи с сетевым лагом
>

А что мешает отдавать тем же нгинксом?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

>
> >Рассказать сколько времени запускается реплика с бд монго размером в 2 тб?
>
> Да, хорошее замечание. Попробую замерить.
>

А то что реплика базы с бинарными данными занимает в два раза больше места
на диске ? не знаю как в мускуле - но в монге так.


> >А как сайт себя в это время чувствует?
> Обычно это делают на slave нодах. Или отцепляют одну из master нод если их
> несколько в кластере, потом делают бэкап, а потом опять вводят в кластер а
> он уже нагоняет основную базу автоматом. Это ИМХО типичная практика работы
> с
> большими БД. Приседаний много и да с файлами по проще. Если база из одной
> ноды, это дааа, боль и унижение :)
>

Ну ок, часов за 8 реплика уже уйдет от мастера, когда реплика вернется что
будет?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

ОП, привел ряд плюсов использования "нормального паттерна" в отличии от Вас
где я ничего кроме эмоций от "CEO IT компании" не слышал.
Так же ОП услышал ряд минусов без эмоций от коллег которые я не учел и
которые требуется проверить. А так же ОП услышал ряд тех. предложений по
решению технической задачи.

Если на технический вопрос Вам нечего ответить то прошу не тратить моё время
на чтения Ваших комментариев, а Вам не тратить время на их написания по
причине их полной бессмысленности. И домыслы зачем архитекторы\разработчики
БД сделали наличие blob'ов так же прошу оставить.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265866#msg-265866

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Vadim A. Misbakh-Soloviov

Уже отвечал. Кратко вот основные моменты:
https://forum.nginx.org/read.php?21,265759,265847#msg-265847
Сетевые файловые системы, так же имеют ряд минусов. Решение хранить в БД
файлов является компромисом имеющим как свои плюсы так и свои минусы. Как
впрочем всегда и везде так.
НЕ использование сетевых файловых систем в распределенных географически
nginx'ах ведёт к большим денежным затратам на дисковые подсистемы. Тут либо
данные хранить в БД либо иметь доступ к данным через сетевую файловую
систему удаленными географический nginx'ами

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265865#msg-265865

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

> Зачем видео хранить в базе? Почему его нельзя хранить на файловой
> системе в виде файла?

Как ОП уже говорил выше — потому что это "норм паттерн" :)

// и мало кого из любителей подобных паттернов волнует, что RDB не 
предназначены для хранения файлов и BLOB'ы там на случае если "ну вообще никак 
иначе" и злоупотреблять этим не стоит.
// впрочем, kv-базы тоже не предназначены для хранения файлов.

И не очень понятно почему всё-таки ОП считает, что DFS — плохо, а единая точка 
отказа в виде MySQL — норм. // а так же почему, кстати, MySQL, а не, хотя бы, 
PostgreSQL, у которого хотя бы с репликацией получше (впрочем, как и с 
трекингом пожирания ресурсов)

-- 
wbr,
mva

signature.asc
Description: This is a digitally signed message part.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Андрей Василишин


02.04.2016 12:20, tepkuh пишет:

Не понял вопроса. ;) База хранит видео файлы в формате blob (англ. Binary
Large Object — двоичный большой объект).
Это сервис, куда пользователи загружает видяшки. А другие пользователи их
смотрят ;)



Зачем видео хранить в базе? Почему его нельзя хранить на файловой 
системе в виде файла?


___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Lystopad Aleksandr

Raw Disk Partitions. Это специализированная FS mysql которая снижает затраты
поиска нужных блоков данных. И управление FS делает по сути сам mysql. ОСи
везде centOS.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265859#msg-265859

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

 Hello, tepkuh!

On Sat, Apr 02, 2016 at 03:34:44PM -0400
nginx-fo...@forum.nginx.org wrote about "Re: reverse proxy + mysql + video":
> Под "убиванием файла" имелось ввиду пропадание сетевой файловой системы в
> связи с сетевым лагом

Скажите, а база данных у вас развернута на чем? На ФС? 

-- 
 Lystopad Aleksandr 

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Под "убиванием файла" имелось ввиду пропадание сетевой файловой системы в
связи с сетевым лагом

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265857#msg-265857

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

>когда закончится физическая возможность добавления жестких дисков? 
А что с файлами такого случится не может? Или накладные расходы по хранения
файлов в БД намного выше чем на FS? Я знаю что они есть, но если файл 100Мб,
то накладные расходы дополнительно составят ну скажем +16-32кбайта. ИМХО
капля в море.
>Рассказать сколько времени запускается реплика с бд монго размером в 2 тб?

Да, хорошее замечание. Попробую замерить.
>А как сайт себя в это время чувствует? 
Обычно это делают на slave нодах. Или отцепляют одну из master нод если их
несколько в кластере, потом делают бэкап, а потом опять вводят в кластер а
он уже нагоняет основную базу автоматом. Это ИМХО типичная практика работы с
большими БД. Приседаний много и да с файлами по проще. Если база из одной
ноды, это дааа, боль и унижение :)

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265855#msg-265855

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Vadim A. Misbakh-Soloviov

2 апреля 2016 г., 22:24 пользователь Vadim A. Misbakh-Soloviov  написал:

> > Падения случаются по разному. Точнее разная обработка ошибок.
> > Вот смотрите, качаете вы файл(смотрите) с FS кто то фигак убил
> файл(пропала
> > FS) ngix сразу кинет 404 ошибку. Мол файла нет.(я правда не пробовал, но
> > думаю поведение будет таким ибо это логично сразу кидать 404 если файла
> нет,
> > а не ждать nginx его до посинения)
> >
> > А дрова БД, будут долбится до посинения к БД. А у юзера просто будет
> лаааг.
> > Причем файл скорее всего докачается и попадётдат в кэш даже если юзер
> бросил
> > просмотр файла.
>


Вспомнил - линух не убьет файл, пока к нему обращаются. Файл физически из
директории удаляется, но клиент его дочитает
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

> Падения случаются по разному. Точнее разная обработка ошибок.
> Вот смотрите, качаете вы файл(смотрите) с FS кто то фигак убил файл(пропала
> FS) ngix сразу кинет 404 ошибку. Мол файла нет.(я правда не пробовал, но
> думаю поведение будет таким ибо это логично сразу кидать 404 если файла нет,
> а не ждать nginx его до посинения)
> 
> А дрова БД, будут долбится до посинения к БД. А у юзера просто будет лаааг.
> Причем файл скорее всего докачается и попадётдат в кэш даже если юзер бросил
> просмотр файла.

Подсказка:  proxy_pass


-- 
wbr,
mva

signature.asc
Description: This is a digitally signed message part.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Это тут все причем? Можно не удалять файл, пока его кто-то смотрит. Это
вопрос логики построения приложения.

Как Вы собираетесь делать банальные бекапы, с которых будете
разворачиваться, если что? Написать можно чего угодно и схему можно
реализовать какую угодно - поддерживать это потом как? Я вот админ - я со
своей стороны смотрю на проект.

БД нужна для поиска, а самая быстрая бд для хранения файлов - это файловая
система.

2 апреля 2016 г., 22:13 пользователь tepkuh 
написал:

> Падения случаются по разному. Точнее разная обработка ошибок.
> Вот смотрите, качаете вы файл(смотрите) с FS кто то фигак убил файл(пропала
> FS) ngix сразу кинет 404 ошибку. Мол файла нет.(я правда не пробовал, но
> думаю поведение будет таким ибо это логично сразу кидать 404 если файла
> нет,
> а не ждать nginx его до посинения)
>
> А дрова БД, будут долбится до посинения к БД. А у юзера просто будет лаааг.
> Причем файл скорее всего докачается и попадётдат в кэш даже если юзер
> бросил
> просмотр файла.
>
> Posted at Nginx Forum:
> https://forum.nginx.org/read.php?21,265759,265852#msg-265852
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Падения случаются по разному. Точнее разная обработка ошибок. 
Вот смотрите, качаете вы файл(смотрите) с FS кто то фигак убил файл(пропала
FS) ngix сразу кинет 404 ошибку. Мол файла нет.(я правда не пробовал, но
думаю поведение будет таким ибо это логично сразу кидать 404 если файла нет,
а не ждать nginx его до посинения)

А дрова БД, будут долбится до посинения к БД. А у юзера просто будет лаааг.
Причем файл скорее всего докачается и попадётдат в кэш даже если юзер бросил
просмотр файла.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265852#msg-265852

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

>
> >Это все отлично, но имхо путь - тупиковый
> Пояснения будут?
>

Не пояснения - вопросы. Пока нет процедур - это тупиковый путь.


> >Как вы будете решать вопрос, если закончится под базой дисковое
> пространство?
> Автомасштабирование диска + автомасштабирование тейблспейса БД.
>

когда закончится физическая возможность добавления жестких дисков?


> >Что с бекапами будете решать?
> Делать :) Точно так же как и бэкап файлов. Мухи отдельно (бэкап таблиц с
> бизнес данными по одному расписанию), котлеты отдельно (бэкап таблиц с
> файлам по другому расписанию). Точно так же как и делал бы с БД и файлами.
>

Рассказать сколько времени запускается реплика с бд монго размером в 2 тб?
Или сколько рсикном сливается файловая копия базы?  А как сайт себя в это
время чувствует?

>Что будет, если выйдет из строя сервер бд
> Чинить :) Какие тут варианты есть? В БД логика приложения. От этого есть
> страховка в виде бэкапа.
>

Не будет у Вас бекапа с такими объемами.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

>Это все отлично, но имхо путь - тупиковый
Пояснения будут?

>Как вы будете решать вопрос, если закончится под базой дисковое
пространство?
Автомасштабирование диска + автомасштабирование тейблспейса БД.

>Что с бекапами будете решать?
Делать :) Точно так же как и бэкап файлов. Мухи отдельно (бэкап таблиц с
бизнес данными по одному расписанию), котлеты отдельно (бэкап таблиц с
файлам по другому расписанию). Точно так же как и делал бы с БД и файлами. 

>Что будет, если выйдет из строя сервер бд 
Чинить :) Какие тут варианты есть? В БД логика приложения. От этого есть
страховка в виде бэкапа.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265849#msg-265849

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Не надо ничего изобретать - зайдите на olx, посмотрите как они отдают
картинки. Могу ошибаться, но у них скорее всего больше возможностей на
изучение вопроса как отдавать такое.

Когда будете размером с ютуб - тогда наймете тыщу программистов и напишите
свою разспределенную бд для хранения фильмов.

2 апреля 2016 г., 21:58 пользователь tepkuh 
написал:

> Спрашивают админа у нас :) Я так же участвую в допилке :) Но тут штука в
> том
> что этих файлов сотни загружают в день. А nginx распределены географически.
> А делать распределенную FS тоже тот еще гемор. Лагнула сетка, FS упала,
> через секунду поднялась, а уже 10ок смотревших отвалилось :)
>
> > Зачем файлы пихать в базу, чтобы их оттуда доставать?
> - Распределение файлов по удаленным ngix осуществляется по запросу
> (пользователь спросил файл на ngix'е во Владивостоке файл туда в кэш попал
> из базы) т.е. экономия дисквого пространства
> - Управление большим числом файлов эффективнее т.е. убил пользователь
> видео-файл из системы, через какое то время он убился в кэше (время жизни
> кэша) на всех распределенных ngix.
> - Решается проблема с временным лагом сетки. Файловые системы при лагах
> сетки ведут себя гораздо хуже, чем драйвера к БД, которые на потерю
> коннекта
> отрегаруют просто лагом, а не ошибкой "файл не найден"
>
> Posted at Nginx Forum:
> https://forum.nginx.org/read.php?21,265759,265847#msg-265847
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Та я ничего не имею против кеша - зачем файлы в базу совать-то? Или при
лаге сетки коннект на базу не падает?

2 апреля 2016 г., 21:58 пользователь tepkuh 
написал:

> Спрашивают админа у нас :) Я так же участвую в допилке :) Но тут штука в
> том
> что этих файлов сотни загружают в день. А nginx распределены географически.
> А делать распределенную FS тоже тот еще гемор. Лагнула сетка, FS упала,
> через секунду поднялась, а уже 10ок смотревших отвалилось :)
>
> > Зачем файлы пихать в базу, чтобы их оттуда доставать?
> - Распределение файлов по удаленным ngix осуществляется по запросу
> (пользователь спросил файл на ngix'е во Владивостоке файл туда в кэш попал
> из базы) т.е. экономия дисквого пространства
> - Управление большим числом файлов эффективнее т.е. убил пользователь
> видео-файл из системы, через какое то время он убился в кэше (время жизни
> кэша) на всех распределенных ngix.
> - Решается проблема с временным лагом сетки. Файловые системы при лагах
> сетки ведут себя гораздо хуже, чем драйвера к БД, которые на потерю
> коннекта
> отрегаруют просто лагом, а не ошибкой "файл не найден"
>
> Posted at Nginx Forum:
> https://forum.nginx.org/read.php?21,265759,265847#msg-265847
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Спрашивают админа у нас :) Я так же участвую в допилке :) Но тут штука в том
что этих файлов сотни загружают в день. А nginx распределены географически.
А делать распределенную FS тоже тот еще гемор. Лагнула сетка, FS упала,
через секунду поднялась, а уже 10ок смотревших отвалилось :)

> Зачем файлы пихать в базу, чтобы их оттуда доставать?
- Распределение файлов по удаленным ngix осуществляется по запросу
(пользователь спросил файл на ngix'е во Владивостоке файл туда в кэш попал
из базы) т.е. экономия дисквого пространства
- Управление большим числом файлов эффективнее т.е. убил пользователь
видео-файл из системы, через какое то время он убился в кэше (время жизни
кэша) на всех распределенных ngix. 
- Решается проблема с временным лагом сетки. Файловые системы при лагах
сетки ведут себя гораздо хуже, чем драйвера к БД, которые на потерю коннекта
отрегаруют просто лагом, а не ошибкой "файл не найден"

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265847#msg-265847

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Это все отлично, но имхо путь - тупиковый. Как вы будете решать вопрос,
если закончится под базой дисковое пространство? Что с бекапами будете
решать? Что будет, если выйдет из строя сервер бд

2 апреля 2016 г., 21:42 пользователь tepkuh 
написал:

> >Если всё так прекрасно, то почему же вы пришли с вопросом о проксировании
> и
> кешировании?
> При равном железе БД сдыхает раньше ;) С сотню стримов еще держит примерно
> наравне с nginx'ом, а дальше базе уже плоховато становится :)
> Число одновременных коннектов у nginx на порядки лучше. Хотя если вдаваться
> в детали nginx'у то хорошо, что каналы не резиновые  :) Nginx ведь тоже
> имеет свои пределы :) И точно так же потребляет ресурсы на поддержку
> коннекта с пользователем и unix-сокетом. Для БД коннект стоит дороже чем
> для
> ngix.
>
> Я понимаю конечно, что хранение файлов на файловой системе это самый крутой
> способ, но есть нюанс. Эти фронты(nginx) распределены географически (некое
> подобие CDN'а) т.е. по разным datacenter'ам => надо делать распределенную
> сетевую файловую систему, а куда там упрёмся пока не понятно. А так же
> файлами на файловой системе трудно управлять, их же сотни-тысяч этих
> видяшек
> и пользователей загружающих видяшки десятки тысяч.
>
> Posted at Nginx Forum:
> https://forum.nginx.org/read.php?21,265759,265845#msg-265845
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Oleksandr V. Typlyns'kyi

если без этого можно обойтись - то зачем это делать? Зачем файлы пихать в
базу, чтобы их оттуда доставать? Они ведь не модифицируются в процессе
отдачи

бд нужна для поиска - если поиска нет, то смысла в этом никакого.

У меня тоже есть проект , который называется: делали программеры, у админа
не спрашивали. В итоге фотки в монге лежат - тоже очень весело, особенно с
бекапами.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Today Apr 2, 2016 at 11:58 tepkuh wrote:

> Насчет технических ваших PS'ов:
> >P.S. как вы думаете, почему файловые системы называются файловыми? А ещё,
> как  вы думаете, зачем они используют кеш в >оперативной памяти для часто
> используемых файлов?
> 
> В базах данных также используется кэш в памяти для часто используемых
> запросов. И более того в БД это гибче настраивается чем на файловых
> системах. Если вы беспокоитесь насчет скорости отдачи файла из БД или из
> файловой системы, но спешу вам сообщить, что скорость отдачи контента между
> файловой системы и БД почти не отличается (разница составляет миллисекунды и
> это объективные данные от группы перфоманс тестирования)  и основные затраты
> идут на передачу самих данных по сети, а не на поиск самих данных. 

  Если всё так прекрасно, то почему же вы пришли с вопросом о проксировании и 
кешировании?
  Тут впору искать плеер, который будет воспроизводить видео прямо из СУБД.
-- 
WNGS-RIPE

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

>Идеологически правильнее было бы сдлелать отдельный скрипт, выполняющий
запросы к базе, и бросить на него proxy_pass
Интересное решение. Возможно даже им воспользуюсь

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265842#msg-265842

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Я вот тоже боюсь, что в переменную помещать большой объем данных вещь
опасная с теоретической точки зрения. Так как я не знаю как внутри работает
nginx. А именно скидывает ли он переменную на диск как только загрузил её
или может скидывать порционно.

Файл может весить до нескольких гигабайт и мне что то сыкатно. Решение
вообще без перла\луа я предложил чуть выше
(https://forum.nginx.org/read.php?21,265759,265836#msg-265836)
Но я вижу в этом выше обозначенные риски в связи с моим не знанием
архитектуры ngix'а

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265840#msg-265840

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Vadim A. Misbakh-Soloviov

Одни эмоции, ничего конкретного. Всё не так и всё плохо, а почему не слова
;)

Насчет технических ваших PS'ов:
>P.S. как вы думаете, почему файловые системы называются файловыми? А ещё,
как вы думаете, зачем они используют кеш в >оперативной памяти для часто
используемых файлов?

В базах данных также используется кэш в памяти для часто используемых
запросов. И более того в БД это гибче настраивается чем на файловых
системах. Если вы беспокоитесь насчет скорости отдачи файла из БД или из
файловой системы, но спешу вам сообщить, что скорость отдачи контента между
файловой системы и БД почти не отличается (разница составляет миллисекунды и
это объективные данные от группы перфоманс тестирования) и основные затраты
идут на передачу самих данных по сети, а не на поиск самих данных.

>P.P.S. А ещё, как вы думаете, почему люди частенько предпочитают, например,
redis этим вашим mysql? (подсказка: потому что он делает >именно свою
работу: хранит данные (и зачастую вида ключ=значение более чем достаточно) и
более-менее адекватно использует кеш >впамяти, самостоятельно ускоряя доступ
к данным)
Очень объективное объяснение :) "Да потому что он делает свою работу :)"
Использование noSQL обладает только двумя существенными преимуществом (есть
еще дополнительные как например связанные с масштабированием, но это другая
песня) это быстрый ПОИСК данных и быстрая запись. Всё. Прошу не путать
именно ПОИСК и отдачу самих данных. Причем этот самый ПОИСК данных так же
есть и на файловой системе.

Самостоятельно ничего и нигде не ускоряется. Помещение данных в память не
ускоряет, а уменьшает затраты времени доступа к данным за счет чтения\записи
с дисков. И да, это разные вещи ускорение и уменьшение затрат времени.
А помещать видео-файлы в память это и есть извращение. Т.к. цена оперативной
памяти на порядки выше цены памяти дисков. А экономия в несколько
миллисекунд этого не стоит.

Posted at Nginx Forum:
https://forum.nginx.org/read.php?21,265759,265839#msg-265839

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

> А нельзя сделать цепочку в самом конфиге? Выгрузить данные в переменную,
> переменную в кэш nginx'а и всё внутри одного nginx?
А вы отдаёте себе отчёт, что сервер не сможет даже 20-30 (в самом лучшем 
случае) таких запросов обслужить одновременно (догадываетесь почему)?

// а сделать - можно. Используя Perl или Lua.

-- 
wbr,
mva

signature.asc
Description: This is a digitally signed message part.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Vadim A. Misbakh-Soloviov

Пожалуй соглашусь ;) Извращенно :)
А нельзя сделать цепочку в самом конфиге? Выгрузить данные в переменную,
переменную в кэш nginx'а и всё внутри одного nginx?
Нечто типа такого (правда это для модуля postgres, но это не суть важно):

http {
upstream database {
postgres_server  127.0.0.1 dbname=test
 user=test password=test;
}

server {
location / {
eval_subrequest_in_memory  off;

eval $backend {
postgres_passdatabase;
postgres_query   "SELECT * FROM backends LIMIT 1";
postgres_output  value 0 0;
}
proxy_pass  $backend;
}
}
}

Надо как то кэш еще прикрутить, надеюсь директива proxy_cache_key
"$host$request_uri покатит.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265836#msg-265836

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

В письме от суббота, 2 апреля 2016 г. 5:16:45 NOVT пользователь tepkuh 
написал:
> Ну апликейшен, теоритически подпиливаемый. Только зачем? Хранение файлов в
> БД это норм паттерн. Тем более подпилить конфиг намного дешевле, чем править
> код аппса. Задача ведь стоит выгружать и кэшировать nginx, а не подпилить
> аппс ;)

Дело в том, что это *НЕ* "норм" паттерн. Это извращение из стиля "а давайте". 

И такие подходы характерны для legacy кода, который писался когда-то давно 
какими-то долбанутыми на голову извращенцами для того, чтобы вытащить побольше 
денег из инвесторов на закупку оборудования с откатами, а вам сейчас нужно его 
поддерживать в экстренных условиях, т.к. они слились. А для разрабатываемого 
прямо сейчас приложения — это дикость, и я, как CEO IT-компании уволил бы 
софт-архитектора если бы он ко мне пришёл с такой идеей.

Более того,  MySQL (особенно в чистом виде, без энтерпрайз-плюшек) в качестве 
базы данных даже для такого неудачного решения для хранения файлов — самое 
неудачное решение из возможных.

Касательно стоящей задачи — да, поставили задачу изъе^2Wвернуться загогулиной 
админу вместо того, чтобы правильно (тщательно оценивая каждое решение каждой 
детали), без особо модных "паттернов", продумывать архитектуру приложения.

Да, то, что вы хотите сделать можно. Присев на правой ноге, засунув левую за 
правое ухо и завязав руки бантиком за спиной. Можно. Но это просто неописуемое 
извращение.

P.S. как вы думаете, почему файловые системы называются файловыми? А ещё, как 
вы думаете, зачем они используют кеш в оперативной памяти для часто 
используемых файлов?

P.P.S. А ещё, как вы думаете, почему люди частенько предпочитают, например, 
redis этим вашим mysql?(подсказка: потому что он делает именно свою работу: 
хранит данные (и зачастую вида ключ=значение более чем достаточно) и более-
менее адекватно использует кеш в памяти, самостоятельно ускоряя доступ к 
данным) 



В общем, идея хранить *файлы* в базе (которая к тому же не умеет в нормальное 
кеширование в памяти), а потом вытаскивать их на *файловую* систему для 
кеширования ущербна в самой своей сути.

Но, тем не менее, я вижу как минимум три пути решения этой задачи "костылями" 
(не переписывая приложение для работы как оно должно это делать "по-
правильному"). Но т.к. все эти способы подразумевают очень большое количество 
БДСМ с изучением архитектуры приложения (для подпорки в правильных местах), а 
у меня не так много свободного времени, то чего-то более конкретного, чем уже 
озвучено выше и ниже (в виде общих идей по направлениям реализации), не вникая 
в архитектуру, я сказать не могу. А вникать в подобные архитектуры без 
материальной заинтересованности — извините, не моё.

И вам не советую брать за подобные извращения менее чем 50€/час (и выше, в 
зависимости от региона проживания, региона расположения фирмы и величины 
проекта).

-- 
wbr,
mva

signature.asc
Description: This is a digitally signed message part.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Роман Москвитин

Извините, сумбурно выражаюсь. :(
С мускулем - в смысле nginx с мускульным модулем. Второй -nginx хот с
модулем, хоть без, не важно. Главное что у него настроен прием внешних
запросов и proxy_pass на первого. И кеширование ответов оного.

2016-04-02 12:37 GMT+03:00 tepkuh :

> >А что тут знать то. Один сервак с мускулем уже есть. Ставится еще один.
> Не понял? Второй то сервак с mysql зачем?
>
> Posted at Nginx Forum:
> https://forum.nginx.org/read.php?21,265759,265827#msg-265827
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

2016-04-02 Пенетрантность Konstantin Tokarev



02.04.2016, 12:21, "tepkuh" :
> Не тратить время на прикручивание БД к nginx, а просто сказать архитектору,
> а потом разработчику что нужно менять код? Т.е. перекладыать одну проблему с
> одной головы (админа) на голову двух трех людей? (архитектор, разработчик,
> тестирование) ?

А прикручивание БД к nginx по сути перекладывание задач разработчиков на 
админа, т.к. nginx в этом случае превращается в веб-приложение.

Идеологически правильнее было бы сдлелать отдельный скрипт, выполняющий запросы 
к базе, и бросить на него proxy_pass

-- 
Regards,
Konstantin

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

>А что тут знать то. Один сервак с мускулем уже есть. Ставится еще один. 
Не понял? Второй то сервак с mysql зачем?

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265827#msg-265827

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Не тратить время на прикручивание БД к nginx, а просто сказать архитектору,
а потом разработчику что нужно менять код? Т.е. перекладыать одну проблему с
одной головы (админа) на голову двух трех людей? (архитектор, разработчик,
тестирование) ?

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265826#msg-265826

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video

Не понял вопроса. ;) База хранит видео файлы в формате blob (англ. Binary
Large Object — двоичный большой объект).
Это сервис, куда пользователи загружает видяшки. А другие пользователи их
смотрят ;)

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,265759,265825#msg-265825

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: reverse proxy + mysql + video