from:"Vadim Lazovskiy"

27 февраля 2016 г., 23:16 пользователь Vasiliy P. Melnik 
написал:

> http://nginx.org/ru/docs/http/ngx_http_log_module.html#access_log
>>>
>> Там хорошо написано про переменные в директиве.
>>
>
> Это я конечно нашел - только там не написано как файл лога создать
>
Обычно логи создает мастер-процесс, работающий из под root, поэтому все
проходит гладко. Если используются переменные в имени файла лога, то этот
лог-файл пытается открыть уже сам воркер, а он работает с пониженными
привилегиями.
Вам нужно разрешить запись в каталог с логами для пользователя, с правами
которого работает nginx, например:
chown nginx /var/log/nginx

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: log variable

Здравствуйте.

27 февраля 2016 г., 21:29 пользователь Vasiliy P. Melnik 
написал:

>
> access_log /var/log/nginx/$server_name-access.log main;
>
> Получается вот такое:
>
> 2016/02/27 20:18:04 [crit] 5745#5745: *2 open()
> "/var/log/nginx/site-access.log" failed (13: Permission denied) while
> logging request, client: 192.168.88.22, server: dev4.
>
> А если файл лога создать, то нгинкс в него отлично пишет. Получается
> нгинкс не создает файл лога.
>

http://nginx.org/ru/docs/http/ngx_http_log_module.html#access_log
Там хорошо написано про переменные в директиве.


> С error лог все еще интересней - он создает лог-файл с именем
> $server_name-error.log
>

 Директива error_log не поддерживает переменные.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module и proxy_cache_min_uses больше единицы.

27 февраля 2016 г., 19:07 пользователь Roman Arutyunyan 
написал:

> Можете прислать всю конфигурацию?
>
>
# configuration file /etc/nginx/nginx.conf:
user nginx;
worker_processes 32;

error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;

worker_rlimit_nofile 1048576;

#thread_pool pool_ssd01 threads=32;
#thread_pool pool_ssd02 threads=32;

events {
worker_connections 8196;
}

http {
include /etc/nginx/mime.types;
default_type application/octet-stream;

access_log /var/log/nginx/access.log;

sendfile on;
#tcp_nopush on;

keepalive_timeout 65;

include /etc/nginx/vhosts.d/*.conf;
}

# configuration file /etc/nginx/mime.types:

types {
...
}

# configuration file /etc/nginx/vhosts.d/.conf:
map $upstream_hostname $allowed {
 1;
 1;

default 0;
}


log_format cache_video '$time_iso8601 $remote_addr "$request" $status
$bytes_sent $upstream_cache_status';

proxy_cache_path /disks/ssd01 levels=1:2 keys_zone=cache_ssd01:32m
use_temp_path=off inactive=7d max_size=210G;
proxy_cache_path /disks/ssd02 levels=1:2 keys_zone=cache_ssd02:32m
use_temp_path=off inactive=7d max_size=210G;

split_clients $request_uri $disk {
50% ssd01;
50% ssd02;
}


server {
listen  default_server;

access_log /var/log/nginx/-cache.log cache_video;
access_log /var/log/nginx/-access.log;
error_log /var/log/nginx/-error.log info;

root /var/www/vhosts/;

resolver ;

proxy_max_temp_file_size 0;

location /streams/ {
location ~
^/streams/(?[^/]+)/(?.*)$ {
if ($allowed = 0) {
return 403;
}

#aio threads=pool_$disk;
#sendfile on;

slice 10m;

limit_rate 1M;
limit_rate_after 2M;

proxy_pass http://
$upstream_hostname/$upstream_uri$is_args$args;
proxy_set_header Host $upstream_hostname;
proxy_set_header Range $slice_range;

proxy_cache_min_uses 10;

proxy_cache cache_$disk;
proxy_cache_key
$upstream_hostname$upstream_uri$slice_range;
proxy_cache_revalidate on;

proxy_cache_bypass $arg_start;
proxy_no_cache $arg_start;

proxy_cache_lock on;

proxy_cache_use_stale error timeout invalid_header
updating http_500 http_502 http_503 http_504 http_403;
}
}
}


> Кроме того, можете проследить открытые дескрипторы у воркеров nginx и их
> изменение со временем?  В особенности, растет ли их число и, если растет,
> то
> за счет чего именно.
>

Поставил

#!/bin/bash

DIR="/var/log/nginx-lsof"
STAMP=`date +"%Y%m%d%H%M"`

out_dir="$DIR/$STAMP"

[ ! -d "$out_dir" ] && mkdir -p "$out_dir"

/bin/ps wwho pid,args -C nginx-debug | cut -f 1,3 -d ' ' | while read pid
type
do
out_file="$out_dir/nginx-$type-$pid.log"
lsof -p "$pid" > $out_file
done

в крон раз в 5 минут. Посмотрим.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module и proxy_cache_min_uses больше единицы.

Добавил еще один диск, сделал reload

proxy_cache_path /disks/ssd01 levels=1:2 keys_zone=cache_ssd01:32m
use_temp_path=off inactive=7d max_size=210G;
proxy_cache_path /disks/ssd02 levels=1:2 keys_zone=cache_ssd02:32m
use_temp_path=off inactive=7d max_size=210G;

split_clients $request_uri $disk {
50% ssd01;
50% ssd02;
}

Первый диск переполнился, при этом cache manager вообще ничего не удалял.
Сделал рестарт. Диск слегка почистился, но все равно не до max_size:
# df -h | grep ssd
/dev/sdb1220G  219G  1.8G 100% /disks/ssd01
/dev/sdc1220G   59G  151G  28% /disks/ssd02

В error_log две сотни подобных сообщений, не знаю, есть ли связь:

2016/02/27 14:43:52 [alert] 2367#2367: *1968479 open socket #49 left in
connection 5
2016/02/27 14:43:52 [alert] 2367#2367: *2286288 open socket #37 left in
connection 6
2016/02/27 14:43:52 [alert] 2367#2367: *2769369 open socket #96 left in
connection 27
2016/02/27 14:43:52 [alert] 2367#2367: *1987300 open socket #5 left in
connection 29
2016/02/27 14:43:52 [alert] 2367#2367: *2769354 open socket #3 left in
connection 35
2016/02/27 14:43:52 [alert] 2367#2367: *2286091 open socket #35 left in
connection 36
2016/02/27 14:43:52 [alert] 2367#2367: aborting


26 февраля 2016 г., 12:53 пользователь Roman Arutyunyan 
написал:

> On Fri, Feb 26, 2016 at 10:44:17AM +0300, Vadim Lazovskiy wrote:
> > 25 февраля 2016 г., 21:28 пользователь Roman Arutyunyan 
> > написал:
> >
> > >
> > > Попробуйте патч в аттаче.
> > >
> > >
> > Роман, спасибо! Теперь все работает как задумано.
> >
> >
> > > > И чтоб 2 раза не вставать, спрошу, отчего может возникать проблема с
> > > > переполнением диска?
> > > > Диск 220G, max_cache опустил до 190G, а на деле диск забивается под
> > > > завязку, причем именно кешем (proxy_cache_min_uses 1, slice 10m,
> 10-20
> > > rps).
> > > > В temp в этот момент не более 20 временных файлов размером ~ 10
> > > мегабайт. В
> > > > кеше все элементы <= 10 мегабайт.
> > > > Незакрытых удаленных файлов на диске нет.
> > > > В error log куча сообщений c No space left on device.
> > >
> > > Может быть такое, что кеш растет так быстро, что nginx не успевает его
> > > очищать.
> > >
> > > Еще одна причина - рестарт воркеров.  Если по какой-либо причине это
> > > происходит
> > > (например, из-за нестабильных 3rd-party модулей), то кеш может
> остаться в
> > > неконсистентном состоянии, что может приводить к описанной вами
> проблеме.
> > >
> > > Насколько часто это у вас это происходит?
> > >
> > >
> > В том-то и дело, что воркеры не падают и сборка без сторонних модулей.
> > Глядя на strace процесса cache manager, видно, что он что-то удаляет, но
> > каждый раз недостаточно.
> > Суммарный размер каталогов 0-f балансирует около значения размера диска
> > (220G) и до указанных 190G даже близко не опускается.
> > При этом '(deleted)' файлов на диске нет и в temp файлов суммарно
> мегабайт
> > на 300.
>
> Сколько файлов cache manager удаляет за раз?
>
> [..]
>
> --
> Roman Arutyunyan
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module + thread pools

2016-02-26 Пенетрантность Vadim Lazovskiy

2016-02-25 19:20 GMT+03:00 Maxim Dounin :

>
> Это выглядит как проблема при aio threads + sendfile + подзапросы.
> Workaround - выключить что-нибудь из списка.  Just for the record,
> воспроизводится с помощью тестов как-то так:
>
> TEST_NGINX_GLOBALS_HTTP="aio threads; sendfile on;" prove proxy_store.t
>

Наткнулся на странное поведение:
Если запустить в браузере просмотр видео через проксирующий nginx и
одновременно запросить этот же файл wget-ом,
закачка останавливается и соединение рвется по таймауту.
Внятный debug log собрать пока не удалось, хоть и проблема воспроизводится.

При отключении aio threads данной проблемы не наблюдается.

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: nginx отъедает все процессорное время

2016-02-26 Пенетрантность Vadim Lazovskiy

Здравствуйте.

В официальном репозитории доступна как сборка без --with-debug так и с ним.
/usr/sbin/nginx /etc/init.d/nginx и /usr/sbin/nginx-debug
/etc/init.d/nginx-debug соответственно.

26 февраля 2016 г., 11:19 пользователь Alex Domoradov 
написал:

> > Речь не о пакете, а о бинаре:
> а каким магическим образом бинарь появится в системе, кроме как установки
> из пакета? Или мы говорим о разных вещах?
>
>

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module и proxy_cache_min_uses больше единицы.

25 февраля 2016 г., 21:28 пользователь Roman Arutyunyan 
написал:

>
> Попробуйте патч в аттаче.
>
>
Роман, спасибо! Теперь все работает как задумано.


> > И чтоб 2 раза не вставать, спрошу, отчего может возникать проблема с
> > переполнением диска?
> > Диск 220G, max_cache опустил до 190G, а на деле диск забивается под
> > завязку, причем именно кешем (proxy_cache_min_uses 1, slice 10m, 10-20
> rps).
> > В temp в этот момент не более 20 временных файлов размером ~ 10
> мегабайт. В
> > кеше все элементы <= 10 мегабайт.
> > Незакрытых удаленных файлов на диске нет.
> > В error log куча сообщений c No space left on device.
>
> Может быть такое, что кеш растет так быстро, что nginx не успевает его
> очищать.
>
> Еще одна причина - рестарт воркеров.  Если по какой-либо причине это
> происходит
> (например, из-за нестабильных 3rd-party модулей), то кеш может остаться в
> неконсистентном состоянии, что может приводить к описанной вами проблеме.
>
> Насколько часто это у вас это происходит?
>
>
В том-то и дело, что воркеры не падают и сборка без сторонних модулей.
Глядя на strace процесса cache manager, видно, что он что-то удаляет, но
каждый раз недостаточно.
Суммарный размер каталогов 0-f балансирует около значения размера диска
(220G) и до указанных 190G даже близко не опускается.
При этом '(deleted)' файлов на диске нет и в temp файлов суммарно мегабайт
на 300.

Ближе к вечеру станет ясно, повториться ли эта проблема с
proxy_cache_min_uses 10. Пока что очевидно, что write-IO сократилось на
порядок.
Авось ssd протянут подольше, за что вам еще раз спасибо.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module + thread pools

2016-02-25 19:20 GMT+03:00 Maxim Dounin :

> Патч:
>
> # HG changeset patch
> # User Maxim Dounin 
> # Date 1456417157 -10800
> #  Thu Feb 25 19:19:17 2016 +0300
> # Node ID 06da00f231e74bbb8dbb55fd6abd88ca8b207917
> # Parent  463609ba52b07e8e669d83ca7ca7fa754ae5355a
> Fixed sendfile in threads when used with subrequests.
>
> If sendfile in threads where used, it was possible that multiple
> subrequests will trigger multiple ngx_linux_sendfile_thread() calls,
> as operations are only serialized in output chain based on r->aio,
> that is, on subrequest level.
>
> This resulted in "task #N already active" alerts, in particular, when
> running proxy_store.t with "aio threads; sendfile on;".
>
> Fix is to tolerate duplicate calls, with an additional safety check
> that the file is the same as previously used.
>
> diff --git a/src/os/unix/ngx_linux_sendfile_chain.c
> b/src/os/unix/ngx_linux_sendfile_chain.c
> --- a/src/os/unix/ngx_linux_sendfile_chain.c
> +++ b/src/os/unix/ngx_linux_sendfile_chain.c
> @@ -354,6 +354,18 @@ ngx_linux_sendfile_thread(ngx_connection
>  return (ctx->sent == ctx->size) ? NGX_DONE : NGX_AGAIN;
>  }
>
> +if (task->event.active && ctx->file == file) {
> +/*
> + * tolerate duplicate calls with the same file;
> + * it can happen due to subrequests, as r->aio only serializes
> + * operations within a single subrequest
> + */
> +
> +*sent = 0;
> +
> +return NGX_OK;
> +}
> +
>  ctx->file = file;
>  ctx->socket = c->fd;
>  ctx->size = size;
>
>
Максим, спасибо. На первый взгляд патч работает. Завтра попробуем под
нагрузкой.

P.S.: может показаться, что я не умею пользоваться почтой. Похоже, это
действительно так. Прошу меня извинить ;)

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module + thread pools

2016-02-25 19:20 GMT+03:00 Maxim Dounin :
>
>
> Это выглядит как проблема при aio threads + sendfile + подзапросы.
> Workaround - выключить что-нибудь из списка.  Just for the record,
> воспроизводится с помощью тестов как-то так:
>
> TEST_NGINX_GLOBALS_HTTP="aio threads; sendfile on;" prove proxy_store.t
>
> Патч:
>
> # HG changeset patch
> # User Maxim Dounin 
> # Date 1456417157 -10800
> #  Thu Feb 25 19:19:17 2016 +0300
> # Node ID 06da00f231e74bbb8dbb55fd6abd88ca8b207917
> # Parent  463609ba52b07e8e669d83ca7ca7fa754ae5355a
> Fixed sendfile in threads when used with subrequests.
>
> If sendfile in threads where used, it was possible that multiple
> subrequests will trigger multiple ngx_linux_sendfile_thread() calls,
> as operations are only serialized in output chain based on r->aio,
> that is, on subrequest level.
>
> This resulted in "task #N already active" alerts, in particular, when
> running proxy_store.t with "aio threads; sendfile on;".
>
> Fix is to tolerate duplicate calls, with an additional safety check
> that the file is the same as previously used.
>
> diff --git a/src/os/unix/ngx_linux_sendfile_chain.c
> b/src/os/unix/ngx_linux_sendfile_chain.c
> --- a/src/os/unix/ngx_linux_sendfile_chain.c
> +++ b/src/os/unix/ngx_linux_sendfile_chain.c
> @@ -354,6 +354,18 @@ ngx_linux_sendfile_thread(ngx_connection
>  return (ctx->sent == ctx->size) ? NGX_DONE : NGX_AGAIN;
>  }
>
> +if (task->event.active && ctx->file == file) {
> +/*
> + * tolerate duplicate calls with the same file;
> + * it can happen due to subrequests, as r->aio only serializes
> + * operations within a single subrequest
> + */
> +
> +*sent = 0;
> +
> +return NGX_OK;
> +}
> +
>  ctx->file = file;
>  ctx->socket = c->fd;
>  ctx->size = size;
>




-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module и proxy_cache_min_uses больше единицы.

25 февраля 2016 г., 18:53 пользователь Evgeniy Berdnikov 
написал:

>
>
>  Проверьте количество инод: df -i.
>
>
Инодов хватает.

Проблема именно с местом. Почти все файлы имеют размер слайса - 10
мегабайт, таким образом их влезает не более 22 тысяч.

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module и proxy_cache_min_uses больше единицы.

25 февраля 2016 г., 16:53 пользователь Roman Arutyunyan 
написал:
>
>
> Маловат фрагмент.  Хотелось бы посмотреть на весь запрос и подзапросы.
>
>
Сразу прошу прощения за размер логов.

http://disk.karelia.pro/833rexx/

Два лога:
1. с proxy_cache_min_uses 1. Работает, как задумывалось.
Запрос на перемотку можно найти по диапазону 498197221-1279019570.

2. с proxy_cache_min_uses 50. Ломается перемотка из-за игнорирования Range
(или учета If-Range, кто его разберет).
Запрос на пеермотку можно найти по диапазону 467829492-1279019570.

И чтоб 2 раза не вставать, спрошу, отчего может возникать проблема с
переполнением диска?
Диск 220G, max_cache опустил до 190G, а на деле диск забивается под
завязку, причем именно кешем (proxy_cache_min_uses 1, slice 10m, 10-20 rps).
В temp в этот момент не более 20 временных файлов размером ~ 10 мегабайт. В
кеше все элементы <= 10 мегабайт.
Незакрытых удаленных файлов на диске нет.
В error log куча сообщений c No space left on device.

Спасибо.

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module и proxy_cache_min_uses больше единицы.

>
>
> Запрос №2:
> Перематываем на произвольную позицию. Браузер делает range-запрос, а
> получает 200 и полный Content-Length
> https://drive.google.com/file/d/0B5-OwnlywJGhOWZtMTdCYlQ3Z1k/view
>
>
>
Дело в If-Range. curl-ом без него все хорошо. Но связи с
proxy_cache_min_uses я не улавливаю.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

slice module и proxy_cache_min_uses больше единицы.

che/nginx/uwsgi_temp
--http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx
--with-http_ssl_module --with-http_realip_module
--with-http_addition_module --with-http_sub_module --with-http_dav_module
--with-http_flv_module --with-http_mp4_module --with-http_gunzip_module
--with-http_gzip_static_module --with-http_random_index_module
--with-http_secure_link_module --with-http_stub_status_module
--with-http_auth_request_module --with-threads --with-stream
--with-stream_ssl_module --with-http_slice_module --with-mail
--with-mail_ssl_module --with-file-aio --with-http_v2_module
--with-cc-opt='-g -O2 -fstack-protector-strong -Wformat
-Werror=format-security -Wp,-D_FORTIFY_SOURCE=2'
--with-ld-opt='-Wl,-z,relro -Wl,--as-needed' --with-ipv6


Спасибо.

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module + thread pools

2016-02-23 Пенетрантность Vadim Lazovskiy

23 февраля 2016 г., 11:22 пользователь Vadim Lazovskiy <
vadim.lazovs...@gmail.com> написал:

> Здравствуйте.
>
> Возникает проблема с отдачей данных из кэша при использовании связки slice
> module + aio treads.
>
> Проблема 1 (aio выключено, slice включен):
> Если запустить скачивание файла через прокси, прервать на середине, а
> потом запустить заново, закешированная часть отдается медленно (5-8
> мегабайт/сек). Ежели докачать файл через прокси до конца, последующие
> запросы к нему происходят на максимальной скорости (1Gbps в тесте).
>
> С чем может быть связана медленная отдача закешированных слайсов?
>
>
Уточнение.

Апстрим ограничивает скорость отдачи до 1Мбайт/сек.
slice module вместо того чтобы быстро собрать имеющиеся в кэше слайсы и
отправить их клиенту начинает запрашивать новые (отсутствующие?) у апстрима.
Как раз в этот момент и проседает скорость отдачи имеющихся слайсов.

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: slice module + thread pools

2016-02-23 Пенетрантность Vadim Lazovskiy

>
>
> Проблема 1 (aio выключено, slice включен):
> Если запустить скачивание файла через прокси, прервать на середине, а
> потом запустить заново, закешированная часть отдается медленно (5-8
> мегабайт/сек). Ежели докачать файл через прокси до конца, последующие
> запросы к нему происходят на максимальной скорости (1Gbps в тесте).
>
> С чем может быть связана медленная отдача закешированных слайсов?
>
>
Уточнение.

Апстрим ограничивает скорость отдачи до 1Мбайт/сек.
slice module вместо того чтобы быстро собрать имеющиеся в кэше слайсы и
отправить их клиенту начинает запрашивать новые (отсутствующие?) у апстрима.
Как раз в этот момент и проседает скорость отдачи имеющихся слайсов.
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

slice module + thread pools

2016-02-23 Пенетрантность Vadim Lazovskiy

Здравствуйте.

Возникает проблема с отдачей данных из кэша при использовании связки slice
module + aio treads.

Проблема 1 (aio выключено, slice включен):
Если запустить скачивание файла через прокси, прервать на середине, а потом
запустить заново, закешированная часть отдается медленно (5-8
мегабайт/сек). Ежели докачать файл через прокси до конца, последующие
запросы к нему происходят на максимальной скорости (1Gbps в тесте).

С чем может быть связана медленная отдача закешированных слайсов?

Проблема 2 (aio включено slice включен):
Если запустить  скачивание файла через прокси, скорость очень низкая,
соединение постоянно разрывается. В логах при этом:
2016/02/23 10:36:11 [alert] 11124#11124: task #1 already active
2016/02/23 10:36:12 [alert] 11124#11124: task #4 already active
2016/02/23 10:36:14 [alert] 11124#11124: task #7 already active
2016/02/23 10:36:17 [alert] 11124#11124: task #10 already active
2016/02/23 10:37:59 [alert] 11124#11124: task #23 already active
2016/02/23 10:38:07 [alert] 11124#11124: task #35 already active
2016/02/23 10:38:17 [alert] 11124#11124: task #37 already active

Если отключить slice module, все становится хорошо.

С чем могут быть связаны данные проблемы?

Спасибо.


Конфиг:

thread_pool pool_ssd01 threads=16;

proxy_cache_path /disks/ssd01 levels=1:2 keys_zone=cache_ssd01:4m
use_temp_path=off inactive=7d max_size=230G;

split_clients $request_uri $disk {
100% ssd01;
}

location /streams/ {
location ~
^/streams/(?[^/]+)/(?.*)$ {
if ($allowed = 0) {
return 403;
}

slice 10m;

aio threads=pool_$disk;

proxy_pass http://
$upstream_hostname/$upstream_uri$is_args$args;
proxy_set_header Host $upstream_hostname;
proxy_set_header Range $slice_range;
proxy_ignore_client_abort on;

proxy_cache cache_$disk;
proxy_cache_key
$upstream_hostname$upstream_uri$slice_range;
proxy_cache_revalidate on;

proxy_cache_bypass $arg_start;
proxy_no_cache $arg_start;

proxy_cache_lock on;
proxy_cache_lock_age 60s;

proxy_cache_use_stale error timeout invalid_header
updating http_500 http_502 http_503 http_504 http_403;
}
}


# uname -a
Linux localhost.localdomain 3.16.0-4-amd64 #1 SMP Debian
3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux

# /usr/sbin/nginx -V
nginx version: nginx/1.9.11
built by gcc 4.9.2 (Debian 4.9.2-10)
built with OpenSSL 1.0.1k 8 Jan 2015
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx
--modules-path=%{_libdir}/nginx/modules --conf-path=/etc/nginx/nginx.conf
--error-log-path=/var/log/nginx/error.log
--http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid
--lock-path=/var/run/nginx.lock
--http-client-body-temp-path=/var/cache/nginx/client_temp
--http-proxy-temp-path=/var/cache/nginx/proxy_temp
--http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp
--http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp
--http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx
--with-http_ssl_module --with-http_realip_module
--with-http_addition_module --with-http_sub_module --with-http_dav_module
--with-http_flv_module --with-http_mp4_module --with-http_gunzip_module
--with-http_gzip_static_module --with-http_random_index_module
--with-http_secure_link_module --with-http_stub_status_module
--with-http_auth_request_module --with-threads --with-stream
--with-stream_ssl_module --with-http_slice_module --with-mail
--with-mail_ssl_module --with-file-aio --with-http_v2_module
--with-cc-opt='-g -O2 -fstack-protector-strong -Wformat
-Werror=format-security -Wp,-D_FORTIFY_SOURCE=2'
--with-ld-opt='-Wl,-z,relro -Wl,--as-needed' --with-ipv6


-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Общий кэш на нескольких дисках

2016-02-22 Пенетрантность Vadim Lazovskiy

Здравствуйте.

Спасибо за наводку на split_clients. Похоже, вопрос снят.

22 февраля 2016 г., 21:35 пользователь Maxim Konovalov 
написал:

> On 2/22/16 9:33 PM, Maxim Konovalov wrote:
> > On 2/22/16 9:28 PM, Vadim Lazovskiy wrote:
> >> Здравствуйте.
> >>
> >> Имеется, допустим, 16 отдельных дисков.
> >> Задача сделать общий кэш.
> >>
> >> Проще всего указать levels=1, на каждом диске создать по каталогу
> >> (от 0 до f) и собрать их в симлинками в proxy_cache_path.
> >>
> >> При этом возникает проблема со временными файлами. Они создаются вне
> >> дисков во временных каталогах и из-за этого перемещение файлов
> >> происходит между файловыми системами, что очень долго и накладно.
> >>
> >> Не решает проблему и опция use_temp_path. В данном случае, она
> >> просто создает еще один временный каталог, но опять не там где нужно.
> >>
> > Не совсем ясно, почему не решает проблему use_temp_path=off. Она как раз
> > была придумана для решения описанной проблемы перемещения файлов между
> > разным файловыми системами.
>
> https://www.nginx.com/blog/nginx-caching-guide/
>
> --
> Maxim Konovalov
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Общий кэш на нескольких дисках

2016-02-22 Пенетрантность Vadim Lazovskiy

Здравствуйте.

Имеется, допустим, 16 отдельных дисков.
Задача сделать общий кэш.

Проще всего указать levels=1, на каждом диске создать по каталогу (от 0 до
f) и собрать их в симлинками в proxy_cache_path.

При этом возникает проблема со временными файлами. Они создаются вне дисков
во временных каталогах и из-за этого перемещение файлов происходит между
файловыми системами, что очень долго и накладно.

Не решает проблему и опция use_temp_path. В данном случае, она просто
создает еще один временный каталог, но опять не там где нужно.

Проблему бы решила запись временного файла непосредственно в каталог с
кешем с учетом иерархии levels c последующим переименованием в оконечное
имя. Навроде параметра use_temp_path=inplace

Подскажите, пожалуйста, как правильнее реализовать общий кэш на отдельных
дисках?

--
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Проксирование по заранее не заданным ссылкам

2016-02-19 Пенетрантность Vadim Lazovskiy

Здравствуйте.

Модули не нужны.

location / {
auth_request /router;
auth_request_set $proxy_uri $upstream_http_x_uri;

proxy_pass http://your_hostname$proxy_uri;
...
}

location = /router {
proxy_pass http://your_router_backend;
proxy_set_header X-Original-URI $request_uri;
}

Роутер должен анализировать X-Original-URI и выдавать заголовок X-Proxy-URI.
Как-то так.

19 февраля 2016 г., 14:46 пользователь sirakuzi  написал:

> Добрый день,
>
> Большого опыта общения с Nginx не имею, но потребовалось написать Nginx
> модуль который должен иметь возможность проксировать входящий запрос на
> заранее не определенные места (к примеру url куда производить проксирование
> будут браться из запроса к другому веб-сервису или из БД, запросы к которым
> будут происходить в модуле).
> Пока придумал структуру через задание переменной и изменения ее значения в
> зависимости от приходящего url, а затем передачи управления прокси модулю
> на
> эту переменную:
> proxy_pass $variable_name
> Как вы оцениваете такую реализацию? Жизнеспособна либо она при нагрузке?
> Может есть более правильные решения такого вопроса?
>
> Так же есть вопрос про обращениям к сторонним вебсервисам в теле модуля,
> лучше использовать связку subrequest+proxy_pass или же вполне можно
> воспользоваться сторонней библиотекой, к примеру libcurl?
>
> Posted at Nginx Forum:
> https://forum.nginx.org/read.php?21,264622,264622#msg-264622
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru




-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: try_files и регистр

2016-02-19 Пенетрантность Vadim Lazovskiy

Здравствуйте.

Насколько мне известно, try_files проверяет наличие файла простым открытием.
Обеспечить нечувствительность к регистру в таком случае невозможно.

Нужно читать каталог с данным файлом и приводить все элементы к одному
регистру, а затем выполнять поиск.
Но это уже совсем другая история.

18 февраля 2016 г., 22:04 пользователь Андрей Василишин  написал:

> 18.02.2016 17:48, Alex Vorona пишет:
>
>> 18.02.16 13:00, Андрей Василишин пишет:
>>
>>> Всем привет!
>>> Как сделать так, чтобы try_files искал файл без учета регистра. Есть
>>> часть расширений у файлов в верхнем регистре, часть в нижнем, ссылки все
>>> в нижнем регистре.
>>>
>> Для известного расширения можно попробовать regex capturing location на
>> имя файла без расширения и try_files с результатом capturing и нужными
>> вариантами расширения.
>>
>>
>
> пока ограничился переименованием всех файлов в нижний регистр
> find /path/to/files -type f -exec rename 's/(.*)\/([^\/]*)/$1\/\L$2/' {} \;
>
>
> Но а вообще странно, для location есть ~*, а для try_files - нет
>
>
> _______
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Многоразовое перенаправление за счет error page

2015-08-24 Пенетрантность Vadim Lazovskiy

А еще у вас не видно:
http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_intercept_errors

в вашем случае до обработки error_page просто не доходит.
Если с обеими директивами не заработает, то смотрите debug log.

24 августа 2015 г., 12:19 пользователь Vadim Osipov
 написал:
> Спасибо !
> Но, вы знаете, что-то не работает, хотя по документации должно и лимит не
> превышает.
> Я установил на уровне http, location изменил код возврата на 400 от сервера
> и все равно в location @go_for_default не переходит, а возвращает 404.
> Если у вас работает, не затруднит ли вас прислать конфигурацию ?
> Я даже логировал, в 2ю заходит, а в 3ю -нет :(
>
> Posted at Nginx Forum: 
> http://forum.nginx.org/read.php?21,261199,261200#msg-261200
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Многоразовое перенаправление за счет error page

2015-08-23 Пенетрантность Vadim Lazovskiy

Здравствуйте.

http://nginx.org/en/docs/http/ngx_http_core_module.html#recursive_error_pages

23 августа 2015 г., 23:56 пользователь Vadim Osipov
 написал:
> Здравствуйте !
>
> Скажите, пожалуйста, можно ли использовать несколько раз error_page для
> перемещения по location-ам, если получаемый статус не является желаемым ?
> Вот конфигурация (рабочая, но придуманная "от фонаря" для целей
> тестирования):
>
> location /images {
> set $memcached_key "$arg_mykey";
> memcached_pass localhost:11211;
> error_page 404 502 504 @go_to_server;
> }
>
> location @go_to_server {
> proxy_pass http://localhost:8080;
> error_page 400 @go_for_default;
> }
>
> location @go_for_default {
> set $memcached_key "default_key_$arg_mykey";
> memcached_pass localhost:11211;
> error_page 404 502 502 @go_for_default_to_server;
> }
>
> location @go_for_default_to_server {
> proxy_pass http://localhost:8080/default/images;
> return 400;
> }
>
> Посылаю запрос на /images, если в memcached нету, то обрабатываю от него
> статус, путем перенаправления запроса на сервер приложений.
> Но вот что мне не удалось, так это обработать статус от сервера приложений
> путем переброски запроса на другой location, чтобы, например как здесь,
> сделать запрос к memcached за дефолтным значением (и опять на сервер
> приложений в последний раз).
>
> Может быть то, что я хочу сделать
> не так делается
> или есть другая возможность за счет другой директивы
> или в принципе такое нельзя сделать в nginx (только 1 раз от memcached ->
> backend и за счет error_page)
> ?
>
> P.S.
> location @go_to_server {
> proxy_pass http://localhost:8080;
> error_page 400 @go_for_default;
> }
> самое интересное, что статус на клиент приходит 404. Даже если заменить на
> error_page 400 = 200;
> Получается, что 2ой раз использование error_page игнорируется ?
>
> Posted at Nginx Forum: 
> http://forum.nginx.org/read.php?21,261196,261196#msg-261196
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: webdav сервер на nginx

2015-05-08 Пенетрантность Vadim Lazovskiy

Здравствуйте.

В nginx отсутствует поддержка методов OPTIONS и PROPFIND, необходимых
для полноценной работы протокола.
Есть модуль dav_ext позволяющий осуществить задуманное:
https://github.com/arut/nginx-dav-ext-module

8 мая 2015 г., 15:10 пользователь Иван Мишин  написал:
> Поднял webdav сервер на nginx со следующим конфигом
>
>  server {
>  listen 80;
>  server_name x.x.x.x;
>
>
>  location / {
>
> autoindex on;
> root /etc/nginx/include/webdav;
> client_max_body_size 0;
> dav_methods PUT MKCOL COPY MOVE;
> create_full_put_path on;
> dav_access all:rw;
>   }
>  }
>
> права у директории drwxr-xr-x 2 root  root 4096 Май  8 14:33 webdav
>
> если набрать в браузере http://x.x.x.x/  то видно файлики которые лежат в
> директории webdav
> и их можно скачать.
>
> А вот кадавер не работает
> cadaver http://x.x.x.x:80
> Could not open collection:
> 405 Not Allowed
> dav:/?
>
> cyberduck тоже не работает пишет что  удаленный хост закрыл соединение на
> стадии handshake
>
> Как сетевой диск в windows 7 тоже не цепляется.
>
>
> Подскажите, что я делаю не так?
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Журнал запросов для кешированных страниц

2015-02-26 Пенетрантность Vadim Lazovskiy

Здравствуйте.

Можно попробовать сделать (не проверял):

map $upstream_cache_status $log_name {
   HIT hit;
   default miss;
}

access_log /var/log/nginx/domain.name-access.$log_name.log;

http://nginx.org/ru/docs/http/ngx_http_log_module.html#access_log
http://nginx.org/ru/docs/http/ngx_http_upstream_module.html#variables

Даже если такая конструкция заработает, все же лучше обновиться до 1.7

26 февраля 2015 г., 10:47 пользователь Romano  написал:
> Ребята, спасибо за помощь! На одной версии Nginx настроил, а на старых
> выходит каменный цветок. Директива access_log условия не поддерживает, а
> оператор if не позволяет разместить директиву в теле условия.
>
> Можно что-то сделать без обновления на более новые версии Nginx?
>
> Posted at Nginx Forum: 
> http://forum.nginx.org/read.php?21,256915,256925#msg-256925
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: $server protocol попадает в location, почему так?

2015-02-10 Пенетрантность Vadim Lazovskiy

Здравствуйте.

Версия nginx какая?
И, если можно, конфиг location полностью.

Есть мнение, что версия < 1.7.1:

*) Bugfix: the "alias" directive used inside a location given by a
   regular expression worked incorrectly if the "if" or "limit_except"
   directives were used.


10 февраля 2015 г., 10:47 пользователь Maximus43  написал:
> Насколько я помню, раньше все работало, а сейчас наткнулся на проблему,
> которую сходу решить не смог.
>
> Имеется location ~ '^/(?[\D-]{2})/(?.*)'
>
> В конце прописан алиас:
>
>  alias /var/www/infoss/$lang_code/vpnbox/$rest_uri;
>
> Цель, чтобы запрос http://box.infoss.no/no/index.html брал данные из
> /var/www/infoss/no/vpnbox/index.html
>
> Но в итоге я получаю ошибку:
>
> 2015/02/10 07:33:41 [error] 7046#0: *283439
> "/var/www/infoss/no/vpnbox/HTTP/1.1index.html" is not found (2: No such file
> or directory), client: 84.208.48.150, server: box.info, request: "GET /no/
> HTTP/1.1", host: "box.infoss.no"
>
> Почему-то HTTP/1.1 попадает в локейшен, а далее в переменную $rest_uri
>
> Куда копать?
>
> Заранее спасибо!
>
> Posted at Nginx Forum: 
> http://forum.nginx.org/read.php?21,256531,256531#msg-256531
>
> _______
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: image_filter в репозиториях debian

15 декабря 2014 г., 21:04 пользователь Vadim A. Misbakh-Soloviov
 написал:
>
> Не все хотят ставить кучу околоиксового crapware при установке веб-сервера,
> наример
>

Следуя вашей логике image_filter тоже crapware, раз crapware использует.

Чтобы не быть голословным, приведу список пакетов, которые нужно
установить дополнительно чтобы разобраться с зависимостями nginx-full:
geoip-database libgeoip1 libclass-isa-perl libswitch-perl perl
perl-modules libxml2 libxslt1.1 xml-core libexpat1 libfreetype6
libgd2-noxpm libjpeg8 libpng12-0
sgml-base libpcre3

"околоиксового crapware" здесь ровно 4 пакета. По-моему на кучу не тянет.

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: image_filter в репозиториях debian

15 декабря 2014 г., 20:38 пользователь Валентин Бартенев
 написал:
>
> Этот модуль требует дополнительно зависимости - библиотеки gd, которая, к 
> тому же,
> в debian тянет за собой много еще чего.
>

imho, в этом нет ничего ужасного. Зависимостей не так уж и много и все
они есть в репозитории.
Упражнения при обновлении куда хуже.

-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: image_filter в репозиториях debian

Речь идет как раз про официальные (http://nginx.org/en/linux_packages.html).

15 декабря 2014 г., 19:38 пользователь denis  написал:
> 15.12.2014 16:48, Vadim Lazovskiy пишет:
>>
>> Здравствуйте.
>>
>> А почему image_filter не включен в сборки для debian (подозреваю и для
>> прочих)?
>> Не очень удобно каждый раз при обновлении пересобирать пакет.
>
> вопрос к майтайнеру пакета для дебиана... и это не местные разрабы, как я
> понимаю.
> Во всяком случае, дебиановские пакеты тут не любят при поиске проблем,
> говорят сначала на оф заменить.
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru



-- 
WBR,
Vadim Lazovskiy
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

image_filter в репозиториях debian