Re: Распределённое хранение файлов [OFFTOPIC]
изучал вопрос плотно. долго. ничего не было обнаружено для 50кк+ файлов. изменяемость 1к файла в минуту. бэкапить анриал. халявные не позволяли нормально предохранятся от сбоев или отвалов линков. экзотика типа мускулов и прочих глустеров - не вкатила по той же причине. коммерсы выкатывали какието неадекватные ценники под наши хотелки (асинк, восстановление в случае) написали своё. если вконтактик пишет на два диска на одном сервере. то у нас пишется асинково на два+ сервера в геонезависимых местах. да, теряли 4 диска одновременно в одном сервере) уходили с нфс-а. сейчас - заливается на фронт, потом разливается на нужное количество реплик, исходник с фронта удаляется. там же на фронте реализованы всякие ватермарки-ресайзы-кропы-куты-флипы через энжик) можем запилить эдж-кэши на основе днс-а. не проблема. Posted at Nginx Forum: http://forum.nginx.org/read.php?21,247621,249123#msg-249123 ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: Распределённое хранение файлов [OFFTOPIC]
Когда у меня была такая задача, я исходил из принципа что самое надежное решение - самое простое. Я использовал много серверов с NFS, запись в базе того, на каком сервере лежит файл и X-Accel-Redirect при его выдаче. 17 февраля 2014 г., 1:41 пользователь Alex Yakovenko aleksey.yakove...@gmail.com написал: https://github.com/mogilefs/ 16 февраля 2014 г., 21:33 пользователь Михаил Монашёв postmas...@softsearch.ru написал: Здравствуйте. Расскажите, пожалуйста, как Вы храните много разных файлов, если они на один сервер не влазят? Есть ли специальные инструменты для распространения файлов по серверам, поддержания нужного количества реплик, обхода всех файлов или файлов с каким-то признаком и т.п. -- С уважением, Михаил mailto:postmas...@softsearch.ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru -- WBR Alex Yakovenko ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: Распределённое хранение файлов [OFFTOPIC]
Мы положили в mongodb, а перед раздатчиками поставили кэширующие прокси на nginx. Д. понедельник, 17 февраля 2014 г. пользователь Andrey Velikoredchanin написал: Когда у меня была такая задача, я исходил из принципа что самое надежное решение - самое простое. Я использовал много серверов с NFS, запись в базе того, на каком сервере лежит файл и X-Accel-Redirect при его выдаче. 17 февраля 2014 г., 1:41 пользователь Alex Yakovenko aleksey.yakove...@gmail.comjavascript:_e(%7B%7D,'cvml','aleksey.yakove...@gmail.com'); написал: https://github.com/mogilefs/ 16 февраля 2014 г., 21:33 пользователь Михаил Монашёв postmas...@softsearch.rujavascript:_e(%7B%7D,'cvml','postmas...@softsearch.ru'); написал: Здравствуйте. Расскажите, пожалуйста, как Вы храните много разных файлов, если они на один сервер не влазят? Есть ли специальные инструменты для распространения файлов по серверам, поддержания нужного количества реплик, обхода всех файлов или файлов с каким-то признаком и т.п. -- С уважением, Михаил mailto:postmas...@softsearch.rujavascript:_e(%7B%7D,'cvml','postmas...@softsearch.ru'); ___ nginx-ru mailing list nginx-ru@nginx.org javascript:_e(%7B%7D,'cvml','nginx-ru@nginx.org'); http://mailman.nginx.org/mailman/listinfo/nginx-ru -- WBR Alex Yakovenko ___ nginx-ru mailing list nginx-ru@nginx.org javascript:_e(%7B%7D,'cvml','nginx-ru@nginx.org'); http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: Распределённое хранение файлов [OFFTOPIC]
https://swiftstack.com/product/ 2014-02-16 23:33 GMT+04:00 Михаил Монашёв postmas...@softsearch.ru: Здравствуйте. Расскажите, пожалуйста, как Вы храните много разных файлов, если они на один сервер не влазят? Есть ли специальные инструменты для распространения файлов по серверам, поддержания нужного количества реплик, обхода всех файлов или файлов с каким-то признаком и т.п. -- С уважением, Михаил mailto:postmas...@softsearch.ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: Распределённое хранение файлов [OFFTOPIC]
https://github.com/mogilefs/ 16 февраля 2014 г., 21:33 пользователь Михаил Монашёв postmas...@softsearch.ru написал: Здравствуйте. Расскажите, пожалуйста, как Вы храните много разных файлов, если они на один сервер не влазят? Есть ли специальные инструменты для распространения файлов по серверам, поддержания нужного количества реплик, обхода всех файлов или файлов с каким-то признаком и т.п. -- С уважением, Михаил mailto:postmas...@softsearch.ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru -- WBR Alex Yakovenko ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
