Здравствуйте, Руслан. RZ> Михаил, может расскажешь про RZ> результаты MapReduce, как получилось, как работает и на чем RZ> работает?
Получилось. На боевой машине только сегодня запустили. Уже даже два джоба отработали. Но пока всё очень сыро и рассказывать/выкладывать рано. Я только инсталлировал и собирал баги неделю. Кроме того, я сегодня пришёл к мысли, что репорте таки нужен :-) Сейчас мы например запускаем 500 маперов на 5 серверах. И одного редьюсера, чтобы он данные положил в 1 файл на 1 сервере. А конечно правильнее было бы запускать также много редьюсеров, чтобы они молотили данные в параллель, чтобы мускул, выступающий промежуточным хранилищем не загибался. А потом файлики репортером сливать на один сервер и там с ними работать. Короче надо там всё допилить до ума. Комментариев в коде понаписать, директории нужные автоматом создавать, а не падать на них... -- С уважением, Михаил Монашёв, SoftSearch.ru mailto:[email protected] ICQ# 166233339 http://michael.mindmix.ru/ Без бэкапа по жизни. -- Moscow.pm mailing list [email protected] | http://moscow.pm.org
