Выбор веб-сервера для многопоточного Python приложения

Всем привет.

Ситуация следующая:
Написал многопоточный парсер на питоне с использованием модуля multiprocessing.dummy. Добавил Django для разработки веб интерфейса приложения. На рабочей машине под джанговским веб-сервером все работает замечательно. При переносе на VPS решил сделать все "как надо" и поставил nginx + gunicorn. Потом уже понял, что получилось, как всегда. Принцип работы Gunicorn я до конца еще не понял, но под многопоточность он явно не подходит.

Хотелось бы услышать совет, какой веб-сервер лучше поставить и какие фреймворки в будущем использовать под подобные задачи.

Сейчас склоняюсь к тому, чтобы оставить родной джанговский веб-сервер. Работает и работает ))

P.S. С Python знаком недавно.

шолом, для уточнения. у тебя парсер многопоточный написан как часть жанги или что? как это работает? зачем их было объединять? не совсем понятно в твоем описании это

@phpdude, Парсер по сути отдельное приложение. Джанга для удобства, чтоб юзать не через консоль парсер, а через веб UI.

@ArtemVortax, а как они между собой общаются тогда и как может быть связан тип запуска жанги? :) Что за ошибка у тебя возникает в принципе? что пишут сервера?

@phpdude, Все работает через джангу. Она и запускает парсер, когда приходит определенный ajax запрос. В это время висит соединение, пока парсер работает, по окончании возвращается ответ клиенту.
Кроме того, есть ajax polling, который стучится с определенной периодичностью на сервак, дабы узнать как дела у парсера.
Так вот, на джанговском веб-сервере все работает как надо и на каждый "лонг-поллинг" сразу приходит ответ. А gunicorn "собирает" все эти запросы и через время, когда закончит работать парсер, всю пачку разом отдает.
Кстати говоря, я из парсера в качестве отладки выдаю что нибудь принтом в консоль. Так вот, ситуация такая же как и с ajax'ом. В консоль все выдается только после окончания работы скриптов, а не асинхронно.

Ошибок не видно, не могу найти.

@ArtemVortax, у тебя есть драйвер сессий, какой то, который указан в settings.SESSION_ENGINE

@phpdude, Нет

@ArtemVortax, привет, сосед

Кстати говоря, я из парсера в качестве отладки выдаю что нибудь принтом в консоль. Так вот, ситуация такая же как и с ajax'ом. В консоль все выдается только после окончания работы скриптов, а не асинхронно.

то есть если ты на том же серваке с теми же настройками запустишь это через nginx + runserver, то выдаваться в консоли будет сразу же?

а вообще, как сказал дуд, блокировка скорее всего из-за кода, а не из-за сервера) какие процессы у тебя происходят при каждом запросе: что куда/откуда пишется/читается?

@Sinkler, привет-привет )). Согласен, дело скорее всего в коде, там используются блокировки. Сейчас попробую nginx + runserver

nginx + runserver также замечательно работает

По поводу логики работы приложения. Клиентом делается запрос на парсинг. В многопоточном режиме джанга через view запускает парсинг. В процессе работы идет запись в базу. Все это время висит одно соединение, по окончании работы клиенту отдается response. На соединеие я также наложил "Lock" модуля threading, чтобы парсер работал только в одном экземпляре.
В это же время клиент стучится через ajax поллинг на сервер. За него отвечает другая вьюха. Она обращается к базе, чтобы узнать статистику. Узнает и сразу отдает клиенту.