bRUtality

Ага. Для python самое то. Это должно быть также уместно, как пытаться дотнетить из под nano в freeBSD.

А почему это не уместно? По-моему, удобная IDE с возможностью пошаговой отладки и прочими плюшками.
Кстати, под FreeBSD я дотнетил just for fun.

Копай питон-буст (http://www.boost.org/doc/libs/1_52_0/libs/python/doc/). Эти ваши visual-компиляторы в списке разрешенных - http://www.boost.org/doc/libs/1_52_0/libs/python/doc/v2/platforms.html

Спасибо за наводку.

Всем доброго времени!
Для разработки на python использую Visual Studio 2012. Понадобилось воткнуть С++ модуль. Попробовал пример отсюда - взлетело, использовав встроенный в VS сишный компилятор:

set VS90COMNTOOLS=%VS110COMNTOOLS%
C:\Python27\python.exe setup.py build
C:\Python27\python.exe setup.py install

С примером все отлично, в общем. Теперь нужно поставить библы для С++ (в частности libpq-fe.h, но не суть), чтобы написать реальный модуль и использовать его в проекте.
Собственно, в этом и вопрос. Кто сталкивался с такой задачей, подскажите куда копать.

Заранее спасибо всем поучаствовавшим.

Слушай, ну если я спрашиваю - значит хуёво описал. Тебе помощь нужна или нет?

1. Сколько запросов в секунду к БД хочется организовать. Если 100к, то видимо postgres тут не помощник, хоть ты си будешь юзать, хоть ассемблер. Да и в любом случае - кей-валуе (redis) не обойтись для твоих задач? Ну или документно-ориентированной базой (couchDB, mongoDB)? Нужна транзакционность и будут сложные выборки?
2. Threading это, цитирую - "GOTO наших дней". В питоне он просто чтобы было. Проблема в I/O, городить потоки для её решения - иметь низкий КПД и все проблемы разделяемой памяти.
3. Если питон и только питон, тогда надо смотреть в сторону gevent - monkey.path_all() - если коннектор с постгресом на чистом питоне (socket питоновкий в итоге юзается), или вот пример обертки к psycopg2 https://bitbucket.org/denis/gevent/src/d0cf5d8a4ce0/examples/psycopg2_pool.py
4. Ну и если в системе сотни-тысячи сетевых запросов в секунду + тысячи вставок в БД и это всё растет… То питон не решение. Смотри в сторону erlang.

Ок, попробуем еще раз.

1. Дело упирается, как мне кажется, не в производительность БД, а в запаздывании сбора данных - пока все железки по всем ip опросятся, проходит 2 часа. Коннектов, грубо прикинул, 5 в секунду. Зато открыто может быть несколько сотен коннектов одновременно. Там БД хорошо смаштабирована вертикально, упросил еще 2 сервера на проект - буду реализовывать горизонтальное масштабирование.
2. Производительность языка здесь опять же не главное. Как я уже сказал, время уходит на опрос большого кол-ва железок. Вот если потоки криво реализованы, то это другой вопрос, можно посмотреть на другие языки. Сейчас это все и вовсе на PHP работает, и неплохо работало, надо сказать, пока не понадобилось распараллелить сбор данных.
3. Спасибо, попробую.
4. Кстати, про erlang я уже думал с год назад, но тогда нагрузка была сильно меньше, и мне показалось это пушкой по воробьям. Возможно, стоит вернуться к нему.

Задача-то какая в итоге? Можно поподробнее? Зачем threading вообще? Сколько запросов в секунду надо делать?

Задачу я описал двумя постами ранее подробнее некуда. Если имеются конкретные вопросы, с удовольствием отвечу.

Всем спасибо за поиск решения моей проблемы!

Сейчас все объясню. Это реально работающий проект, у которого нагрузка все время возрастает. Суть его очень простая: по snmp идет опрос железок и заносится в базу, а юзеры в онлайн-режиме смотрят свежесобранную статистику. Так вот, сейчас имеется около 600 ip, на каждом около 1000 железок. Если опрашивать последовательно, то статистика запаздывает на 2 часа. Поэтому было принято решение как-то распараллелить сбор данных. Других признаков, кроме как по ip, нету. Я попробовал делать это не через потоки, а отдельным процессом. Результат несложно угадать - т.к. каждый процесс имеет свой коннект, то такое число коннектов нагибает сервер БД. Выше прозвучал вопрос, зачем запускать COPY ради одной строки? Так вот, строк около 1000. А операция COPY, особенно когда пачкой, куда дешевле чем INSERT. Поэтому у меня сейчас нет другой концепции, кроме как запустить много потоков с общим коннектом. Суть проблемы я изложил, если можно предложить что-то более эффективное, то буду благодарен. Или будем делать решать проблему, чтобы потоки не конфликтовали за коннект (как я понял, было предложено два способа: лочить ресурс или использовать пул потоков).

Я питон только начал изучать, могу что-то не понимать пока. Идея была такова: соединение одно, а курсоров - каждому потоку свой. Может, гуру подскажут, как это реализовать?

наверное хочет какую то блокировку на какой то ресурс, перекрытие происходит походу. так ты неверно делаешь просто.

сделай pooling queue и отпадет проблема.

Вот мне и непонятно, почему блокировка происходит. Ресурс cur приватный, значит для каждого потока должен свой создаваться.
Пулинг попробую, спасибо за совет.

Доброго времени суток!

Помогите, пожалуйста, решить следующую проблему.
Нужно записывать данные в PostgresQL одновременно в нескольких потоках, используя одно и то же соединение (т.к. потоков очень много, и если каждый будет открывать свое соединение, получится существенное замедление работы).
Вот такой скрипт набросал:

global conn

ips = []
ips = GetIp() #код это функции приводить не буду, она просто достает данные из БД 

for ip in ips:
    dbt = DBThread(ip)
    dbt.start()
while threading.activeCount() > 1: time.sleep(1)

conn.close()

class DBThread(threading.Thread):
    def __init__(self, ip):
        self.ip = ip
        threading.Thread.__init__(self)
        self.cur = conn.cursor()
        self.cpy = StringIO()
    def run(self):
        #здесь идет блок кода, формирующий строку для всавки в БД методом COPY,
        #условно обозначу его 
        str_for_copy = get_str()
        
        self.cpy.write(str_for_copy)
        self.cpy.seek(0)
        self.cur.copy_from(self.cpy, 'my_table', columns = ('column1', 'column2'))
        conn.commit() 

Если потоков немного, порядка 5, то все отрабатывает на ура. При сотне-другой после нескольких успешных записей валится ошибка:

Exception in thread Thread-19:
Traceback (most recent call last):
  File "/usr/local/lib/python2.6/threading.py", line 532, in __bootstrap_inner
    self.run()
  File "/path/script.py", line 91, in run
    cur.copy_from(cpy, 'my_table', columns = ('column1', 'column2'))
DatabaseError: no COPY in progress 

Exception in thread Thread-218:
Traceback (most recent call last):
  File "/usr/local/lib/python2.6/threading.py", line 532, in __bootstrap_inner
    self.run()
  File "/path/script.py", line 57, in run
    rows = cur.fetchall() #это первая строка в методе, использующая cur
InterfaceError: cursor already closed 

Ощущение, как будто потоки не успевают освобождать какой-то общий ресурс.
То ли фича питона такая, то ли я где недопонимаю.

Проблема в том, что нужно ее передавать как параметр другому скрипту, а там кроме строки ничего не передашь.

учи мат часть. ту ту тебя проблема в том, что передавать готовые ресурсы другому скрипту нельзя в принципе. про форкнутные процессы я не в курсе, но сомневаюсь что у тебя такая ситуация.

Так вот я и хотел извернуться - передать id и в вызываемом скрипте ресурс восстановить. А скрипт запускается в другом процессе.
Нельзя так нельзя.

Проблема в том, что нужно ее передавать как параметр другому скрипту, а там кроме строки ничего не передашь.

Теперь всю серверную часть на питоне переписывать. Пойду обьюсь апстену.

Гуру, подскажите, пожалуйста, как можно получить доступ к переменной типа resource по ее id?
Есть что-нибудь типа:

$res = get_resource_by_id(7);

?

Так что пару месяцев поживу еще.

ты че реально подождешь релиза что бы проверить, как эта либа живет при нагрузке? Оо ну ты и отмороженный…

Ну, во-первых, не думаю что это такая уж большая нагрузка на сервер, во-вторых, выбора-то у меня особо нету.

Ничо так идея - сервер в качестве офисного компьютера использовать;)

для меня это нормальная практика, я даже волшебные слова знаю:

sudo apt-get install openbox obconf openbox-themes xfe xfce4-terminal tango-icon-theme-extras xorg

Спустя 39 сек.

и конечно же

startx

))))
и эти люди называют меня отмороженным?

уже не сможешь))) если пишешь с сервера

Ничо так идея - сервер в качестве офисного компьютера использовать;) У меня к нему только удаленный доступ.
А релиз в июне. Так что пару месяцев поживу еще.

Я отпишусь.

Еще немного уличной магии, и обнаружилось, что ограничения на размер массива были со стороны PHP. В качестве лекарства пошло

ini_set('memory_limit', '512M')

Таким образом, artichow будет жить в проекте.
Всем спасибо, кто поучаствовал в решении проблемы. Теперь я знаю еще одну хорошую библиотеку для графики:)

Гугл про это ничего не знает:(

А так почитайте ман.

Спустя 22 сек.

спрашивается, причем тут гугл? :)

ман - это умолчанию (кстати там ничего нет)
Гугл обычно знает больше;) и он говорит, что нужны стороние модули, чтобы дернуть jpg c флеш

30-50 kb; для отрисовки на клиенте нужно передать массивы по 1000-5000 точек

ты уверен, что 1000-5000 точек, займет больше, чем 30-50kb, это точно проверял?

Не уверен. Хотел провести эксперимент, но решил что считать скорость нет смысла, т.к. веб-сервис работает по интрасети конторы, а не по интернету.

Ок, спасибо.
Тогда еще такой вопрос остался: можно ли с помощью Open Flash Charts сохранить картинку (желательно на сервере)?

думаю, да. А так почитайте ман.

Гугл про это ничего не знает:(

Вопрос к Givi: у Open Flash Charts есть свои средства сохранения картинки в файл?

Ок, спасибо.
Тогда еще такой вопрос остался: можно ли с помощью Open Flash Charts сохранить картинку (желательно на сервере)?

bRUtality, так если большой проект + графики такие объемные будут частенько рисоватся. то нахуя оно нужно рисовать все сервером, пусть тачка юзера рисует ему график (то есть мой вариант лучше юзать), а то у вас того и гляди серверов не хватит.

Где быстрее будет рисоваться, на сервере или на клиенте, лично для меня вопрос, т.к.:
- сервер с апачем и пхп на фряхе, железо кульное, работает реально быстро
- у половины потенциальных юзеров старенькое железо, ОС WinXP или Win7
- рисуя на сервере, передаем по сети картинку png размером 30-50 kb; для отрисовки на клиенте нужно передать массивы по 1000-5000 точек
Учитывая это, можно ли сказать, что клиент отрисует достаточно быстро, чтобы в меня не летели тухлые помидоры?