bRUtality

Статус

Активный

Последние сообщения bRUtality

Python → Python, VS2012 и модули на C++ • 24 декабря 2012 г. 3:27

Ага. Для python самое то. Это должно быть также уместно, как пытаться дотнетить из под nano в freeBSD.А почему это не уместно? По-моему, удобная IDE с возможностью пошаговой отладки и прочими плюшками. Кстати, под FreeBSD я дотнетил just for fun.Копай питон-буст (http://www.boost.org/doc/libs/1_5...

Ага. Для python самое то. Это должно быть также уместно, как пытаться дотнетить из под nano в freeBSD.

А почему это не уместно? По-моему, удобная IDE с возможностью пошаговой отладки и прочими плюшками.
Кстати, под FreeBSD я дотнетил just for fun.

Копай питон-буст (http://www.boost.org/doc/libs/1_52_0/libs/python/doc/). Эти ваши visual-компиляторы в списке разрешенных - http://www.boost.org/doc/libs/1_52_0/libs/python/doc/v2/platforms.html

Спасибо за наводку.
Python → Python, VS2012 и модули на C++ • 18 декабря 2012 г. 1:41
Всем доброго времени!Для разработки на python использую Visual Studio 2012. Понадобилось воткнуть С++ модуль. Попробовал пример отсюда - взлетело, использовав встроенный в VS сишный компилятор:set VS90COMNTOOLS=%VS110COMNTOOLS%C:\Python27\python.exe setup.py buildC:\Python27\python.exe setup.py i...
Всем доброго времени!
Для разработки на python использую Visual Studio 2012. Понадобилось воткнуть С++ модуль. Попробовал пример отсюда - взлетело, использовав встроенный в VS сишный компилятор:
```
set VS90COMNTOOLS=%VS110COMNTOOLS%
C:\Python27\python.exe setup.py build
C:\Python27\python.exe setup.py install
```
С примером все отлично, в общем. Теперь нужно поставить библы для С++ (в частности libpq-fe.h, но не суть), чтобы написать реальный модуль и использовать его в проекте.
Собственно, в этом и вопрос. Кто сталкивался с такой задачей, подскажите куда копать.

Заранее спасибо всем поучаствовавшим.
Python → python, postgres и многопоточность • 22 июня 2012 г. 12:56

Слушай, ну если я спрашиваю - значит хуёво описал. Тебе помощь нужна или нет?1. Сколько запросов в секунду к БД хочется организовать. Если 100к, то видимо postgres тут не помощник, хоть ты си будешь юзать, хоть ассемблер. Да и в любом случае - кей-валуе (redis) не обойтись для твоих задач? Ну ил...

Слушай, ну если я спрашиваю - значит хуёво описал. Тебе помощь нужна или нет?

1. Сколько запросов в секунду к БД хочется организовать. Если 100к, то видимо postgres тут не помощник, хоть ты си будешь юзать, хоть ассемблер. Да и в любом случае - кей-валуе (redis) не обойтись для твоих задач? Ну или документно-ориентированной базой (couchDB, mongoDB)? Нужна транзакционность и будут сложные выборки?
2. Threading это, цитирую - "GOTO наших дней". В питоне он просто чтобы было. Проблема в I/O, городить потоки для её решения - иметь низкий КПД и все проблемы разделяемой памяти.
3. Если питон и только питон, тогда надо смотреть в сторону gevent - monkey.path_all() - если коннектор с постгресом на чистом питоне (socket питоновкий в итоге юзается), или вот пример обертки к psycopg2 https://bitbucket.org/denis/gevent/src/d0cf5d8a4ce0/examples/psycopg2_pool.py
4. Ну и если в системе сотни-тысячи сетевых запросов в секунду + тысячи вставок в БД и это всё растет… То питон не решение. Смотри в сторону erlang.

Ок, попробуем еще раз.

1. Дело упирается, как мне кажется, не в производительность БД, а в запаздывании сбора данных - пока все железки по всем ip опросятся, проходит 2 часа. Коннектов, грубо прикинул, 5 в секунду. Зато открыто может быть несколько сотен коннектов одновременно. Там БД хорошо смаштабирована вертикально, упросил еще 2 сервера на проект - буду реализовывать горизонтальное масштабирование.
2. Производительность языка здесь опять же не главное. Как я уже сказал, время уходит на опрос большого кол-ва железок. Вот если потоки криво реализованы, то это другой вопрос, можно посмотреть на другие языки. Сейчас это все и вовсе на PHP работает, и неплохо работало, надо сказать, пока не понадобилось распараллелить сбор данных.
3. Спасибо, попробую.
4. Кстати, про erlang я уже думал с год назад, но тогда нагрузка была сильно меньше, и мне показалось это пушкой по воробьям. Возможно, стоит вернуться к нему.
Python → python, postgres и многопоточность • 22 июня 2012 г. 7:21

Задача-то какая в итоге? Можно поподробнее? Зачем threading вообще? Сколько запросов в секунду надо делать?Задачу я описал двумя постами ранее подробнее некуда. Если имеются конкретные вопросы, с удовольствием отвечу.

Задача-то какая в итоге? Можно поподробнее? Зачем threading вообще? Сколько запросов в секунду надо делать?

Задачу я описал двумя постами ранее подробнее некуда. Если имеются конкретные вопросы, с удовольствием отвечу.
Python → python, postgres и многопоточность • 21 июня 2012 г. 13:29

Всем спасибо за поиск решения моей проблемы!Сейчас все объясню. Это реально работающий проект, у которого нагрузка все время возрастает. Суть его очень простая: по snmp идет опрос железок и заносится в базу, а юзеры в онлайн-режиме смотрят свежесобранную статистику. Так вот, сейчас имеется около ...
Всем спасибо за поиск решения моей проблемы!

Сейчас все объясню. Это реально работающий проект, у которого нагрузка все время возрастает. Суть его очень простая: по snmp идет опрос железок и заносится в базу, а юзеры в онлайн-режиме смотрят свежесобранную статистику. Так вот, сейчас имеется около 600 ip, на каждом около 1000 железок. Если опрашивать последовательно, то статистика запаздывает на 2 часа. Поэтому было принято решение как-то распараллелить сбор данных. Других признаков, кроме как по ip, нету. Я попробовал делать это не через потоки, а отдельным процессом. Результат несложно угадать - т.к. каждый процесс имеет свой коннект, то такое число коннектов нагибает сервер БД. Выше прозвучал вопрос, зачем запускать COPY ради одной строки? Так вот, строк около 1000. А операция COPY, особенно когда пачкой, куда дешевле чем INSERT. Поэтому у меня сейчас нет другой концепции, кроме как запустить много потоков с общим коннектом. Суть проблемы я изложил, если можно предложить что-то более эффективное, то буду благодарен. Или будем делать решать проблему, чтобы потоки не конфликтовали за коннект (как я понял, было предложено два способа: лочить ресурс или использовать пул потоков).
Python → python, postgres и многопоточность • 21 июня 2012 г. 9:46

Я питон только начал изучать, могу что-то не понимать пока. Идея была такова: соединение одно, а курсоров - каждому потоку свой. Может, гуру подскажут, как это реализовать?
Я питон только начал изучать, могу что-то не понимать пока. Идея была такова: соединение одно, а курсоров - каждому потоку свой. Может, гуру подскажут, как это реализовать?
Python → python, postgres и многопоточность • 21 июня 2012 г. 9:36

наверное хочет какую то блокировку на какой то ресурс, перекрытие происходит походу. так ты неверно делаешь просто.сделай pooling queue и отпадет проблема. Вот мне и непонятно, почему блокировка происходит. Ресурс cur приватный, значит для каждого потока должен свой создаваться.Пулинг попробую, с...

наверное хочет какую то блокировку на какой то ресурс, перекрытие происходит походу. так ты неверно делаешь просто.

сделай pooling queue и отпадет проблема.

Вот мне и непонятно, почему блокировка происходит. Ресурс cur приватный, значит для каждого потока должен свой создаваться.
Пулинг попробую, спасибо за совет.
Python → python, postgres и многопоточность • 21 июня 2012 г. 9:23
Доброго времени суток!Помогите, пожалуйста, решить следующую проблему.Нужно записывать данные в PostgresQL одновременно в нескольких потоках, используя одно и то же соединение (т.к. потоков очень много, и если каждый будет открывать свое соединение, получится существенное замедление работы).Вот т...
Доброго времени суток!

Помогите, пожалуйста, решить следующую проблему.
Нужно записывать данные в PostgresQL одновременно в нескольких потоках, используя одно и то же соединение (т.к. потоков очень много, и если каждый будет открывать свое соединение, получится существенное замедление работы).
Вот такой скрипт набросал:
```
global conn

ips = []
ips = GetIp() #код это функции приводить не буду, она просто достает данные из БД 

for ip in ips:
    dbt = DBThread(ip)
    dbt.start()
while threading.activeCount() > 1: time.sleep(1)

conn.close()

class DBThread(threading.Thread):
    def __init__(self, ip):
        self.ip = ip
        threading.Thread.__init__(self)
        self.cur = conn.cursor()
        self.cpy = StringIO()
    def run(self):
        #здесь идет блок кода, формирующий строку для всавки в БД методом COPY,
        #условно обозначу его 
        str_for_copy = get_str()
        
        self.cpy.write(str_for_copy)
        self.cpy.seek(0)
        self.cur.copy_from(self.cpy, 'my_table', columns = ('column1', 'column2'))
        conn.commit() 
```
Если потоков немного, порядка 5, то все отрабатывает на ура. При сотне-другой после нескольких успешных записей валится ошибка:
```
Exception in thread Thread-19:
Traceback (most recent call last):
  File "/usr/local/lib/python2.6/threading.py", line 532, in __bootstrap_inner
    self.run()
  File "/path/script.py", line 91, in run
    cur.copy_from(cpy, 'my_table', columns = ('column1', 'column2'))
DatabaseError: no COPY in progress 
```
```
Exception in thread Thread-218:
Traceback (most recent call last):
  File "/usr/local/lib/python2.6/threading.py", line 532, in __bootstrap_inner
    self.run()
  File "/path/script.py", line 57, in run
    rows = cur.fetchall() #это первая строка в методе, использующая cur
InterfaceError: cursor already closed 
```
Ощущение, как будто потоки не успевают освобождать какой-то общий ресурс.
То ли фича питона такая, то ли я где недопонимаю.
PHP для идиотов → Доступ к переменной resource • 19 июня 2012 г. 14:19

Проблема в том, что нужно ее передавать как параметр другому скрипту, а там кроме строки ничего не передашь. учи мат часть. ту ту тебя проблема в том, что передавать готовые ресурсы другому скрипту нельзя в принципе. про форкнутные процессы я не в курсе, но сомневаюсь что у тебя такая ситуация.Та...

Проблема в том, что нужно ее передавать как параметр другому скрипту, а там кроме строки ничего не передашь.
учи мат часть. ту ту тебя проблема в том, что передавать готовые ресурсы другому скрипту нельзя в принципе. про форкнутные процессы я не в курсе, но сомневаюсь что у тебя такая ситуация.

Так вот я и хотел извернуться - передать id и в вызываемом скрипте ресурс восстановить. А скрипт запускается в другом процессе.
Нельзя так нельзя.
PHP для идиотов → Доступ к переменной resource • 19 июня 2012 г. 13:49

Проблема в том, что нужно ее передавать как параметр другому скрипту, а там кроме строки ничего не передашь.
Проблема в том, что нужно ее передавать как параметр другому скрипту, а там кроме строки ничего не передашь.
PHP для идиотов → Доступ к переменной resource • 19 июня 2012 г. 9:21

Теперь всю серверную часть на питоне переписывать. Пойду обьюсь апстену.
Теперь всю серверную часть на питоне переписывать. Пойду обьюсь апстену.
PHP для идиотов → Доступ к переменной resource • 19 июня 2012 г. 8:51
Гуру, подскажите, пожалуйста, как можно получить доступ к переменной типа resource по ее id?Есть что-нибудь типа:$res = get_resource_by_id(7); ?
Гуру, подскажите, пожалуйста, как можно получить доступ к переменной типа resource по ее id?
Есть что-нибудь типа:
```
$res = get_resource_by_id(7);
```
?
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 15:10
Так что пару месяцев поживу еще.ты че реально подождешь релиза что бы проверить, как эта либа живет при нагрузке? Оо ну ты и отмороженный…Ну, во-первых, не думаю что это такая уж большая нагрузка на сервер, во-вторых, выбора-то у меня особо нету. Спустя 85 сек. Ничо так идея - сервер в кач...
Так что пару месяцев поживу еще.

ты че реально подождешь релиза что бы проверить, как эта либа живет при нагрузке? Оо ну ты и отмороженный…

Ну, во-первых, не думаю что это такая уж большая нагрузка на сервер, во-вторых, выбора-то у меня особо нету.
Спустя 85 сек.
Ничо так идея - сервер в качестве офисного компьютера использовать;)

для меня это нормальная практика, я даже волшебные слова знаю:
```
sudo apt-get install openbox obconf openbox-themes xfe xfce4-terminal tango-icon-theme-extras xorg
```
Спустя 39 сек.
и конечно же
```
startx
```
))))
и эти люди называют меня отмороженным?
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 9:33

уже не сможешь))) если пишешь с сервераНичо так идея - сервер в качестве офисного компьютера использовать;) У меня к нему только удаленный доступ.А релиз в июне. Так что пару месяцев поживу еще.

уже не сможешь))) если пишешь с сервера

Ничо так идея - сервер в качестве офисного компьютера использовать;) У меня к нему только удаленный доступ.
А релиз в июне. Так что пару месяцев поживу еще.
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 9:09

Я отпишусь.
Я отпишусь.
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 8:04
Еще немного уличной магии, и обнаружилось, что ограничения на размер массива были со стороны PHP. В качестве лекарства пошлоini_set('memory_limit', '512M')Таким образом, artichow будет жить в проекте.Всем спасибо, кто поучаствовал в решении проблемы. Теперь я знаю еще одну хорошую...
Еще немного уличной магии, и обнаружилось, что ограничения на размер массива были со стороны PHP. В качестве лекарства пошло
```
ini_set('memory_limit', '512M')
```
Таким образом, artichow будет жить в проекте.
Всем спасибо, кто поучаствовал в решении проблемы. Теперь я знаю еще одну хорошую библиотеку для графики:)
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 6:26

Гугл про это ничего не знает:(А так почитайте ман. Спустя 22 сек. спрашивается, причем тут гугл? :)ман - это умолчанию (кстати там ничего нет)Гугл обычно знает больше;) и он говорит, что нужны стороние модули, чтобы дернуть jpg c флеш Спустя 173 сек. 30-50 kb; для отрисовки на клиенте нужно перед...

Гугл про это ничего не знает:(

А так почитайте ман.

Спустя 22 сек.
спрашивается, причем тут гугл? :)

ман - это умолчанию (кстати там ничего нет)
Гугл обычно знает больше;) и он говорит, что нужны стороние модули, чтобы дернуть jpg c флеш
Спустя 173 сек.

30-50 kb; для отрисовки на клиенте нужно передать массивы по 1000-5000 точек

ты уверен, что 1000-5000 точек, займет больше, чем 30-50kb, это точно проверял?

Не уверен. Хотел провести эксперимент, но решил что считать скорость нет смысла, т.к. веб-сервис работает по интрасети конторы, а не по интернету.
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 4:03

Ок, спасибо. Тогда еще такой вопрос остался: можно ли с помощью Open Flash Charts сохранить картинку (желательно на сервере)?думаю, да. А так почитайте ман.Гугл про это ничего не знает:(Вопрос к Givi: у Open Flash Charts есть свои средства сохранения картинки в файл?

Ок, спасибо.
Тогда еще такой вопрос остался: можно ли с помощью Open Flash Charts сохранить картинку (желательно на сервере)?
думаю, да. А так почитайте ман.

Гугл про это ничего не знает:(

Вопрос к Givi: у Open Flash Charts есть свои средства сохранения картинки в файл?
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 3:15

Ок, спасибо. Тогда еще такой вопрос остался: можно ли с помощью Open Flash Charts сохранить картинку (желательно на сервере)?
Ок, спасибо.
Тогда еще такой вопрос остался: можно ли с помощью Open Flash Charts сохранить картинку (желательно на сервере)?
PHP для идиотов → Модуль Artichow: проблема при работе с большими массивами • 12 апреля 2011 г. 2:08

bRUtality, так если большой проект + графики такие объемные будут частенько рисоватся. то нахуя оно нужно рисовать все сервером, пусть тачка юзера рисует ему график (то есть мой вариант лучше юзать), а то у вас того и гляди серверов не хватит.Где быстрее будет рисоваться, на сервере или на клиент...

bRUtality, так если большой проект + графики такие объемные будут частенько рисоватся. то нахуя оно нужно рисовать все сервером, пусть тачка юзера рисует ему график (то есть мой вариант лучше юзать), а то у вас того и гляди серверов не хватит.

Где быстрее будет рисоваться, на сервере или на клиенте, лично для меня вопрос, т.к.:
- сервер с апачем и пхп на фряхе, железо кульное, работает реально быстро
- у половины потенциальных юзеров старенькое железо, ОС WinXP или Win7
- рисуя на сервере, передаем по сети картинку png размером 30-50 kb; для отрисовки на клиенте нужно передать массивы по 1000-5000 точек
Учитывая это, можно ли сказать, что клиент отрисует достаточно быстро, чтобы в меня не летели тухлые помидоры?

bRUtality

Последние сообщения bRUtality

Войти