ФорумРазработкаБазы данных → проблемы с добавлением записей

проблемы с добавлением записей

  • ilma55

    Сообщения: 193 Репутация: N Группа: Кто попало

    Spritz 27 апреля 2012 г. 18:57

    Привет.

    парсю сайт.
    я получаю все данные, которые мне нужны.
    пытаюсь записать первые 100 записей, но не могу этого сделать.
    в БД записываются только первые 4 и все.

    хочу добавить, что у меня идет еще проверка на существование страницы.
    если нет такой, то переходим парсить следующую.

    не знаю. наверное из-за того, что долгий процесс обработки страницы, моя БД отключается автоматом.

    как мне увеличить это отключение?
    или что это может быть вообще такое?
    я не знаю что и подумать?

  • kostyl

    Сообщения: 5210 Репутация: N Группа: Джедаи

    Spritz 27 апреля 2012 г. 19:05, спустя 7 минут 51 секунду

    забаньте а?
  • ilma55

    Сообщения: 193 Репутация: N Группа: Кто попало

    Spritz 27 апреля 2012 г. 19:33, спустя 27 минут 30 секунд

    max_execution_time = 6000

    innodb_buffer_pool_size = 1400M
    innodb_additional_mem_pool_size = 100M

    *************
    гдавное то, кто скрипт обрабатыввает все 100 записей и выводит результат, что обошел 100 ссылок.

    но в БД заносятся только часть.
    к примеру: из 100 ссылок у меня рабочих 20.
    то есть остальные ссылки битые.
    но из этих 20 в БД заносятся данные только из 13.
    остальная инфа не заносится.
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 27 апреля 2012 г. 20:52, спустя 1 час 19 минут 19 секунд

    пытаюсь записать первые 100 записей, но не могу этого сделать.
    в БД записываются только первые 4 и все.

    Сколько по времени скрипт выполняется?
    Устанавливай подключение по необходимости заново
    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • ilma55

    Сообщения: 193 Репутация: N Группа: Кто попало

    Spritz 28 апреля 2012 г. 0:30, спустя 3 часа 37 минут 44 секунды

    скрипт выполняется примерно минут 5.
    точно не засекал.

    а вот эта идея мне понравилась: Устанавливай подключение по необходимости заново

    скорее всего я не правильно делал, но все же

    в самом цикле, когда я выбираю url , затем начинаю его парсить. и когда я получаю всю необходимую информацию, то
    делаю INSERT

    и вот я пробовал перед этим INSERT'ом тоже делать подключение к БД (include 'db.php')
    и ничего не происходило.

  • NRG

    Сообщения: 4761 Репутация: N Группа: в ухо

    Spritz 28 апреля 2012 г. 0:36, спустя 6 минут 50 секунд

    ……………………………………..________
    ………………………………,.-‘”……………….``~.,
    ………………………..,.-”…………………………….."-.,
    …………………….,/………………………………………..”:,
    …………………,?………………………………………………\,
    ………………./…………………………………………………..,}
    ……………../………………………………………………,:`^`..}
    ……………/……………………………………………,:”………/
    …………..?…..__…………………………………..:`………../
    …………./__.(….."~-,_…………………………,:`………./
    ………../(_….”~,_…….."~,_………………..,:`…….._/
    ……….{.._$;_……”=,_……."-,_…….,.-~-,},.~”;/….}
    ………..((…..*~_…….”=-._……";,,./`…./”…………../
    …,,,___.\`~,……"~.,………………..`…..}…………../
    …………(….`=-,,…….`……………………(……;_,,-”
    …………/.`~,……`-………………………….\……/\
    ………….\`~.*-,……………………………….|,./…..\,__
    ,,_……….}.>-._\……………………………..|…………..`=~-,
    …..`=~-,_\_……`\,……………………………\
    ……………….`=~-,,.\,………………………….\
    …………………………..`:,,………………………`\…………..__
    ……………………………….`=-,……………….,%`>–==``
    …………………………………._\……….._,-%…….`\
    ……………………………..,<`.._|_,-&``…………….`\
  • ilma55

    Сообщения: 193 Репутация: N Группа: Кто попало

    Spritz 28 апреля 2012 г. 11:06, спустя 10 часов 29 минут 32 секунды

    художник
  • Troy

    Сообщения: 2532 Репутация: N Группа: Джедаи

    Spritz 28 апреля 2012 г. 13:00, спустя 1 час 53 минуты 51 секунду

    нинзя
  • adwo

    Сообщения: 913 Репутация: N Группа: Джедаи

    Spritz 28 апреля 2012 г. 20:36, спустя 7 часов 36 минут 7 секунд

    А типа нельзя печатать код ответа мускула и потом посмотреть что это такое?
  • ilma55

    Сообщения: 193 Репутация: N Группа: Кто попало

    Spritz 29 апреля 2012 г. 11:25, спустя 14 часов 48 минут 47 секунд


    А типа нельзя печатать код ответа мускула и потом посмотреть что это такое?


    спасибо за ответ.
    а можно по подробнее?

    всмысле код отведа mysql?
  • adwo

    Сообщения: 913 Репутация: N Группа: Джедаи

    Spritz 29 апреля 2012 г. 14:01, спустя 2 часа 36 минут 26 секунд

    Да я хз как там в пхп. Какой ни будь mysql_error или что-то такое
  • ilma55

    Сообщения: 193 Репутация: N Группа: Кто попало

    Spritz 30 апреля 2012 г. 13:27, спустя 23 часа 26 минут 2 секунды


    Да я хз как там в пхп. Какой ни будь mysql_error или что-то такое


    спасибо.
    после result поставил mysql_error и увидел ошибку.
    поправил max_allowed_timeout и все гут =)

    тему можно закрыть
  • adwo

    Сообщения: 913 Репутация: N Группа: Джедаи

    Spritz 3 мая 2012 г. 13:03, спустя 2 дня 23 часа 35 минут

    да я крут :D из меня вышел бы неплохой пхп-кодер :D
  • ilma55

    Сообщения: 193 Репутация: N Группа: Кто попало

    Spritz 3 мая 2012 г. 13:37, спустя 34 минуты 20 секунд

    не…. скорее всего эскюэль-кодер

Пожалуйста, авторизуйтесь, чтобы написать комментарий!