Python WebDriver light

@adw0rd к тебе наверное вопрос больше. какой самый простой двиг знаешь? нужно самое легковесное решение в плане потребления ресурсов.

Задача - есть список url и нужно загрузить их, а потом готовый html body забрать оттуда. тобишь дожидаемся onready и сгребаем :)

список url ваще хуй проссышь какой, что угодно может быть.

selenium или что-то полегче еще знаешь ?

Если необязателен прям совсем настоящий браузер можно попробовать phantomjs, но это уже js.

@mathete, во, этого должно быть достаточно, мне не картинка нужна, а хтмл после рендеринга js.

спс! но это уже вторым этапом будет )) щас пока оставил тупо requests.get().

пока нет желания усложнять, контента тьма и так )) если что-то пропущу не страшно

@phpdude, но смотри, осторожнее с phantomjs, да и вообще с любыми недобраузерами. Когда я его юзал он не работал с вебсокетами (или криво работал..), херово позиционировал элементы... ну и ещё чего-то там такое было, что пришлось отказаться. Имей в виду, что что-то он переварит, а что-то нет.

@mathete, мне надо не вью полноценное от него, а просто тупо body.html после того как js jnработает. наверное справится если чо)) но позже, щас более просто реализую, а то в перфекционизм уйду

@phpdude, но смотри, осторожнее с phantomjs, да и вообще с любыми недобраузерами. Когда я его юзал он не работал с вебсокетами (или криво работал..), херово позиционировал элементы... ну и ещё чего-то там такое было, что пришлось отказаться. Имей в виду, что что-то он переварит, а что-то нет.

@mathete, мне кажется мы с ним подружимся =))) щас мы его научим делать то что нужно! Спасиб, его и искал, просто имя забыл, а то слышал про него, а так на память то с чем не работал хер вспомнишь )

ублюдство в том, что под mac os el capitan он не пашет, то есть пашет с багами и пиздец тупит. Думал сначала что это фонтом сам ебанутый, поставил на сервер, один и тот же скрипт запускаю на сервере - секунда блядь! локально запускаю - 10. И то из 10 попыток 5 отваливаются с ошибкой security error embed file:///script.js into about:blank сцука нахуй

даже phantomjs -h генерился секунд 8 блядь! поставил в итоге какой то реплейс от него - phantomjs2, локально стало тоже секунда. ненавижу такую тарту времени сцука, потерял весь день на дебаг того что не поддавалось дебагу

@phpdude, завтра-послезавтра отойдешь, много не пей

@adw0rd, да блин, ну щас 3 секунды. Было сука 10 )) щас походу вообще в докер засуну эту дрянь ебаную.

@adw0rd, зацени разницу.

Screenshot “1. Default (bash) 2015-10-09 01-02-36.png” [take.ms]
Screenshot “1. root@98c525aebd16: /mnt (docker) 2015-10-09 01-04-08.png” [take.ms]

из под docker'а :)

Screenshot “1. root@98c525aebd16: /mnt (bash) 2015-10-09 01-06-03.png” [take.ms]

phantomjs2 тоже около 3 секунд, видимо инет тупо дуплится

еще фишка )) походу phantomjs2 переваривает код лучше чем первая версия, так как на первой версии не генерируются ссылки на счетчики посещаловки, а на второй генерятся ))

а все потому что на версии 1 валятся вот такие ошибки. видимо версия javascript разная ..
TypeError: 'undefined' is not a function (evaluating 'Array.prototype.forEach.call.bind(Array.prototype.forEach)')
ReferenceError: Can't find variable: jQuery

эвано каг

@ArtjomB points out that Phantomjs does not support js bind in it's current version as of this update (1.9.7). For this reason he explains: ArtjomB: PhantomJs Bind Issue Answer

Phantomjs page.content isn't retrieving the page content [stackoverflow.com]

видимо поэтому у @mathete сокеты и не работали тож

запилил грязный хак в статье и усе заработало :)

page.onInitialized = function () {
    page.evaluate(function () {
        var isFunction = function (o) {
            return typeof o == 'function';
        };

        var bind,
            slice = [].slice,
            proto = Function.prototype,
            featureMap;

        featureMap = {
            'function-bind': 'bind'
        };

        function has(feature) {
            var prop = featureMap[feature];
            return isFunction(proto[prop]);
        }

        // check for missing features
        if (!has('function-bind')) {
            // adapted from Mozilla Developer Network example at
            // https://developer.mozilla.org/en/JavaScript/Reference/Global_Objects/Function/bind
            bind = function bind(obj) {
                var args = slice.call(arguments, 1),
                    self = this,
                    nop = function () {
                    },
                    bound = function () {
                        return self.apply(this instanceof nop ? this : (obj || {}), args.concat(slice.call(arguments)));
                    };
                nop.prototype = this.prototype || {}; // Firefox cries sometimes if prototype is undefined
                bound.prototype = new nop();
                return bound;
            };
            proto.bind = bind;
        }
    });
};

теперь результаты phantomjs и phantomjs2 идентичны по списку запрошенных файлов

@phpdude, nice job

@adw0rd, но глючить на маке phantomjs не закончил .. все равно мозги ебет))