ФорумПрограммированиеPythonDjango → Отдача большого файла клиенту

Отдача большого файла клиенту

  • john2dark

    Сообщения: 98 Репутация: N Группа: Адекваты

    Spritz 29 апреля 2016 г. 19:16, спустя 18 минут 10 секунд

    @Crank, Использовать FTP для файлов - это моё грязное наследие работы на Ростелеком :))

    @phpdude, значит зафигачу через secure link, спасибо за совет!

  • master

    Сообщения: 3236 Репутация: N Группа: Джедаи

    Spritz 29 апреля 2016 г. 22:20, спустя 3 часа 3 минуты 53 секунды

    Поскольку в большей своей массе едет текстовая информация, обжать ее в зип кажется логичным, что бы сократить объём отдаваемого клиенту файла.

    @john2dark, хз, может и логично, я бы прошелся максимум каким то простым и быстрым сжатием, зип слишком ресурсоемко

    Спустя 59 сек.

    gzip будет побыстрее ))

    @phpdude, я использую pigz - это морда для зипа (или гзипа, хз). несильно жмёт, многопоточный. идеально для бэкапов.

    Спустя 50 сек.

    из альтернатив - 7z с алгоритмом lzma2 и с малой степенью сжатия
    остальные все жмут в один поток. а много ядер весьма играют

    не всё полезно, что в swap полезло
  • kostyl

    Сообщения: 5203 Репутация: N Группа: Джедаи

    Spritz 30 апреля 2016 г. 7:54, спустя 9 часов 34 минуты 11 секунд

    @master, я так понимаю надо ведь чтоб юзер разжал у себя его потом разве нет?

    это моё грязное наследие работы на Ростелеком :))

    @john2dark, хе, ты бы не говнил компани из-за своих не знаний ;)

  • master

    Сообщения: 3236 Репутация: N Группа: Джедаи

    Spritz 30 апреля 2016 г. 8:02, спустя 8 минут 28 секунд

    @kostyl, смотря что юзер потом с этим файлом намерен делать. Бэкапы не разжимаются. Но если другой - то распаковать не проблема, pigz делает обычный zip.

    не всё полезно, что в swap полезло
  • vasa_c

    Сообщения: 3127 Репутация: N Группа: в ухо

    Spritz 30 апреля 2016 г. 11:10, спустя 3 часа 7 минут 18 секунд

    Если всё равно нужно выгребать данные из монги и писать в файл, то почему сразу не отдавать эти данные клиенту?

  • john2dark

    Сообщения: 98 Репутация: N Группа: Адекваты

    Spritz 30 апреля 2016 г. 11:40, спустя 30 минут 47 секунд

    @vasa_c, видимо потому, что эти данные могут быть большими, могут быть затребованы в разных конечных форматах (text, pdf, csv), могут проходить дополнительную нормализацию.

  • master

    Сообщения: 3236 Репутация: N Группа: Джедаи

    Spritz 30 апреля 2016 г. 14:59, спустя 3 часа 18 минут 51 секунду

    @john2dark, и могут быть выкачаны многопоточной закачкой или докачкой. короче, намного лучше класть сначала в файл.

    не всё полезно, что в swap полезло
  • Ivan.

    Сообщения: 494 Репутация: N Группа: Адекваты

    Spritz 30 апреля 2016 г. 17:03, спустя 2 часа 3 минуты 28 секунд

    x-accel-redirect nginx
    X-Accel | NGINX [nginx.com]

    Спустя 19 сек.

    johnsensible/django-sendfile [github.com]

    Спустя 85 сек.

    прочитал что данные в монге - выкачивай их в файловую систему по другому никак нормально не сделать

  • john2dark

    Сообщения: 98 Репутация: N Группа: Адекваты

    Spritz 30 апреля 2016 г. 19:41, спустя 2 часа 37 минут 48 секунд

    @Ivan., спасибо за ссылки, буду выкачивать.

  • Ivan.

    Сообщения: 494 Репутация: N Группа: Адекваты

    Spritz 2 мая 2016 г. 4:21, спустя 1 день 8 часов 40 минут

    вообще у кого деньги позволяют s3 заебись

  • john2dark

    Сообщения: 98 Репутация: N Группа: Адекваты

    Spritz 2 мая 2016 г. 7:24, спустя 3 часа 2 минуты 47 секунд

    @Ivan., Стартап, деньги пока не позволяют, но в планах s3 или гугл (Google Developer Launchpad)

Пожалуйста, авторизуйтесь, чтобы написать комментарий!