Перейти к содержимому


Фотография

Zip-архивы выгрузок


  • Пожалуйста, авторизуйтесь, чтобы ответить
18 ответов в этой теме

#1 andyleepov

andyleepov

    Новичок

  • Пользователи
  • Pip
  • 4 сообщений

Опубликовано 19 Апрель 2014 - 13:46

Дорогой Admitad,

сделай, пожалуйста, выгрузки товаров XML заархивированными в zip!

 

Это так круто - качать 11 мегов ламоды вместо 350.

 

Спасибо



#2 Alexander

Alexander

    CEO admitad

  • Администраторы
  • 2 165 сообщений
  • ГородМосква

Опубликовано 19 Апрель 2014 - 13:58

Дорогой Admitad,

сделай, пожалуйста, выгрузки товаров XML заархивированными в zip!

 

Это так круто - качать 11 мегов ламоды вместо 350.

 

Спасибо

 

Добрый день, а вы что на комп качаете а патом на сервер?)


  • Это нравится: lektor
Пожалуйста указывайте всегда свой Логин в admitad :)

#3 andyleepov

andyleepov

    Новичок

  • Пользователи
  • Pip
  • 4 сообщений

Опубликовано 19 Апрель 2014 - 14:05

Добрый день, а вы что на комп качаете а патом на сервер?)

Разумеется нет. Но архивированные выгрузки сократят процесс обработки фидов до единиц минут, вместо десятков минут, которые сейчас убиваются на даунлод.



#4 syschel

syschel

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 121 сообщений

Опубликовано 25 Апрель 2014 - 11:31

Добрый день, а вы что на комп качаете а патом на сервер?)

У слона удобно сделано. Там ставится в задачу файл выгрузки. Потом сервер слона генерит архив и складирует у себя. При запросе к ссылке, отдаётся архив. В итоге каждый раз сервер не насилуется. А если товарная сетка обновляется всего несколько раз в сутки, то и архив можно обновлять 1-2 раза в сутки. Что быстрее и лучше по ресурсам выходит. Чем при запросе, начинается формироваться файл и потом только отдаваться хмл/цсв.

З.Ы, У слона, если ссылкой на архив более месяца не пользуешься, то архив/ссылка удаляется.

З.Ы.Ы. При обновлении товаров, архив перезаписывается.



#5 Alexander

Alexander

    CEO admitad

  • Администраторы
  • 2 165 сообщений
  • ГородМосква

Опубликовано 25 Апрель 2014 - 15:45

У слона удобно сделано. Там ставится в задачу файл выгрузки. Потом сервер слона генерит архив и складирует у себя. При запросе к ссылке, отдаётся архив. В итоге каждый раз сервер не насилуется. А если товарная сетка обновляется всего несколько раз в сутки, то и архив можно обновлять 1-2 раза в сутки. Что быстрее и лучше по ресурсам выходит. Чем при запросе, начинается формироваться файл и потом только отдаваться хмл/цсв.

З.Ы, У слона, если ссылкой на архив более месяца не пользуешься, то архив/ссылка удаляется.

З.Ы.Ы. При обновлении товаров, архив перезаписывается.

 

Мы не "слон" и делать как они не собираемся, считаем что это не очень удобно - ждать 30-60 минут пока сгенерируется файл и ты сможешь его скачать.

 

ZIP архивы мы скоро предложим, но пока у нас есть более жизненно важные разработки.


Разумеется нет. Но архивированные выгрузки сократят процесс обработки фидов до единиц минут, вместо десятков минут, которые сейчас убиваются на даунлод.

 

Тогда не вижу никаких проблем. Скачивание файла занимаем всего несколько минут.


Пожалуйста указывайте всегда свой Логин в admitad :)

#6 abuse16

abuse16

    PROдвинутый пользователь

  • Пользователи
  • PipPipPip
  • 531 сообщений
  • ГородМосква

Опубликовано 25 Апрель 2014 - 17:25

Тогда не вижу никаких проблем. Скачивание файла занимаем всего несколько минут.

 

Саш, у вас сервер очень медленно отдает файлы.

Вот ради примера прямо сейчас в консоле на своем дедике протестил:

wget -O /dev/null 'http://c.speedtest.net/mini/mini.zip'

Результат: 99,763,828  79.3M/s   in 1.2s

 

 

Теперь тяну файл с адмитада:

wget -O /dev/null 'http://export.admitad.com/ru/webmaster/websites/1111111/products/export_adv_products/?user=xxx&code=yyy&advcampaign_id=4102&format=csv'

Результат: 159,650,801 1.52M/s   in 2m 23s

 

А обновить нужно ~20 офферов. Вот и считай сколько времени только на одну загрузку уходит.



#7 cpasoft.ru

cpasoft.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 1 405 сообщений

Опубликовано 25 Апрель 2014 - 17:41

Отдает он (сервер адмитада) шустро, он формирует сам файл долго...



#8 abuse16

abuse16

    PROдвинутый пользователь

  • Пользователи
  • PipPipPip
  • 531 сообщений
  • ГородМосква

Опубликовано 25 Апрель 2014 - 17:43

Отдает он (сервер адмитада) шустро, он формирует сам файл долго...

 

Вы ошибаетесь. Именно загрузка идет с той скоростью, которую я указал выше.

 

Проверьте сами. Убедитесь.



#9 cpasoft.ru

cpasoft.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 1 405 сообщений

Опубликовано 25 Апрель 2014 - 18:24

Вы ошибаетесь. Именно загрузка идет с той скоростью, которую я указал выше.

 

Проверьте сами. Убедитесь.

 

Эксперименты у Вас не совсем корректные.

 

Попросите адмитад положить на сервер тот архив что тянете со "спидтеста"... результат будет примерно тот же что и в первом примере

 

PS проверил, да, если wget показывает скорость скачивания после того, как получил ответ 200 от сервера, то да....печалька ((( у меня 8 и 0.5 соответственно получается (



#10 Alexander

Alexander

    CEO admitad

  • Администраторы
  • 2 165 сообщений
  • ГородМосква

Опубликовано 25 Апрель 2014 - 20:46

Дима а ты что тоже качаешь руками? да? если на сервере, то пусть он качает - тебе то какая разница сколько времени он будет качать файл в 1:00 ночи? вы лучше работайте над трафиком и как на нем лучше заработать.


Пожалуйста указывайте всегда свой Логин в admitad :)

#11 cpasoft.ru

cpasoft.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 1 405 сообщений

Опубликовано 25 Апрель 2014 - 21:05

Дима а ты что тоже качаешь руками? да? если на сервере, то пусть он качает - тебе то какая разница сколько времени он будет качать файл в 1:00 ночи? вы лучше работайте над трафиком и как на нем лучше заработать.

 

Мне все равно сколько он будет качать, тут дело в другом, у нас же больше половины юзеров на шаредах, там set_time_limit  как правило 30 секунд, не успел скрипт получить ответ 200 от сервера и скачать, идет лесом. Мы нашли выход и из этой ситуации, качают по другому...у нас с этим нет проблем.

 

Я прекрасно понимаю нагрузку на железо и возможности железа и что ни то ни другое не безграничны. И ребят (программистов) я то же прекрасно понимаю. 



#12 abuse16

abuse16

    PROдвинутый пользователь

  • Пользователи
  • PipPipPip
  • 531 сообщений
  • ГородМосква

Опубликовано 26 Апрель 2014 - 11:07

Дима а ты что тоже качаешь руками? да? если на сервере, то пусть он качает - тебе то какая разница сколько времени он будет качать файл в 1:00 ночи? вы лучше работайте над трафиком и как на нем лучше заработать.

 

У меня автоматически конечно... Но в дневное время и под моим чутким контролем :)

А вот для тех кто качает ручками - это на самом деле довольно длительный процесс получается.



#13 weboff

weboff

    Новичок

  • Пользователи
  • Pip
  • 1 сообщений

Опубликовано 12 Октябрь 2014 - 21:07

Хрен с ним, со сжатием. Просто сделайте чтобы отдавались заголовки о размере файла. А то каждые 3 часа перекачивать файл для проверки не изменился ли он, не кофильфо!

Почему раз в три часа? Потому что люблю актуальность данных



#14 5hark

5hark

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 144 сообщений

Опубликовано 13 Октябрь 2014 - 19:39

Мне все равно сколько он будет качать, тут дело в другом, у нас же больше половины юзеров на шаредах, там set_time_limit  как правило 30 секунд

 

Если скрипт из консоли запускается, то time limit там не 30 секунд как правило, а то и вообще нет. На 3-х разных шаред хостингах настраивал загрузку товарной выгрузки - никаких проблем не было и по таймауту ничего не отваливалось, в т.ч. и загрузка XML файла в базу. В выгрузке были все рекламодатели к которым подключена площадка, т.е. XML файл весил более 600 Мб.

 

Товары в адмитаде все равно не каждый час обновляются, так что грузить XML файл больше чем 4 раза в сутки смысла никакого не имеет. Ну загрузится файл за 2 минуты, а не за 15. Большая разница чтоли?


Регистрируйся и зарабатывай по царски! smileys-money-114847.gif


#15 illivion

illivion

    Новичок

  • Пользователи
  • Pip
  • 1 сообщений

Опубликовано 07 Сентябрь 2016 - 19:02

Добрый день!

 

Будет ли доступна в admitad выгрузка в упакованной форме? Очень актуально сейчас. 

 

Размер файла wildberries 1.7Gb. Сжатый в zip файл занимает всего 120Mb. Зачем качать 10-15 минут вместо одной? При параллельной загрузке процесс длится еще дольше. 

 

Есть какие-то перспективы?



#16 Sergey_admitad

Sergey_admitad

    Сотрудник тех. поддержки

  • Администраторы
  • 659 сообщений

Опубликовано 08 Сентябрь 2016 - 12:33

Добрый день!

 

Будет ли доступна в admitad выгрузка в упакованной форме? Очень актуально сейчас. 

 

Здравствуйте.

Спасибо за предложение, учтем, что это Вам нужно.


По всем вопросам можете писать в ЛС, указав свой логин в системе, рад буду помочь!  :)


#17 alehano

alehano

    Новичок

  • Пользователи
  • Pip
  • 1 сообщений

Опубликовано 27 Ноябрь 2016 - 10:20

Тоже очень актуальна тема zip архивов, т.к. качать приходится много.

Было бы круто если сделать как у OZON. У них архив не формируется для каждого партнера. Просто надо потом в ссылках заменить строку PARTNER_ID на свой логин. Такой способ позволит очень круто сократить ресурсы как партнерам, так и адмитаду.



#18 Admitad.Support.Evgeny

Admitad.Support.Evgeny

    Сотрудник admitad

  • Модераторы
  • 68 сообщений

Опубликовано 27 Ноябрь 2016 - 16:30

Тоже очень актуальна тема zip архивов, т.к. качать приходится много.

Было бы круто если сделать как у OZON. У них архив не формируется для каждого партнера. Просто надо потом в ссылках заменить строку PARTNER_ID на свой логин. Такой способ позволит очень круто сократить ресурсы как партнерам, так и адмитаду.

Добрый день! Спасибо за предложение, учтем данную информацию.



#19 ecash888

ecash888

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 130 сообщений

Опубликовано 08 Август 2017 - 21:14

Мне бы тоже очень хотелось видеть фиды в архивах, хотя бы те, у которых более 100-200к товаров. 
У меня 15 субдоменов на vsetovary.net + тематические сайты. полный обход/обновление занимает 4-5 дней, что не есть хорошо.






Посетителей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных пользователей