Перейти к содержимому


Фотография

выгрузка


  • Пожалуйста, авторизуйтесь, чтобы ответить
11 ответов в этой теме

#1 itissafety

itissafety

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Опубликовано 04 Февраль 2015 - 14:37

Проблема вот в чем: сервис принимает только Ссылки на YML-файл, а адмитад выдает xml да еще и в архиве. Может я чего-то не понимаю и , возможно, кто-то мне объяснит как это лучше сделать, но задача простая выгрузить товар в группу (напрямую, своего сайта нет, чтобы это было бесплатно). Вопрос: как это сделать с адмитад? Заранее спасибо.



#2 Sergey_admitad

Sergey_admitad

    Сотрудник тех. поддержки

  • Администраторы
  • 653 сообщений

Опубликовано 04 Февраль 2015 - 18:56

Добрый день.

У рекламодателя, который предоставляет xml каталог в профиле, во вкладке товары можете взять ссылку на выгрузку в xml  формате, она должна подходить для Вашей цели.


По всем вопросам можете писать в ЛС, указав свой логин в системе, рад буду помочь!  :)


#3 itissafety

itissafety

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Опубликовано 04 Февраль 2015 - 19:03

Добрый день.

У рекламодателя, который предоставляет xml каталог в профиле, во вкладке товары можете взять ссылку на выгрузку в xml  формате, она должна подходить для Вашей цели.

Добрый день, немного не понимаю про что вы....рекламодатели - это компании на адмитад, они выгрузку дают в xml архиве, а мне в итоге надо получить ссылку (не сам файл, а ссылку на файл -не знаю как это объяснить, т.к. что-чего-откуда не могу пока разобраться) на файл в формате yml. Неужели никто не сталкивался?



#4 IamCPA

IamCPA

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 56 сообщений

Опубликовано 04 Февраль 2015 - 21:27

Добрый день, немного не понимаю про что вы....рекламодатели - это компании на адмитад, они выгрузку дают в xml архиве, а мне в итоге надо получить ссылку (не сам файл, а ссылку на файл -не знаю как это объяснить, т.к. что-чего-откуда не могу пока разобраться) на файл в формате yml. Неужели никто не сталкивался?

А где именно вы нашли xml архив?  Открываете партнерскую программы, там слева меню "Товары" и там ссылка на xml-файл, который, по сути и есть YML



#5 itissafety

itissafety

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Опубликовано 04 Февраль 2015 - 23:26

А где именно вы нашли xml архив?  Открываете партнерскую программы, там слева меню "Товары" и там ссылка на xml-файл, который, по сути и есть YML

 

вопрос решился (это я туплю), а подскажите, кто знает, как можно выгрузить не весь каталог товаров, а какую-то часть? есть такая возможность?



#6 Sergey_admitad

Sergey_admitad

    Сотрудник тех. поддержки

  • Администраторы
  • 653 сообщений

Опубликовано 09 Февраль 2015 - 13:52

Добрый день.
 
Чтобы ограничить количество товаров, можно сделать так: добавить к ссылке парамет limit. 
 
Пример:
 
 
Так же можно фид разбить на части, где параметр offset означает смещение, с какого товара начнется выгрузка.
 

По всем вопросам можете писать в ЛС, указав свой логин в системе, рад буду помочь!  :)


#7 iwind

iwind

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 338 сообщений

Опубликовано 21 Март 2015 - 19:11

offset и limit это конечно хорошо, но как скрипту объяснить, сколько товаров всего в выгрузке? Например, не могу скачать выгрузку lamoda одним куском. Можно было бы скачать кусками, но пихать руками скрипту на каждый оффер количество товаров в текущей выгрузке, это как то не нормально (по правде говоря, это сумасшествие - каждый день смотреть несколько десятков (скорее сотен) офферов и подставлять руками не возможно). Нет методов получения через API количества товаров, не возможно получить архив, а не сырую выгрузку (ну это же логично, что архив занимает место на порядок меньше и скачать можно проще и быстрее.) Даже нет размера файла, чтобы можно было на него ориентироваться.

В общем, для больших выгрузок, а-ля Ламода получение xml превращается в бааааальшой геморой.



#8 cpasoft.ru

cpasoft.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 1 405 сообщений

Опубликовано 21 Март 2015 - 20:42

Не совмем понимаю, зачем руками подставлять количество товаров?

Какой ответ будет от сервера адмитад если задать заведомо большее смещение?

По поводу архивов: архив на сервере надо создать, это раз. это затратно по ресурсам. Его надо хранить...и непонятно сколько времени, это затратно по месту на диске, ибо траф там довольно напряженный, поэтому проще и надежнее отдать из памяти и забыть.

#9 uralmas

uralmas

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений

Опубликовано 24 Март 2015 - 15:37

По поводу архивов: мне бы тоже хотелось получать архив вместо огромного xml. Например, фид Юлмарта весит 420+ МБ, zip - 35+ МБ. Очень часто сталкиваюсь с тем, что при загрузке файла происходит обрыв закачки и приходится заново его скачивать, а учитывая небыстрый канал для такого объёма данных (все фиды, которые мне требуются весят 3 с лишним Гб), то их закачка занимает несколько часов. Распаковка и затраты на неё на сервере стоит меньше в плане ресурсов и времени.

 

Может, сделать для желающих возможность скачивания архивов фидов по ссылки типа: http://export.admita...t=xml&gzip=true ?



#10 5hark

5hark

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 144 сообщений

Опубликовано 28 Март 2015 - 01:17

Очень часто сталкиваюсь с тем, что при загрузке файла происходит обрыв закачки и приходится заново его скачивать

 
wget-ом качайте, он докачает сам при обрыве, пример на Python:
import os

filename = '/tmp/AdmitadProducts.xml'
if os.path.exists(filename):
    os.remove(filename)
os.system("wget '" + url + "' -O " + filename)
вот еще простая функция для проверки xml, без всяких парсеров
def checkXML(self, filename):
    isValid = False
    numOffers = 0
    with open(filename) as f:
        for line in f:
            if '<offer ' in line:
                numOffers += 1
            if '</offers>' in line:
                isValid = True
 
    return isValid, numOffers

Регистрируйся и зарабатывай по царски! smileys-money-114847.gif


#11 uralmas

uralmas

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений

Опубликовано 31 Март 2015 - 12:53

Проверку на целостностность файла я делаю подобным образом.

Я пишу на PHP, а для него не нашёл подобного способа докачки файла.

Но всё это не отменяет долгое время скачивания файла, а т.к. у меня VPS не сильно мощная - нет возможности запустить скачивание и обработку всех прайсов в индивидуальных процессах, для этого надо очень много оперативки



#12 5hark

5hark

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 144 сообщений

Опубликовано 01 Апрель 2015 - 16:57

Я пишу на PHP, а для него не нашёл подобного способа докачки файла.

Но всё это не отменяет долгое время скачивания файла, а т.к. у меня VPS не сильно мощная - нет возможности запустить скачивание и обработку всех прайсов в индивидуальных процессах, для этого надо очень много оперативки

 

хз, сейчас починили, вполне быстро качается

на счет wget и php:

exec("wget '" . $url . "' -O " . $filename);

У меня обычно все упиралось в ограничения по CPU или IO, с памятью проблем не возникало.


Регистрируйся и зарабатывай по царски! smileys-money-114847.gif





Посетителей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных пользователей