1. Новые покупки Показать еще

    11.12.2016: Границы в отношениях (Е.Щербанский)

    11.12.2016: Коллекция вебинаров для ответственных родителей (Ольга Юрковская)

    11.12.2016: Магия через социальные сети (Дзэн Аши)

    11.12.2016: [udemy] Взламываем соседский wi-fi - часть 2 из 3 (на русском)

    11.12.2016: Быстрый заработок с помощью вебкамеры (Sex Workout)

  2. Гость, если у Вас на каком либо сайте есть аккаунт с повышенным статусом, то и у нас вы можете получить соответствующий статус. Подробнее читайте здесь https://www.skladchik.biz/threads/83942/
    Скрыть объявление
  3. Нужен организатор Показать еще

    10.12.2016: Роберт Шейнфилд - Самый Главный Ключ к Свободе

    09.12.2016: [U-rise] Курс JavaSE+Web

    07.12.2016: Кaк прoдвигать сaйты Пoведенческими фaкторами - Арбaйтен

    07.12.2016: Технология получения эластичного рельефного материала под кожу крокодила

    06.12.2016: Программа для анализирования футбола «FootForecast».

  4. Сбор взносов Показать еще

    10.12.2016: [Бизнес Молодость] Реальный Google AdWords (Михаил Дашкиев)(2016)

    08.12.2016: Шоколадная обработка new (Алина Каютина)(2016)

    08.12.2016: Видео-курс по художественным эффектам "Special Effects" (Алина Каютина)(2016)

    08.12.2016: Чудeса в постeли: как удивить любимого в День Валентина? (Лиза Питеркина)

    08.12.2016: Реалити-запуск на 5 000 000

Открыто Парсер продаж на Etsy [zennoposter]

Тема в разделе "Авторские складчины", создана пользователем Менеджер, 4 фев 2016.

Цена:
90р.
Взнос:
40р.

Основной список:

1. Goga
    Тип: Стандартная складчина
    Участников: 1/100
    1. 4 фев 2016
      #1
      Менеджер

      Менеджер Член клуба Член клуба

      Парсер продаж на Etsy [zennoposter]

      Всем привет.
      Предлагаю вашему вниманию небольшой шаблон для парсинга продаж магазинов Etsy!
      На данный шаблон меня вдохновила складчина от https://skladchik.biz/members/29482/ по продаже цифровых товаров, поэтому, в первую очередь, он будет полезен тем, кто приобрел тот курс.

      Для тех кто не в курсе: у всех магазинов на Etsy есть раздел, где отображена каждая продажа поштучно. Именно этот раздел мы и будем парсить.

      Что же делает шаблон?
      1. Получает на вход нужные для обработки магазины.
      2. Собирает заданное кол-во (либо все) страниц товаров с раздела продаж.
      3. Для каждого магазина генерирует свой отчет содержащий:
        • фото товаров
        • ссылки на них
        • даты последних продаж
        • суммарное количество продаж по каждой позиции
      4. Опционально генерируется общий отчет, содержащий всю статистику по обработанным магазинам
      Сгенерированный отчет позволит отследить наиболее продаваемые или, наоборот, непопулярные товары. Эта информация может помочь вам как на начальных этапах становления вашего магазина, так и для увеличения продаж уже состоявшегося магазина, путем отслеживания предпочтений покупателей и подстраивания под них товарного ряда.

      Принцип работы работы можно увидеть на видео:

      1. Из поиска Etsy были выбраны 3 случайных магазина
      2. Их названия были помещены в текстовый файл, с которым работает шаблон
      3. В настройках шаблона было выставлено количество обрабатываемых страниц для каждого магазина = 5
      4. В дополнительных настройках был выставлен вывод в консоль информации о том какая страница обрабатывается, с шагом 1.
      5. После обработки первого магазина был показан сгенерированный отчет .
      6. После завершения работы шаблона был показан общий отчет.
      Технические вопросы
      - Шаблон работает на C# и не использует эмулятор браузера, так как это бы в разы замедлило его работу.
      - Парсинг и обработка одной страницы занимает в среднем около 1с. Плохая новость в том, что при больших показателях продаж сильно разрастается и количество страниц, так как на одну страницу Etsy выдает всего-лишь 26 позиций. Большую часть времени у меня занимало именно получение ответа с контентом страницы, поэтому думаю, что все будет зависеть от вашего интернет-канала.
      - Многопоточности нет. И пока не планируется.
      - Парсил магазины на протяжении нескольких часов - бана по IP не было. Однако, для дополнительной безопасности вывел в настройки возможность выставлять задержки между запросами.
      - Также, рекомендую проставлять ограничение на количество обрабатываемых страниц магазина. Иначе обработка может занять очень много времени.
      - Шаблон открыт только на выполнение.

      Скудненькие настройки шаблона:
      [​IMG]
      [​IMG]

      Пример отчета:
      [​IMG]
      Борьба с возражениями
      В: Зачем мне покупать шаблон, если на Etsy есть возможность отсортировать товары по кол-ву продаж?
      О:
      Алгоритм подсчета Etsy мне немного не ясен. Если бы сайт просто показывал топ проданных товаров с их реальным количеством, то вопросов бы не было, однако он может показать один и тот же товар на одной странице несколько раз, а также показать товар первым в списке, хотя у него было всего 2 продажи, а у остальных в разы больше. Вот пример такого магазина:


      не могу ручаться за то, что там что-то не измениться, но в данный момент первым идет товар у которого, как раз всего две продажи (можно пролистать и посмотреть). Товар же, который имеет 18 продаж, идет почти последним на этой странице.
      Второй момент - это отсутствие общего отчета, который агрегирует данные сразу с нескольких магазинов.

      В: У Etsy есть свое API, которое, возможно, предоставляет более быстрый способ получения и фильтрации продаж. Почему не использовать его?
      О: Парсер я делал по-большей части для себя и времени, как и желания, разбираться с API, к сожалению, нет. Нужно регистрироваться как разработчик и получать индивидуальный токен для возможности дальнейшей работы + не уверен, что они дают возможность так нагло тащить эти данные. Однако ничего не могу сказать, может кто разберется и захочет попробовать поработать с API.

      В: Ок, почему цена именно такая?
      О:

      - Почему такая большая? Потому что я все-таки потратил свое время на причесывание шаблона и готов осуществлять месячную поддержку в приватной теме, а также необходимые доработки.
      - Почему такая маленькая? Потому что этот инструмент не так сложен в реализации, и я не готов брать за него большие деньги. А также я очень надеюсь, что он действительно сможет принести кому-нибудь пользу кроме меня.

      В: Че отчет такой некрасивый?

      О: А ты че такой некрасивый? В папке с шаблоном лежит файл стилей, который вы можете изменять на свой вкус и цвет! Но я согласен, возможно стоит что-нибудь подправить.

      В: У меня нет Zennoposter'a. Что это вообще такое?

      О: Zennoposter это программа, позволяющая автоматизировать любую работу в сети и не только. Она стоит денег, подробнее почитать можно на оф. сайте:


      Однако, можно использовать бесплатную демо-версию. Об её ограничениях можно почитать здесь:

      . От меня будет посильная помощь в запуске шаблона для тех, кто с этим еще не сталкивался.

      В: Может Zennobox?
      О: Вряд ли :) Учитывая стоимость шаблона, платить дополнительно $10 вряд ли кто-то захочет. Но если захочет, то почему бы и нет. Для тех кто не знает, Zennobox - это программа позволяющая работать с конкретным шаблоном без Zennoposter'a, однако за нее надо заплатить мзду, указанную выше.
      Планы
      - Добавлю возможность выбора какой из списков парсить: отсортированный по дате либо по "популярности". Сейчас работает только со вторым вариантом.
      - В планах было добавить возможность сбора магазинов по конкретному поисковому запросу и дальнейшая стандартная работа с ними. Это не сложно, но нужно собраться.

      Организационные моменты:
      - Повторюсь: Zennoposter обязателен!

      - Поддержку могу осуществлять на протяжении месяца.
      - Если особого интереса к шаблону не будет - нет проблем, складчину закроем!
      - Если вдруг Etsy забанит вас по IP за наглость, то я тут ничего поделать не смогу, придется пытаться использовать прокси, если Zennoposter позволяет.
      - Только сейчас подумал, что можно делиться отчетами. Тогда, в принципе, люди, у которых нет Zennopostera, либо закончилась демо-версия и лень перепривязывать, смогут оставлять заявки на нужные магазины. Но это так, не уверен, что действительно будет такая необходимость.
      В дальнейшем, возможно, сделаю агрегатор общих отчетов из уже готовых.
       
    2. Загрузка...

      Similar Threads
      1. Менеджер
        Открыто

        [Повтор] Парсер продаж на Etsy [zennoposter] + Бонус

        Менеджер, 6 апр 2016, в разделе: Авторские складчины
      2. Менеджер
        Открыто

        Content Downloader X1 (Ultimate) – универсальный парсер

        Менеджер, 29 сен 2016, в разделе: Скрипты и программы
      3. Менеджер
        Открыто

        Парсер компаний с Яндекс Карт (лицензия)

        Менеджер, 21 сен 2016, в разделе: Скрипты и программы
      4. Менеджер
        Открыто

        Парсер контактов компаний 2gis (лицензия)

        Менеджер, 21 сен 2016, в разделе: Скрипты и программы
      5. Менеджер
        Открыто

        Онлайн парсер сайтов и парсер товаров

        Менеджер, 16 сен 2016, в разделе: Доступ к платным ресурсам
      6. Менеджер
        Открыто

        XDomains v1.0 - Простой парсер свободных доменов- скидка 50%

        Менеджер, 13 сен 2016, в разделе: Скрипты и программы
      7. Менеджер
        Открыто

        Рассылка фото по альбомам сообществ+парсер 8000уников за...

        Менеджер, 2 сен 2016, в разделе: Курсы по SEO и SMM