Маркетплейсы и интернет-магазины
Карточки, цены, скидки, остатки, продавцы, рейтинги, характеристики, фото. Отдельно — история изменения цены.
- цены конкурентов
- ассортимент
- наличие
Собираем данные с маркетплейсов, каталогов, агрегаторов и досок объявлений. Вы получаете не «доступ к платформе», а готовый файл с полями, которые сами назвали.
<div class="product-card"> <h3>Кофемолка Baratza Encore</h3> <span data-price="12990">12 990 ₽</span> <i class="stock">осталось 4 шт</i> </div>
| Товар | Цена | Остаток | Продавец |
|---|---|---|---|
| Кофемолка Baratza Encore | 12 990 | 4 | ТехноДом |
| Чайник Fellow Stagg EKG | 18 400 | 0 | CoffeeLab |
| Весы Acaia Pearl S | 24 900 | 12 | BaristaShop |
| Темпер Normcore V4 | 3 450 | 37 | ТехноДом |
| Пуровер Hario V60-02 | 1 190 | 148 | CoffeeLab |
| Фильтры Kalita Wave 185 | 890 | 63 | BaristaShop |
Если данные видны в браузере без взлома и оплаты чужого доступа — их можно собрать. Ниже то, что заказывают чаще всего.
Карточки, цены, скидки, остатки, продавцы, рейтинги, характеристики, фото. Отдельно — история изменения цены.
Карточки компаний, филиалы, отраслевые списки, участники выставок и рейтингов. Сведения о юридических лицах, а не о людях.
Параметры лотов, цены, даты публикации, продавцы. Отслеживаем появление и снятие объявлений по фильтру.
Карточки организаций, рейтинги, динамика оценок, распределение по темам и тональности. Без публикации сведений об авторах отзывов.
Госпорталы, реестры, тендерные площадки, лицензии. Выборка по фильтрам с ежедневным обновлением.
Заголовки, метаданные, вакансии и зарплатные вилки, расписания, показатели из документов и PDF. Полные тексты — только с разрешения правообладателя.
Половина работы парсера начинается там, где страница не отдаёт данные с первого запроса.
Присылаете ссылку на источник и список полей. Если списка нет — соберём его вместе по одной странице-образцу.
Отдаём 100–200 реальных строк. Вы смотрите на данные, а не на обещания, и правите состав полей.
Оплата — после того, как образец принят. Дальше собираем весь объём и присылаем файл в нужном формате.
Ставим сбор на расписание, следим за вёрсткой источника и чиним парсер, когда сайт меняется.
Цены ориентировочные: итог зависит от защиты источника, объёма и периодичности. Точную сумму называем после пробной выгрузки.
Если задача выглядит рискованной, мы скажем об этом до оплаты, а не после. Иногда предлагаем законный обходной путь — часто он ещё и дешевле.
Полей много, но обязательных всего четыре. Чем точнее опишете задачу, тем быстрее назовём срок и цену.
Сбор общедоступной информации сам по себе законом не запрещён — вопрос в том, что именно собирается и как используется дальше. Мы работаем с данными, открытыми любому посетителю, и не обходим платный доступ. С персональными данными строже: то, что они лежат в открытом доступе, ещё не даёт права их собирать и передавать — по 152-ФЗ нужно согласие человека или другое законное основание у заказчика. Если задача упирается в это, в пользовательское соглашение площадки или в права на содержимое, мы говорим сразу и предлагаем законный вариант.
Пробная выгрузка — обычно 1–2 рабочих дня. Полный прогон зависит от объёма и от того, насколько щедро источник отдаёт данные: небольшой каталог соберём за день, миллион карточек с антиботом — за неделю. Точный срок называем вместе с ценой, после образца.
Чаще всего берёмся: подбираем безопасный ритм запросов, ротацию адресов, корректные отпечатки браузера, при необходимости — легальное распознавание капчи. Иногда находится внутренний API, и задача становится в разы проще. Если обойти защиту можно только незаконно — откажемся и объясним почему.
Для разовой выгрузки — бесплатно чиним в течение 14 дней после сдачи. Для регулярного сбора это входит в абонплату: мы следим за структурой источника и правим парсер до того, как вы заметите пропажу данных.
Нет. Парсеры остаются у нас и работают на нашей стороне — мы их не передаём, не продаём и не разворачиваем на чужих серверах. Зато собранные данные принадлежат вам полностью: забирайте файл или поток по API и используйте как угодно, включая коммерческое применение. Данные, собранные под вашу задачу, не уходят другим заказчикам.
Для юрлиц — счёт и договор с закрывающими документами. Для остальных — перевод или СБП с чеком. Оплата после того, как вы приняли пробную выгрузку; для крупных проектов делим на этапы.