Как поставить задачу на парсинг

Почти все переделки в этой работе происходят не из-за техники, а из-за того, что заказчик и исполнитель по-разному поняли задачу. Разбираем, из чего состоит хорошее ТЗ.

Опасное слово «все»

«Соберите все товары с сайта» — самая частая формулировка и самая двусмысленная. Все товары в каталоге или включая архивные? С товарами, которых нет в наличии? С вариантами одной модели по цветам — это одна строка или пять?

Разница между толкованиями — в разы по объёму и по цене. Поэтому вместо «все» полезно описывать границу: с этой категории, включая подкатегории, только доступные к заказу.

Колонки будущей таблицы

Самый быстрый способ объяснить, что вам нужно, — перечислить поля так, как вы назвали бы колонки в Excel. Не «информация о товаре», а: артикул, название, цена, цена со скидкой, наличие, ссылка, дата снятия.

Отдельно оговорите, что делать, если поля на странице нет: оставить пустым, подставить ноль или пропустить строку целиком. На больших объёмах это влияет на выводы.

Зачем вам эти данные

Вопрос кажется лишним, но он определяет структуру выгрузки. Для сравнения цен нужен один формат, для загрузки в магазин — другой, для аналитики динамики — третий, с историей и датами снятия.

Разово или регулярно

Разовый сбор и регулярный мониторинг — разные продукты. Если данные нужны раз в неделю, это стоит сказать сразу: тогда с самого начала имеет смысл строить хранилище с историей, а не отдавать плоский файл, который через неделю придётся собирать заново.

Что ещё стоит указать

• Примерный объём — хотя бы порядок: сотни, тысячи, сотни тысяч.
• Дедлайн, если он есть, и что случится, если срок сдвинется.
• Нужны ли изображения — это отдельная работа и отдельный объём.
• Есть ли у вас доступ к официальному API источника. Если есть — задача упрощается.

Три формулировки, которые стоит уточнить

«Как на этом сайте, только для нашего». Разные сайты устроены по-разному; сходство внешнего вида ничего не говорит о сложности сбора.

«Нужны контакты». Контакты компаний из открытых реестров и личные телефоны физических лиц — юридически разные вещи. Вторые мы не собираем.

«Бюджет обсудим потом». Обычно это значит, что ожидания сторон разойдутся на порядок. Лучше назвать рамку сразу — тогда мы скажем, что в неё помещается.