Кейс

Два стора, одна таблица

У вас одно приложение и две площадки. Аналитик тратит день на то, чтобы свести выгрузки в один файл, и ещё день на разбор дат, которые приехали в трёх форматах.

Отзывы на одно приложение в двух сторах — это два разных формата данных. Мы сделали так, чтобы они складывались в одну таблицу без единого переименования колонки.

Заказать анализ отзывов
Единая схема полей для отзывов Google Play и App Store — сравнение колонок

Задача

Продуктовая команда хочет понять, за что ругают приложение. Приложение живёт в двух сторах, и на этом простая задача заканчивается. Сборщики Google Play и App Store Datamill приводят к одной схеме полей и датам в UTC.

Google Play и App Store отдают отзывы в разных форматах. Разные названия полей, разные типы, разный набор колонок. Аналитик получает две выгрузки и тратит день на то, чтобы превратить их в один файл — а через неделю делает это снова.

Мы решили отдать стыковку инструменту.

Что обнаружилось у площадок

У Apple жёсткий потолок. Официальный RSS-фид отдаёт максимум десять страниц по пятьдесят отзывов — 500 на приложение. Это ограничение самой Apple, оно действует для любого инструмента. Мы пишем о нём в описании актора.

Потолок считается на страновую витрину. Приложение, продающееся в десяти странах, даёт пять тысяч отзывов — причём с разбивкой по рынкам, что для анализа обычно полезнее однородной кучи. Второй способ набрать глубину — регулярные инкрементальные запуски с накоплением истории.

Наборы полей не совпадают. У Google Play есть число установок, гистограмма оценок и ответы разработчика. У Apple ничего этого в фиде нет.

Даты приходят в формате страны. Каждая площадка отдаёт дату так, как принято на запрошенной витрине. В одной колонке оказывается смесь несовместимых написаний, и выясняется это на середине анализа.

Какие решения приняли

Google Play и App Store отдают отзывы в разных форматах, у Apple потолок 500 отзывов на витрину; сборщики приводят их к одной схеме полей с датами в UTC

Схема полей общая. Оба актора отдают одинаковый набор колонок. Там, где у Apple данных нет, поле присутствует пустым — структура не разъезжается, и таблицы объединяются конкатенацией.

Все даты в UTC, ISO 8601. Исходная строка сохраняется отдельным полем, чтобы можно было проверить преобразование.

Только официальные публичные эндпоинты. У Apple это RSS-фид отзывов и iTunes Lookup для карточки приложения. Ни авторизации, ни обхода защиты — интерфейсы, которые площадка сама предоставляет для машинного доступа.

Отдельно: чего мы сознательно не взяли

У Apple берём только хеш имени автора, идентификатор рецензента не читаем; три служебных поля показывают, насколько можно доверять хешу

В фиде Apple рядом с отзывом лежит ссылка на профиль рецензента. Это стабильный идентификатор пользователя, и технически он доступен.

Мы его не читаем.

Причина простая. Хеш от настоящего идентификатора был бы точнее нашего — он позволял бы надёжно склеивать отзывы одного человека. Но ровно это и означает отслеживание конкретного пользователя по всем приложениям, где он что-то писал. Такой инструмент мы делать не хотим, и обещание «мы не будем им пользоваться» от этого не защищает.

Поэтому имя автора превращается в усечённый SHA-256 с секретной солью прямо на этапе сбора. Колонки с именем не существует ни на одном шаге.

Точность склейки от этого ниже. Три служебных поля показывают, насколько хешу можно верить: сколько отзывов делят один хеш, в скольких приложениях и в скольких странах он встретился. Повтор внутри одного приложения — почти наверняка тёзки. Повтор между приложениями и странами — повод посмотреть внимательнее.

Искать накрутку это не мешает: для неё важно поведение, имя автора не нужно.

Что получает заказчик

Одна таблица с отзывами обеих площадок, готовая к анализу без предварительной обработки. Сверху — разбор: частотные темы жалоб, различаются ли они между iOS и Android, как менялись доли после конкретных релизов.

Различия между сторами бывают заметными: на одной платформе могут жаловаться на скорость, на другой на интерфейс, а в общей куче этого не видно.

Прямое сравнение объёмов между сторами мы не делаем: потолок Apple делает такое сравнение бессмысленным. Сравниваем доли, и размер выборки указываем рядом с каждой цифрой.

Проверьте сами

Оба инструмента открыты, бесплатны и лежат в каталоге Apify.

Сборщик отзывов Google Play · Сборщик отзывов App Store

Как запустить сборщик App Store по шагам, мы описали в статье «Как выгрузить отзывы из App Store в Excel».

Запустите оба на своём приложении и сравните выгрузки.

Границы

Собираем публично видимые отзывы и карточки приложений через официальные интерфейсы площадок. Защиту не обходим, чужие учётные записи не используем.

Имена авторов хешируются на этапе сбора. Идентификаторы пользователей, аватары и ссылки на профили не читаются вообще. Профили отдельных авторов мы не составляем и на вопросы вида «что писал вот этот человек» не отвечаем.

Частые вопросы

Почему нельзя просто выгрузить оба стора и склеить в Excel?

Можно, и обычно так и делают. Проблема в том, что склейка занимает не пять минут: поля называются по-разному, оценки у Apple приходят строкой, даты в трёх форматах, а часть колонок есть только у одной площадки. Один раз это терпимо, при еженедельном сборе — нет.

Насколько данные сопоставимы, если у Apple потолок 500 отзывов?

Прямое сравнение объёмов некорректно, и мы об этом пишем в каждом отчёте. Сопоставимы доли: сколько процентов жалоб приходится на тему в каждом сторе. Для этого 500 отзывов на витрину — достаточная выборка.

Можно запустить самому и посмотреть?

Да, оба инструмента опубликованы в каталоге Apify и бесплатны — вы платите только платформе за ресурсы запуска. Возьмите своё приложение и сравните выгрузки.

Вы отказались от идентификатора рецензента. Не теряете ли вы в точности?

Теряем, и говорим об этом прямо. Склейка отзывов одного автора по хешу имени менее надёжна, чем по настоящему ID. Взамен мы не создаём инструмент отслеживания человека между приложениями. Обмен осознанный, и служебные поля показывают, где хешу можно доверять, а где нет.

Ещё примеры

Читайте также

Сборщик отзывов Google Play

Мы опубликовали его в открытом каталоге, чтобы не рассказывать о своей работе, а показывать её. Запустите на любом приложении и посмотрите на данные сами.

Как выгрузить отзывы из App Store в Excel

Отзывы в App Store видит любой человек с телефоном, но таблицей Apple их не отдаёт: их можно только листать. Мы опубликовали бесплатный сборщик, который за пару минут складывает отзывы и карточку приложения в файл. Ниже шесть шагов запуска и ограничение Apple, о котором лучше знать заранее.

Парсинг или API: что выбрать для сбора данных

Если у сайта есть API, парсинг кажется лишним, а если API нет, он единственный вариант. На деле всё сложнее: API нередко отдаёт только ваши данные, у официальной выгрузки бывают лимиты, а парсинг страниц ограничен законом. Разбираем, как выбрать способ, на шести примерах из официальной документации.

Оценка задачи

Опишите, что нужно собрать

Напишите в Telegram или на почту своими словами, можно голосовым или позвоните: +7 (995) 988-77-88. Ответим в течение рабочего дня. Перед оплатой покажем пробную выгрузку на 50–100 строк, чтобы вы увидели формат данных.

Что полезно указать в первом сообщении — на странице контактов.