Кейс
Два стора, одна таблица
У вас одно приложение и две площадки. Аналитик тратит день на то, чтобы свести выгрузки в один файл, и ещё день на разбор дат, которые приехали в трёх форматах.
Отзывы на одно приложение в двух сторах — это два разных формата данных. Мы сделали так, чтобы они складывались в одну таблицу без единого переименования колонки.
Заказать анализ отзывов
Задача
Продуктовая команда хочет понять, за что ругают приложение. Приложение живёт в двух сторах, и на этом простая задача заканчивается. Сборщики Google Play и App Store Datamill приводят к одной схеме полей и датам в UTC.
Google Play и App Store отдают отзывы в разных форматах. Разные названия полей, разные типы, разный набор колонок. Аналитик получает две выгрузки и тратит день на то, чтобы превратить их в один файл — а через неделю делает это снова.
Мы решили отдать стыковку инструменту.
Что обнаружилось у площадок
У Apple жёсткий потолок. Официальный RSS-фид отдаёт максимум десять страниц по пятьдесят отзывов — 500 на приложение. Это ограничение самой Apple, оно действует для любого инструмента. Мы пишем о нём в описании актора.
Потолок считается на страновую витрину. Приложение, продающееся в десяти странах, даёт пять тысяч отзывов — причём с разбивкой по рынкам, что для анализа обычно полезнее однородной кучи. Второй способ набрать глубину — регулярные инкрементальные запуски с накоплением истории.
Наборы полей не совпадают. У Google Play есть число установок, гистограмма оценок и ответы разработчика. У Apple ничего этого в фиде нет.
Даты приходят в формате страны. Каждая площадка отдаёт дату так, как принято на запрошенной витрине. В одной колонке оказывается смесь несовместимых написаний, и выясняется это на середине анализа.
Какие решения приняли

Схема полей общая. Оба актора отдают одинаковый набор колонок. Там, где у Apple данных нет, поле присутствует пустым — структура не разъезжается, и таблицы объединяются конкатенацией.
Все даты в UTC, ISO 8601. Исходная строка сохраняется отдельным полем, чтобы можно было проверить преобразование.
Только официальные публичные эндпоинты. У Apple это RSS-фид отзывов и iTunes Lookup для карточки приложения. Ни авторизации, ни обхода защиты — интерфейсы, которые площадка сама предоставляет для машинного доступа.
Отдельно: чего мы сознательно не взяли

В фиде Apple рядом с отзывом лежит ссылка на профиль рецензента. Это стабильный идентификатор пользователя, и технически он доступен.
Мы его не читаем.
Причина простая. Хеш от настоящего идентификатора был бы точнее нашего — он позволял бы надёжно склеивать отзывы одного человека. Но ровно это и означает отслеживание конкретного пользователя по всем приложениям, где он что-то писал. Такой инструмент мы делать не хотим, и обещание «мы не будем им пользоваться» от этого не защищает.
Поэтому имя автора превращается в усечённый SHA-256 с секретной солью прямо на этапе сбора. Колонки с именем не существует ни на одном шаге.
Точность склейки от этого ниже. Три служебных поля показывают, насколько хешу можно верить: сколько отзывов делят один хеш, в скольких приложениях и в скольких странах он встретился. Повтор внутри одного приложения — почти наверняка тёзки. Повтор между приложениями и странами — повод посмотреть внимательнее.
Искать накрутку это не мешает: для неё важно поведение, имя автора не нужно.
Что получает заказчик
Одна таблица с отзывами обеих площадок, готовая к анализу без предварительной обработки. Сверху — разбор: частотные темы жалоб, различаются ли они между iOS и Android, как менялись доли после конкретных релизов.
Различия между сторами бывают заметными: на одной платформе могут жаловаться на скорость, на другой на интерфейс, а в общей куче этого не видно.
Прямое сравнение объёмов между сторами мы не делаем: потолок Apple делает такое сравнение бессмысленным. Сравниваем доли, и размер выборки указываем рядом с каждой цифрой.
Проверьте сами
Оба инструмента открыты, бесплатны и лежат в каталоге Apify.
Сборщик отзывов Google Play · Сборщик отзывов App Store
Как запустить сборщик App Store по шагам, мы описали в статье «Как выгрузить отзывы из App Store в Excel».
Запустите оба на своём приложении и сравните выгрузки.
Границы
Собираем публично видимые отзывы и карточки приложений через официальные интерфейсы площадок. Защиту не обходим, чужие учётные записи не используем.
Имена авторов хешируются на этапе сбора. Идентификаторы пользователей, аватары и ссылки на профили не читаются вообще. Профили отдельных авторов мы не составляем и на вопросы вида «что писал вот этот человек» не отвечаем.
Частые вопросы
Почему нельзя просто выгрузить оба стора и склеить в Excel?
Можно, и обычно так и делают. Проблема в том, что склейка занимает не пять минут: поля называются по-разному, оценки у Apple приходят строкой, даты в трёх форматах, а часть колонок есть только у одной площадки. Один раз это терпимо, при еженедельном сборе — нет.
Насколько данные сопоставимы, если у Apple потолок 500 отзывов?
Прямое сравнение объёмов некорректно, и мы об этом пишем в каждом отчёте. Сопоставимы доли: сколько процентов жалоб приходится на тему в каждом сторе. Для этого 500 отзывов на витрину — достаточная выборка.
Можно запустить самому и посмотреть?
Да, оба инструмента опубликованы в каталоге Apify и бесплатны — вы платите только платформе за ресурсы запуска. Возьмите своё приложение и сравните выгрузки.
Вы отказались от идентификатора рецензента. Не теряете ли вы в точности?
Теряем, и говорим об этом прямо. Склейка отзывов одного автора по хешу имени менее надёжна, чем по настоящему ID. Взамен мы не создаём инструмент отслеживания человека между приложениями. Обмен осознанный, и служебные поля показывают, где хешу можно доверять, а где нет.
Ещё примеры
Читайте также
Сборщик отзывов Google Play
Мы опубликовали его в открытом каталоге, чтобы не рассказывать о своей работе, а показывать её. Запустите на любом приложении и посмотрите на данные сами.
Как выгрузить отзывы из App Store в Excel
Отзывы в App Store видит любой человек с телефоном, но таблицей Apple их не отдаёт: их можно только листать. Мы опубликовали бесплатный сборщик, который за пару минут складывает отзывы и карточку приложения в файл. Ниже шесть шагов запуска и ограничение Apple, о котором лучше знать заранее.
Парсинг или API: что выбрать для сбора данных
Если у сайта есть API, парсинг кажется лишним, а если API нет, он единственный вариант. На деле всё сложнее: API нередко отдаёт только ваши данные, у официальной выгрузки бывают лимиты, а парсинг страниц ограничен законом. Разбираем, как выбрать способ, на шести примерах из официальной документации.