Два стора, одна таблица

Задача

Продуктовая команда хочет понять, за что ругают приложение. Приложение живёт в двух сторах, и на этом простая задача заканчивается.

Google Play и App Store отдают отзывы в разных форматах. Разные названия полей, разные типы, разный набор колонок. Аналитик получает две выгрузки и тратит день на то, чтобы превратить их в один файл — а через неделю делает это снова.

Мы решили, что стыковку должен делать инструмент, а не человек.

Что обнаружилось у площадок

У Apple жёсткий потолок. Официальный RSS-фид отдаёт максимум десять страниц по пятьдесят отзывов — 500 на приложение. Это ограничение самой Apple, оно действует для любого инструмента. Мы его не прячем, а выносим в описание актора.

Потолок считается на страновую витрину. Приложение, продающееся в десяти странах, даёт пять тысяч отзывов — причём с разбивкой по рынкам, что для анализа обычно полезнее однородной кучи. Второй способ набрать глубину — регулярные инкрементальные запуски с накоплением истории.

Наборы полей не совпадают. У Google Play есть число установок, гистограмма оценок и ответы разработчика. У Apple ничего этого в фиде нет.

Даты приходят в формате страны. Каждая площадка отдаёт дату так, как принято на запрошенной витрине. В одной колонке оказывается смесь несовместимых написаний, и выясняется это на середине анализа.

Какие решения приняли

Схема полей общая. Оба актора отдают одинаковый набор колонок. Там, где у Apple данных нет, поле присутствует пустым — структура не разъезжается, и таблицы объединяются конкатенацией.

Все даты в UTC, ISO 8601. Исходная строка сохраняется отдельным полем, чтобы можно было проверить преобразование.

Только официальные публичные эндпоинты. У Apple это RSS-фид отзывов и iTunes Lookup для карточки приложения. Ни авторизации, ни обхода защиты — интерфейсы, которые площадка сама предоставляет для машинного доступа.

Отдельно: чего мы сознательно не взяли

В фиде Apple рядом с отзывом лежит ссылка на профиль рецензента. Это стабильный идентификатор пользователя, и технически он доступен.

Мы его не читаем.

Причина простая. Хеш от настоящего идентификатора был бы точнее нашего — он позволял бы надёжно склеивать отзывы одного человека. Но ровно это и означает отслеживание конкретного пользователя по всем приложениям, где он что-то писал. Инструмент для такого мы делать не хотим, а «мы просто не будем им пользоваться» не является защитой.

Поэтому имя автора превращается в усечённый SHA-256 с секретной солью прямо на этапе сбора. Колонки с именем не существует ни на одном шаге.

Точность склейки от этого ниже, и мы не делаем вид, что это не так. Взамен три служебных поля честно показывают, насколько хешу можно верить: сколько отзывов делят один хеш, в скольких приложениях и в скольких странах он встретился. Повтор внутри одного приложения — почти наверняка тёзки. Повтор между приложениями и странами — повод посмотреть внимательнее.

Получился побочный эффект: искать накрутку это не мешает. Работаешь с поведением, а не с личностями.

Что получает заказчик

Одна таблица с отзывами обеих площадок, готовая к анализу без предварительной обработки. Сверху — разбор: частотные темы жалоб, различаются ли они между iOS и Android, как менялись доли после конкретных релизов.

Различия между сторами почти всегда есть, и они содержательные. Одна платформа жалуется на скорость, другая на интерфейс — а из общей кучи это не видно.

Прямое сравнение объёмов между сторами мы не делаем: потолок Apple делает такое сравнение бессмысленным. Сравниваем доли, и размер выборки указываем рядом с каждой цифрой.

Проверьте сами

Оба инструмента открыты, бесплатны и лежат в каталоге Apify.

Сборщик отзывов Google Play · Сборщик отзывов App Store

Подробный разбор второго с инструкцией по запуску — в кейсе «Парсер отзывов App Store».

Запустите на своём приложении и посмотрите, как выглядят обе выгрузки. Это быстрее, чем читать про них.

Границы

Собираем публично видимые отзывы и карточки приложений через официальные интерфейсы площадок. Защиту не обходим, чужие учётные записи не используем.

Имена авторов хешируются на этапе сбора. Идентификаторы пользователей, аватары и ссылки на профили не читаются вообще. Профили отдельных авторов мы не составляем и на вопросы вида «что писал вот этот человек» не отвечаем.

Частые вопросы

Почему нельзя просто выгрузить оба стора и склеить в Excel?

Можно, и обычно так и делают. Проблема в том, что склейка занимает не пять минут: поля называются по-разному, оценки у Apple приходят строкой, даты в трёх форматах, а часть колонок есть только у одной площадки. Один раз это терпимо, при еженедельном сборе — нет.

Насколько данные сопоставимы, если у Apple потолок 500 отзывов?

Прямое сравнение объёмов некорректно, и мы об этом пишем в каждом отчёте. Сопоставимы доли: сколько процентов жалоб приходится на тему в каждом сторе. Для этого 500 отзывов на витрину — достаточная выборка.

Можно запустить самому и посмотреть?

Да, оба инструмента опубликованы в каталоге Apify и бесплатны — вы платите только платформе за ресурсы запуска. Возьмите своё приложение и сравните выгрузки.

Вы отказались от идентификатора рецензента. Не теряете ли вы в точности?

Теряем, и говорим об этом прямо. Склейка отзывов одного автора по хешу имени менее надёжна, чем по настоящему ID. Взамен мы не создаём инструмент отслеживания человека между приложениями. Обмен осознанный, и служебные поля показывают, где хешу можно доверять, а где нет.