Сборщик отзывов Google Play, который не собирает людей

Задача

Анализ отзывов — обычная работа: понять, за что хвалят, на что жалуются, как менялось настроение после обновления. Данные для неё публичные, площадка показывает их всем.

Проблема появляется в момент выгрузки. Стандартный сборщик отзывов отдаёт таблицу, где рядом с текстом стоит имя автора. Никому в анализе это имя не нужно — ни одна задача, ради которой отзывы собирают, не требует знать, кто конкретно написал. Но колонка есть, файл лежит на диске, и формально вы уже обрабатываете персональные данные со всеми вытекающими обязанностями.

Решение

Мы написали сборщик, в котором этой колонки не существует.

Имя автора превращается в хеш на этапе сбора, до того как строка попадёт в результат. Одинаковое имя всегда даёт одинаковый хеш, поэтому сгруппировать отзывы одного автора можно. Узнать человека — нельзя.

Аватары, ссылки на профили, почта и адрес разработчика не собираются вообще.

Что он умеет, кроме этого

• Отзывы: текст, оценка, дата, версия приложения, число полезных голосов, ответ разработчика с собственной датой.
• Карточка приложения: разработчик, установки, цена, категория, гистограмма оценок, даты выхода и обновления.
• Инкрементальный режим: указываете дату, и сбор останавливается, дойдя до старых отзывов. Для ежедневного наблюдения это разница между тридцатью секундами и часом.
• Нормализация дат в ISO 8601. Google Play отдаёт даты в формате той страны, которую вы запросили, и обычный сборщик кладёт вам в колонку смесь Sep 6, 2013, 06.09.2013 и 6 сент. 2013 г. Это выясняется на середине анализа.
• Скорость: 5 000 отзывов меньше чем за тридцать секунд.

Побочный эффект: поиск накрутки

Два служебных поля показывают, сколько отзывов в выгрузке разделяют один хеш и в скольких разных приложениях он встретился.

Один аккаунт может оставить только один отзыв на приложение. Значит повторяющийся хеш внутри одного приложения — это всегда разные люди с одинаковым именем. А вот повторение в разных приложениях уже стоит посмотреть внимательнее.

Получилось, что отказ от имён не помешал искать накрутку, а помог: работать приходится с поведением, а не с личностями.

Проверьте сами

Инструмент лежит в открытом каталоге Apify. Регистрация занимает минуту, запуск бесплатный.

Открыть в каталоге Apify

Рядом лежит сборщик отзывов App Store с той же схемой полей. Как они стыкуются — в кейсе «Два стора, одна таблица».

Возьмите любое приложение — своё, конкурента, что угодно — и посмотрите на выгрузку. Это лучший способ понять, как выглядят данные, которые мы отдаём.

Зачем мы это опубликовали

Обещание «мы не собираем персональные данные» стоит ровно столько же, сколько любое другое обещание в объявлении. Проверить его нельзя.

Опубликованный инструмент проверить можно. Он либо отдаёт имена, либо нет.

Границы

Сборщик работает с публично видимыми карточками и отзывами. Он не обходит защиту, не использует чужие аккаунты и не имеет доступа к закрытым данным.

Ответственность за то, как вы используете полученные данные, остаётся на вас — это не юридическая консультация, а описание инструмента.

Частые вопросы

Сколько стоит запуск?

Сам инструмент бесплатный: вы платите только Apify за вычислительные ресурсы, которые съел запуск. Наценки за строку данных нет.

Почему нельзя просто удалить колонку с именами после сбора?

Потому что до удаления они уже побывали у вас на диске и в логах. Мы заменяем имя хешем на этапе сбора: колонки с именем не существует ни на одном шаге.

Хеш — это же обратимо?

Нет. Это SHA-256 с солью, усечённый до 16 символов. Восстановить имя из него нельзя, а сгруппировать отзывы одного автора — можно. Ровно то, что нужно для анализа, и ничего сверх.

А для App Store такой же есть?

Есть — сборщик отзывов App Store, с инструкцией по запуску. Он отдаёт данные в такой же схеме полей, выгрузки двух площадок объединяются без переименования колонок — разбор в кейсе «Два стора, одна таблица». Учтите ограничение Apple: не больше 500 отзывов на приложение в каждой стране.