Статья

Как отличить бота от человека: разбор поведенческих сигналов

·9 мин чтения

Автор: Команда NoFraud

Посетитель зашёл с рекламы, пробыл на странице мгновение и ушёл. Бот это или человек, которому не подошло предложение? По одному визиту ответить нельзя, и в этом главная сложность. Ниже разбор поведенческих сигналов, по которым принято отличать автоматический трафик от живого: что каждый из них означает, почему он ничего не доказывает в одиночку, где он даёт ложные срабатывания и как наблюдать за ними в Метрике и Вебвизоре. Конкретных «магических» значений здесь не будет, и это сознательно: любая цифра без контекста вашего сайта вводит в заблуждение.

Почему вопрос вообще сложный

Современный бот редко выглядит как грубый скрипт. Он может открывать страницу в настоящем браузере, выполнять скрипты счётчика, подставлять правдоподобный набор заголовков и менять адреса через прокси. А настоящие люди ведут себя разнообразно: кто-то закрывает вкладку сразу, а кто-то открывает десять ссылок подряд и возвращается к ним вечером. Граница между «странным человеком» и «аккуратным ботом» размыта, поэтому честный ответ почти всегда вероятностный. Вы не доказываете, что визит автоматический, вы оцениваете, насколько совокупность признаков для него характерна.

Отсюда практический вывод. Работать нужно не с отдельными визитами, а с группами: кампания, площадка, регион, устройство, период. Аномалия в группе заметна, аномалия в одном визите почти всегда шум. Это же правило помогает и в более широкой диагностике, которую мы разбираем в статьях «Как определить ботов в Яндекс.Директ» и «Топ-5 признаков бот-трафика».

Какие сигналы бывают

Сигналы условно делятся на поведенческие (что визитёр делает на странице), временные (как он приходит и возвращается) и технические (откуда и с чего). Ни одна группа не является достаточной, но вместе они дают картину.

СигналЧто он описываетЧем может быть объяснён без ботов
Время на страницеСколько визитёр остаётся до ухода или следующего действияЧеловек сразу понял, что это не то, что он искал; страница быстро ответила на вопрос
ПрокруткаДошёл ли визитёр до содержимого ниже первого экранаКороткая страница, форма на первом экране, посадочная без прокрутки
Движения мыши и касанияЕсть ли признаки физического взаимодействия с интерфейсомТелефон без мыши, клавиатурная навигация, вспомогательные технологии
Повторные визитыКак часто один и тот же источник возвращаетсяОбщий адрес организации или оператора, сотрудники, обновление страницы
Репутация IPВстречался ли адрес во внешних базах с жалобами на злоупотребленияАдрес динамический и раньше принадлежал другому пользователю
Устройство и сетьТип устройства, браузер, тип подключения, согласованность параметровРедкий браузер, корпоративный прокси, VPN у реального человека

Обратите внимание на правый столбец. У каждого сигнала есть законное объяснение, и именно поэтому ни один из них нельзя считать приговором.

Время на странице

Автоматический визит часто «ничего не делает»: страница загрузилась, счётчик отработал, визитёр исчез. Но и человек, нажавший не туда, поступает так же. Время на странице информативно в сравнении: с другими источниками того же сайта и с динамикой по дням. Сам по себе короткий визит говорит скорее об оффере и скорости загрузки, чем о боте. Об этом подробнее в статье «Высокий CTR, но нет заявок».

Прокрутка

Если на длинной странице значительная часть визитёров из одного источника никогда не прокручивает её, это повод присмотреться. Но если ключевое действие находится на первом экране, отсутствие прокрутки нормально для любого, кто пришёл с целью. Сигнал имеет смысл только с поправкой на устройство страницы.

Движения мыши и касания

Живой человек двигает указатель, касается экрана, прокручивает страницу, нажимает клавиши. Скрипт без графической среды этого не делает. Однако доля настоящих посетителей с телефона сейчас очень велика, и у них мыши нет по определению. Поэтому сигнал «нет движений мыши» нужно всегда читать вместе с типом устройства. Подробнее об этой ловушке ниже.

Повторные визиты

Если один и тот же источник многократно приходит по рекламе за короткий период, это подозрительно: человек не кликает по одному и тому же объявлению снова и снова без причины. Но за одним адресом могут сидеть десятки людей, например, в офисе, общежитии, вузе или у мобильного оператора. В справке Директа об исключении по IP прямо описаны оба риска: динамические адреса и адреса за общим прокси (см. справку о запрете показов по IP-адресам). Частота обращений полезна как повод для проверки, но не как доказательство.

Репутация IP

Внешние базы собирают жалобы на адреса, замеченные в злоупотреблениях: подбор паролей, спам, сканирование портов, DDoS-атаки. Если адрес давно известен такими жалобами, это косвенно указывает на автоматизированную активность. Но репутация относится к адресу, а не к конкретному визиту, а адреса переходят от одного владельца к другому. Поэтому репутация усиливает или ослабляет подозрение, но не заменяет остальные сигналы. В словаре терминов есть краткое определение бот-трафика и фингерпринта.

Устройство и сеть

Сюда относят тип устройства, браузер, согласованность параметров и тип подключения. Подозрительным выглядит набор признаков, которые не бывают вместе: например, параметры мобильного устройства и поведение, свойственное серверу. Но и настоящие пользователи бывают нетипичными: старые браузеры, расширения для приватности, корпоративные сети, VPN. Здесь особенно легко получить ложное срабатывание.

Почему ни один сигнал сам по себе ничего не доказывает

У любого признака есть два вида ошибок. Первый: бот не выдаёт этот признак, потому что специально научен его имитировать. Второй: человек выдаёт этот признак по обычной причине. Чем проще признак, тем легче его имитировать и тем чаще он встречается у реальных людей. Поэтому надёжность даёт не отдельный сигнал, а согласованность нескольких независимых признаков.

Хороший способ проверить свои рассуждения: для каждого подозрительного признака сформулируйте самое невинное объяснение и посмотрите, можно ли его исключить другим признаком. Если визиты короткие, но с этого же источника приходят и заявки, объяснение «плохой оффер» уже менее вероятно, чем «смешанный трафик». Если визитов много, они однородны, повторяются с одних адресов, у них нет прокрутки и касаний, а страница длинная, то совпадение нескольких признаков указывает на автоматизацию гораздо надёжнее любого из них в отдельности.

Мобильные устройства и отсутствие мыши

Самая частая ошибка при самостоятельной диагностике: посмотреть на отчёт, увидеть «нулевую активность» и объявить визиты роботными. Но на мобильных устройствах нет указателя мыши, а касания и жесты устроены иначе: прокрутка пальцем, свайпы, увеличение щипком, нажатие на элемент. Если анализировать их так же, как десктопные сценарии, любой телефонный визит покажется «безжизненным».

  • Сравнивайте визиты внутри одного типа устройств: телефон с телефоном, компьютер с компьютером.
  • Для телефонов опирайтесь на прокрутку и касания, а не на движения указателя.
  • Проверяйте, как страница выглядит и работает на телефоне: плохая мобильная версия сама создаёт «мёртвые» визиты, потому что человек не может найти нужный элемент.
  • Учитывайте браузеры внутри приложений: встроенные просмотрщики ведут себя иначе, чем обычные браузеры.

Ложные срабатывания: когда подозревать зря

Ложное срабатывание обходится дороже, чем кажется. Если вы решите, что часть трафика фродовая, и исключите источник, вы можете потерять реальных клиентов, а причину падения заявок будете искать в ставках и сезонности. Чаще всего за «ботов» принимают следующие ситуации.

Что видноЧто на самом деле может происходитьКак проверить
Много коротких визитовСлишком широкие запросы или обманчивое объявлениеСравнить по поисковым фразам и объявлениям
Много визитов с одного адресаОбщий адрес офиса, вуза, мобильного оператораПосмотреть разнообразие устройств и поведения внутри этой группы
Нет прокрутки и касанийСтраница не открывается на телефоне корректно или форма видна сразуОткрыть страницу с разных устройств и пройти сценарий
Нетипичный браузер или сетьРасширения для приватности, корпоративный проксиСмотреть на общую долю таких визитов, а не на отдельные случаи
Всплеск визитов за один деньИзменение ставок, новая кампания, упоминание в медиаСопоставить с историей изменений в кабинете

Правило здравого смысла: чем дороже последствия ошибки, тем больше независимых подтверждений нужно. Исключить площадку после повторяющейся аномалии разумно. Исключить адрес по одному подозрительному визиту нет.

Как смотреть это в Метрике и Вебвизоре

Для первичной оценки достаточно возможностей Метрики. Откройте отчёты группы «Директ» (описание есть в справке: отчёт «Директ, площадки») и сравните кампании и площадки между собой по отказам, глубине, времени на сайте и достижению цели. Обязательное условие: счётчик должен быть привязан к кампании, иначе переходы попадут в источник «Чужие кампании» и картина исказится.

Пошагово

  1. Выберите период и сегмент: только рекламный трафик из Директа, отдельно для телефонов и компьютеров.
  2. Найдите срез, который выбивается из общей картины: площадку, регион, кампанию, день.
  3. Сравните его с соседним срезом по отказам, глубине, времени и достижению цели. Нужно именно расхождение, а не абсолютное значение.
  4. Откройте записи визитов из выбранного среза в Вебвизоре и посмотрите, что делают люди на странице.
  5. Если подозрительный срез однороден и не конвертируется, добавьте его в наблюдение, а не сразу исключайте. Через неделю-две проверьте, сохранилась ли аномалия.

Про Вебвизор стоит знать два факта из документации. Во-первых, он может записывать визиты, которые Метрика или Директ определяют как роботные, поэтому подозрительные записи там действительно можно найти. Во-вторых, в справке Директа об антифроде отдельно описано, что делать при подозрительных переходах в Вебвизоре: убедиться, что источник визитов — Директ, и сравнить данные с отчётами группы «Директ» (см. описание антифрода Директа). В той же справке сказано, что в отчёты Директа попадают данные уже после фильтрации антифродом, а в Вебвизоре отображаются все визиты, в том числе отфильтрованные. Поэтому расхождение между ними не обязательно признак проблемы. Что именно закрывает встроенная защита, мы разбираем в статье «Встроенный антифрод Яндекса».

При просмотре записей ищите повторяющийся рисунок: одинаковые траектории, отсутствие любых действий, мгновенный уход, странные задержки перед единственным действием. Разнообразие поведения, наоборот, почти всегда признак живых людей.

Что делает NoFraud и чего он не делает

NoFraud собирает перечисленные группы признаков автоматически: частоту обращений, поведение на странице и репутацию адреса. Вы видите результат в отчётах и можете отличить рекламный срез с аномалией от нормального. Мы не публикуем внутренние правила оценки: это сознательное решение, потому что знание точных правил помогает только тем, кто их обходит. Общее описание подхода есть в ответе на вопрос «Как NoFraud определяет ботов».

Чего мы не обещаем. Сервис не гарантирует, что каждый подозрительный визит окажется ботом, и не гарантирует прекращения повторных визитов. В Директ для исключения передаётся обезличенный адрес с обнулённым последним октетом, а список кампании ограничен, поэтому исключение адресов остаётся неполной мерой. Основная ценность сервиса — детект и прозрачная отчётность, которые позволяют принять решение осознанно. Лимит тарифа считается в событиях трекера, то есть в загрузках страниц со скриптом (подробно в ответе «Что входит в лимит тарифа»). Условия и стоимость подключения на странице тарифов.

Короткий чек-лист

  1. Не судите по одному визиту: работайте с группами и сравнивайте срезы между собой.
  2. Для каждого сигнала назовите невинное объяснение и попробуйте его исключить.
  3. Телефоны сравнивайте с телефонами, а прокрутку и касания читайте отдельно от мыши.
  4. Проверяйте собственный сайт: скорость, мобильную версию, формы заявок и работу целей.
  5. Смотрите записи Вебвизора, но помните, что там видны и отфильтрованные визиты.
  6. Исключайте только то, что подтверждено повторяющейся аномалией, и ведите журнал.

Если вас интересует, во что обходится скликивание в деньгах, прочитайте «Сколько реально стоит скликивание». А если вы подозреваете сознательные действия конкурента, пригодится материал «Что делать, если конкурент скликивает рекламу». О различиях между источниками на поиске и в сетях рассказывает статья «Скликивание в РСЯ vs на поиске».

NoFraud оценивает частоту обращений, поведение на странице и репутацию IP и показывает подозрительные визиты в отчётах. Адреса отображаются в обезличенном виде. 7 дней бесплатно, без привязки карты.

Подключить NoFraud →