Куча трафика по прямым ссылкам в яндекс метрике – Боты

Что за боты в яндекс метрике?

Расскажу немного о ботах, кто они такие, откуда они, почему у Вас в Яндекс метрике, идут нереальные отказы, и чему это всё грозит.

 

Жуткая и раздражающая ситуация, когда непонятно что за трафик и откуда идёт на Ваши проекты, я Вас прекрасно понимаю…

Ситуация очень не приятная, и просто так не решается, так как боты используют рандомные ip адреса, рандомные юзер агенты, и т.д.

Блокировать такой тип трафика очень сложно, так как в основном весь трафик идёт с Российских ip адресов.

Здесь нужен более гибкий подход, с помощью которого мы будем отсекать этот негативный трафик с нашего сайта раз и навсегда, но перед началом я хочу Вам поведать информацию об этих ботах, и кто их запускает, и для каких целей.

Кто накручивает трафик в Яндекс метрике?

Есть определённые люди, которые занимаются накруткой поведенческих факторов, накруткой чёрного трафика, накруткой отказов, скликивание рекламы в Яндекс директ, накрутка просмотров на Ютубе, или на стриминговых площадках Twitch, DDoS атаки, Спам рассылки, и т.д.

Для выполнения таких работ они арендуют несколько серверов, на которых создают ботов и начинают их программировать.

Всё довольно просто, существует ПО которое называется BAS – Browser Automation Studio, и Zenno Poster. Это самые основные и известные программы для автоматизации в браузерах, которые легко настраивать, без знаний программирования.

Такие программы устанавливаются на серверах, и могут запускаться в нескольких сотнях потоков, в зависимости от мощности сервера.

Исходя из целей, и задач – эти боты выполняют циклические действия в браузерах.

Что бы повысить сайт в поисковой выдачи (ЛЮБОЙ), они используют порядка 2.000 профилей , браузерных профилей!

Каждый профиль запускается в отдельном окне, с использованием рандомного IP адреса, рандомного user-agents, а так же используют рандомные отпечатки браузера, с той целью, что бы яндекс боты не могли определить роботный трафик, и отфильтровать его.

Дальше по заранее собранному списку сайтов конкурентов, они начинают направлять своих ботов, что бы уничтожить их позиции в поисковой выдачи, путём накрутки негативного трафика, то есть трафика, который не совершает никаких действий на сайте, и более того находится там не более 5-10 секунд.

Яндекс метрика может показывать и больше до 1 минуты, но это может происходить из за того, что прокси были плохие у ботов и долго загружали сайт.

Следовательно после такого трафика, поисковые системы, такие как Яндекс – думают что Ваш сайт не качественный, малополезный, не информативный, и снижают позиции Вашего сайта, и соответственно те сайты которые не попадают под эти накрутки, растут по позициям в поисковой выдачи.

Как заблокировать некачественный трафик в Яндекс метрике?

Обратите внимание на трафик в яндекс метрике – идут прямые переходы на сайт.

Чтобы решить эту проблему, можно использовать функцию check_referer_redirect. Вот как она работает и что она делает:

1. Получение IP-адреса клиента: Функция сначала определяет IP-адрес пользователя. Она сначала проверяет заголовок HTTP_CF_CONNECTING_IP, который используется Cloudflare для передачи реального IP-адреса, а если он отсутствует, берет IP из REMOTE_ADDR.

2. Проверка IP в белом списке: Далее функция загружает список разрешенных IP-адресов с указанного URL (файл white-ip.txt на вашем сервере). Этот список содержит IP-адреса, которые могут безопасно посещать сайт.

3. Разрешение доступа: Если IP-адрес клиента присутствует в белом списке, или если пользователь авторизован (вошел в систему), функция разрешает доступ, устанавливая глобальную переменную $is_ip_allowed в true.

4. Перенаправление: Если IP-адрес клиента не в белом списке и пользователь не авторизован, функция перенаправляет клиента на указанный сайт (в данном случае https://photricity.com/flw/ajax/) и завершает выполнение с помощью exit().

5. Отладочная информация: Для диагностики функция записывает IP-адрес клиента и список разрешенных IP в журнал ошибок.

Простыми словами, что это даёт!

Весь трафик который идёт по прямым ссылкам, будет перенаправлен на другой сайт, любой!

Например на сайт с бесконечной загрузкой, что бы боты зависли навсегда! В белый лист ip адресов мы добавляем ботов Google и Яндекс, таким образом поисковые системы будут корректно индексировать сайт, а все остальные боты редиректятся на бесконечные загрузки.

Как это поможет вашему сайту?

Функция check_referer_redirect помогает бороться с негативным трафиком, обеспечивая, что только разрешенные IP-адреса и авторизованные пользователи могут просматривать ваш сайт. Это предотвращает доступ к вашему сайту для ботов и злоумышленников, которые могут создавать ложный трафик и увеличивать процент отказов. В результате, вы получите более точные данные о посещаемости сайта и улучшите его аналитические показатели.

Использование этой функции – это простой, но эффективный способ защитить ваш сайт от нежелательного трафика и улучшить его производительность и надежность.