BOTHUNTER - ЧТО ЭТО?

BotHunter — интегрированное решение, которое предлагает множество возможностей в одном пакете. Это более удобный интерфейс для отслеживания процесса индексирования сайтов роботами поисковых систем: Яндекс, Google, Поиск.Mail.ru, Bing, Yahoo!

Cервис позволяет отследить

- количество целевых страниц, загруженых поисковыми роботами;
- количество страниц, на которые приходит трафик;
- сколько страниц доступно для индексации;
- какие страницы приносили трафик, а сейчас они не доступны поисковым краулерам;
- и многое другое

BotHunter как услуга (SaaS)

Прикладное программное обеспечение для организаций и любых групп людей, предназначенное для автоматизации процесса обработки и анализа серверных данных в режиме реального времени

Highly configurable alerting — гибкий механизм оповещений, что позволяет пользователям конфигурировать уведомления практически для любого события. Это позволяет быстро реагировать на проблемы с индексации. BotHunter — это инструмент влияния и контроля за поведениеем роботов на вашем сайте. BotHunter предлагает отличные функции отчетности и визуализации данных основанные на истории индексирования и поисковом трафике

КАКИЕ ОТЧЕТЫ ДОСТУПНЫ ВЕБМАСТЕРУ?

Кластеризация

- пользовательские срезы (кластеры сайта)
- сравнение кластеров используя регулярные выражения
- детализация по дням (сканирование, трафик, ошибки)

Отчетность в реальном времени

- доступность отчетов 24/7
- возможность экспорта данных
- служба Push-уведомлений

Cервис позволяет отследить

- количество целевых страниц, загруженых поисковыми роботами
- количество страниц, на которые приходит трафик
- сколько страниц доступно для индексации
- какие страницы приносили трафик, а сейчас они не доступны поисковым краулерам
- сколько страниц представлено в Sitemap.XML (по каждому кластеру)

Просканировано вчера

260страниц
2%ядра sitemap

Основной хост cодержит

732страниц
3%получали трафик

Только в BotHunter вы можете всего в несколько кликов

А. зарегистрировать аккаунт вебмастера
B. добавить свои сайты в систему
C. получить код (для размещения на сайте), собирающий всю информацию
D. ежедневно получать актуальные отчеты

Откройте для себя разнообразие SEO отчетов, созданных для контроля над органическим трафиком вашего сайта с популярных поисковых систем: Яндекс, Google, Поиск.Mail.ru, Bing, Yahoo!

Воспользуйтесь
DEMO аккаунтом
для изучения
базовых отчетов

КАКИЕ ЕСТЬ ВОЗМОЖНОСТИ?

Инструменты для вебмастеров

А. выявление типовых ошибок
B. выявление отклонений от статистической нормы индексирования
C. отслеживание событий (создаются вебмастером)
D. выявление дубликатов (по заголовкам и размеру документов)

Данные, инструменты и диагностика

- статистика за прошедшие сутки, мониторинг активности краулеров
- рекомендации по настройкам индексирования
- журналирование серверных ошибок (проверить индексацию сайта)
- целостность данных robots.txt
- консистентность данных Sitemap.XML
- проверка доступности важных страниц сайта
- фиксация процедур парсинга вашего сайта
- хранение истории количества страниц проиндексированных поисковыми системами

Что в планах

- сбор семантики сайта и хранение семантической коллекции
- расширение коллекции, актуализация
- расстановка внутренних ссылок для сайта (сам на себя) для улучшения индексации новых документов
- быстрая индексация сайта, ускорить индексацию сайта в яндексе и google


ВОПРОСЫ, НА КОТОРЫЕ BOTHUNTER ПОМОЖЕТ НАЙТИ ОТВЕТЫ

1. у меня нет доступа к логам (своего или клиентского сайта) хотел бы получить ответ, есть ли проблемы у сайта?
2. за два дня поисковый бот выкачал все страницы моего сайта, это нормально?
3. сколько страниц сайта должно быть в sitemap.xml? Как определить полноту списка урлов в нем?
4. смотрел суточный лог вебсервера, вижу что часто ходит бот - этого достаточно для продвижения?
5. как проверить, меня парсят пионеры или это реальные поисковые боты?
6. у моего сайта N страниц доступных для индексации, какой % из них ежедневно должны быть загружены ботами?
7. у моего сайта N страниц доступных для индексации, какая часть из них должна участвовать в поиске? Есть ли оптимальное значение?
8. поисковик знает N неканонических урлов моего сайта (найдено в serp). Сколько таких урлов он посетил, есть ли список таких?
9. сколько страниц из sitemap моего сайта посетили боты?
10. сколько страниц сайта посетил бот, но они не участвовали в поиске?
11. сколько страниц сайта посетил бот, но они не получали трафик вообще?
12. сколько страниц сайта участвовало в поиске до и после конкретной даты (апдейта) ?
13. сколько страниц сайта (хочу получить список) перестали получать трафик после обновления поисковой базы?
14. нужен список: страницы, о которых знают боты, но их нет в сайтмеп
15. можно ли выявить отклонения от статистической нормы индексирования (за основу взять данные моего же сайта N дней назад) ?
16. ошибочно вписал директиву Disallow и вынес почти весь сайт из индексации. Можно ли автоматически находить такие ошибки?
17. нужен список: страницы с одинаковым весом в байтах (тоже по дубликатам)
18. можно ли зафиксировать ситуацию, когда сервер по части страниц боту отдает то 200, то 404, то еще что-то? Т.е. выявить "мигающие страницы"?
19. если получить список страниц которые постоянно дают трафик, может остальные запретить посещать боту?
20. можно ли получить список урлов которые есть в сайтмепе и их не посещали боты + автоматом эти урлы пульнуть в поисковик?
21. хочу получить список урлов моего сайта (отфильтровать их по регулярному выражению) и отследить динамику: как их посещают боты, какие из этих урлов получают трафик. Как это сделать?
22. могу ли я получать отчет о том что какие-то из xml файлов моего сайтмепингдекса были созданы с нарушением протокола и их боты игнорируют?
23. можно ли автоматам отслеживать целостность файла robots.txt? И если его кто-то поменял или он был поврежден, то получить об этом уведомление?
24. сколько урлов бот загружает за одну сессию индексации? (другими словами сколько страниц выкачивает между загрузками robots.txt)
25. "Произошло обновление поисковой базы Яндекса" - как узнать, что именно обновилось для мого сайта?
26. Как проверить индексацию сайта?
27. Была регистрация сайта в поисковике, индексация сайта в яндексе как ее контролировать?