«Ускоритель» интернета
Интернет-гигант «Яндекс» совместно с корпорацией Microsoft разработал новый протокол IndexNow для мгновенного информирования поисковых систем об изменениях на сайте. Информацию о нем редакция CNews обнаружила в «Яндекс.справке». Протокол позволяет вручную оповещать поисковики о создании новых страниц, удалении старых, добавлении или изменении контента и т. д. С помощью IndexNow можно напрямую уведомлять поисковики о любых об изменениях на сайте, не дожидаясь очередного обхода индексирующим роботом.
«IndexNow – это инициатива, направленная на повышение эффективности работы интернета. Сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогая поисковикам определять приоритеты сканирования для этих URL-адресов, тем самым ограничивая потребность в исследовательском сканировании для проверки того, был ли контент изменен. В будущем поисковые системы намерены ограничить сканирование веб-сайтов, использующих IndexNow», – говорится на сайте Microsoft.
IndexNow — это новейшее изобретение «Яндекса»
Суть IndexNow заключается именно в ускорении предоставления данных об изменениях сайтов поисковым системам. По данным «Яндекса», без него процесс обнаружения поисковиками изменений на сайте может занимать довольно много времени – от нескольких дней до нескольких недель.
Где работает новшество
Распространение IndexNow началось 18 октября 2021 г. на условиях лицензии Attribution-ShareAlike Creative Commons License. Однако доступен этот протокол далеко не всем поисковикам. Как сообщили CNews представители «Яндекса», протокол работает исключительно в Bing (принадлежит Microsoft) и в поисковой системе самого «Яндекса». Поначалу в компании сообщили, что IndexNow также поддерживается китайским Baidu, но позже добавили, что в этот сервис доступом к нему не располагает. При этом упоминание Baidu на странице «Яндекса» с описанием сервиса присутствует.
Вопрос о поддержке IndexNow поисковиком Baidu однозначного ответа пока не имеет
На запрос CNews о сроках запуска поддержки IndexNow другими поисковиками представители «Яндекса» на момент публикации материала ответить не смогли.
Отметим, что на сентябрь 2021 г. «Яндекс» был вторым по популярности поисковиком в мире с долей 41,69%. Его опережал только Google (56,07%, статистика StatCounter). Bing находился на четвертой строчке с крошечной долей 0,42%.
Также инициативу по внедрению IndexNow поддержала компания CloudFlare, предоставляющая услуги сети доставки содержимого (Content Delivery Network, CDN), защиту от DDoS-атак, безопасный доступ к ресурсам и серверы доменных имен (DNS). Поддержка нового протокола реализована в составе запущенного летом 2021 г. проекта Crawler Hints («подсказки для краулеров»). Это отдельный сервис, повышающий эффективность работы трафика, поступающего от веб-краулеров и ботов.
Как пользоваться протоколом
Протокол IndexNow запущен в версии 1.0. Перед началом его использования владелец сайта должен сгенерировать и разместить в каталоге сайта специальный ключ для верификации пользователя.
Что сегодня понимают под TestOps Интеграция
Поисковые системы будут проверять ключ при каждом использовании протокола IndexNow. Размещать его рекомендуется в корневом каталоге сайта. К тому же, если на сайте есть поддомены, то для каждого из них нужно создать отдельный ключ.
Пример ключа верификации
Выполнив это требование, владельцы веб-сайтов могут начать отправлять в Bing и «Яндекс» URL-адреса изменившихся или удаленных страниц. Для отправки одного адреса используется метод GET, а если требуется «оптовая» отправка, то нужно использовать метод POST.
Важно отметить, что отправлять через IndexNow нужно исключительно адреса тех страниц, которые получили изменения после запуска поддержки протокола. Если, к примеру, страница обновлялась месяц или год назад, уведомлять поисковики об этом не требуется.
По данным портала MSPowerUser, уведомив об изменениях на сайте одну поисковую систему, поддерживающую IndexNow, веб-мастер автоматически оповестит и другую. В «Яндексе» эту информацию не подтверждают, но и не опровергают.
