googlebot

Ускоренная индексация Google

Расширение географии присутствия сети Айри позволило обеспечить максимально быструю индексацию подключенных сайтов со стороны роботов Google.

Для подключения данной опции нужно в настройках сайта на вкладке DNS (в блоке Настройки хостинга) выбрать Айри + Google в локации сайта. Это переключит местоположение сайта для роботов Google в Нью-Йорк и сведет сетевые задержки на получение контента сайта к минимуму.

Задержки Googlebot

При индексации сайта поисковыми роботами возможно несколько видов задержек:

  • Задержки на подключение к сайту (пинг). Зависят только от дальности расположения датацентра, из которого производится индексация сайта, от датацентра, в котором расположен сам сайт.
  • Задержка на установление защищенного соединения (HTTPS). При доступ к сайту по протоколу HTTPS некоторое время (80-120 мс) уходит на получение сертификата, его проверку, генерацию сессионных ключей соединения и зашифровку/расшифровку ответа. Слабо зависит от используемого шифра (если используется обычный криптостойкий протокол). Этих задержек можно избежать, что позволить индексировать сайт по незащищенному протоколу (HTTP).
  • Задержки на ожидание ответа от сервера. Для обычного сайта эти задержки составляют основную массу временных потерь: в этом время сервер готовит ответ поисковому роботу, собирает HTML-страницу.
  • Задержки на ожидание загрузки ответа. При большом (или несжатом) ответе на запрос поискового робота загрузка содержания при слабом канале подключения сайта к интернету может занимать существенное время.

В облаке Айри успешно решаются все 4 типа проблем: для минимизации пинга до сайта нужно выставить в настройках сайта Локацию Айри + Google. Запрос сайта по протоколу HTTP можно включить настройках SSL для домена Базовый. Задержки на ожидание времени ответа исчезают при использовании SEO-доступности сайта, а 10-гигабитные каналы подключения узлов Айри гарантируют максимальную скорость передачи запрошенных данных поисковым роботам.