Googlebot и новое в сканировании локальных страниц

Google сообщает об изменении в работе со страницами, на которых происходит смена языка в зависимости от пользователя или его местоположения (региона). Когда на странице меняется язык, робот Google еще недавно не мог осуществить скан всего контента. Это происходит, поскольку IP-адрес робота относится к Америке, а также по причине того, что все запросы HTTP отправляются роботом без Accept-Language в заголовке.

Небольшой недостаток устраняется благодаря обновленным конфигурациям. Теперь сканирование локальных страниц будет осуществляться:

• с учетом географического региона, то есть при сканировании будут использоваться IP-адреса регионов вне пределов США, но с учетом и адресов в США;
• с учетом используемого пользователем языка, то есть при сканировании будет использоваться параметр Accept-Language, чего не было раньше.

Новые конфигурации относятся к страницам, информация на которых относится к категории локализованной. Тем не менее Google советует применять отдельные URL с прежними rel=alternate hreflang, когда речь идет о страницах с меняющимися языками.