На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.

Старый агент
пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый
вариант, в котором упоминается Chrome
41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.

При этом в Google
планируют обновить user-agent в будущем:

Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.

На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплит ответил стандартной фразой: «[Нам] пока не о чем объявить».

Объём сканирования
останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет
ли Googlebot сканировать меньше страниц при одном и том же краулинговом
бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.

Поддержка новых
функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.

Googlebot пока
обновлён не во всех инструментах
Google

Googlebot
используется в разных сервисах и подразделениях Google, однако не во всех из них краулер
уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки
оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли
на обновлённую версию Googlebot,
но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.

Новый user-agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.

В Google пока не ответили, что это за user-agent:

Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.

Источник: searchengines.ru