Метатег robots используется для указания поисковым системам, как им следует индексировать страницу.
Метатег robots может принимать следующие значения:
— index — разрешить индексацию страницы;
— noindex — запретить индексацию страницы;
— follow — разрешить переход по ссылкам на странице;
— nofollow — запретить переход по ссылкам на странице.
Недавно Джон Мюллер, аналитик Google, ответил на вопрос о том, что будет, если не поставить index внутри метатега robots. Вот что он сказал:
— Google игнорирует метатеги robots index и follow при индексации;
— Index — значение по умолчанию, прописывать его отдельно не надо;
— Googlebot игнорирует теги index и follow , поэтому их наличие — это пустая трата html-пространства.
Таким образом, если вы не хотите, чтобы страница индексировалась, вам нужно явно указать это с помощью метатега noindex . А если вы хотите запретить поисковым системам переходить по ссылкам на странице, то используйте метатег nofollow .
Кроме того, Мюллер отметил, что некоторые вебмастера используют follow в связке с noindex , но это не приводит ни к какому результату, поскольку поисковик не может переходить по неиндексированным страницам. Он также сослался на официальную документацию Google по работе с тегами.
Метатег robots является важным инструментом для управления индексацией и переходом по ссылкам на странице. Однако важно понимать, как Google его обрабатывает, чтобы использовать его правильно. Если вы не уверены, что нужно указать в метатеге robots , обратитесь к официальной документации Google.
Читайте также:
Как Яндекс Метрика определяет роботов на сайте
Как удалить страницу из индекса Yandex и Google
Как оптимизировать сайт под голосовой поиск
Google Search Console: как извлечь пользу из инструмента