Новости

Метатеги роботов: незаменимый инструмент SEO

  1. Noindex / nofollow
  2. Robots.txt или метатеги роботов?
  3. Другие метатеги роботов
  4. Как использовать теги
  5. Начни!

Возможно, вы слышали о noindex / nofollow, но вам интересно, что это такое и как вы его применяете. Или, может быть, есть страницы вашего сайта, видимые в Google, которые не предназначены. Тогда хорошо бы пройти переподготовку роботов с метатегами.

Для этого вам не нужно возвращаться в школу: чтение этого блога даст вам необходимую информацию. Мы объясняем, для чего роботы используют метатеги, в каких случаях вы используете метатеги, а в каких случаях ваш robots.txt и как вы добавляете теги на свой сайт.

Noindex / nofollow

Наиболее часто используемые метатеги роботов - noindex и nofollow. Оба также часто используются в сочетании друг с другом. Но для чего именно они хороши?

Noindex сообщает поисковой системе, что она не должна включать страницу в свой индекс. Это означает, что страница не отображается в результатах поиска. Этот тег может быть полезен, если вы не хотите, чтобы страница была найдена.

Это не значит, что поисковая система не посещает страницу. В противном случае он не мог видеть тег noindex. Если вы не используете другие метатеги роботов, ссылки на странице также будут следовать.

Тег nofollow сообщает поисковой системе, что она не должна переходить по ссылкам на странице. Ссылки дают ценность, и вы указываете, что не хотите, чтобы это относилось к ссылкам на этой странице. Вы можете прочитать больше о ссылках и их значении в нашем блоге. покинул здание ,

Возможно, вы слышали о noindex / nofollow, но вам интересно, что это такое и как вы его применяете

До здесь и не дальше!

Вы также можете указать по ссылке, что вы не хотите, чтобы за ней следовали. Вы делаете это, добавляя «rel = nofollow» в HTML к ссылке. В большинстве случаев это лучшее решение. Метатег nofollow robots применяется ко всем ссылкам на странице. Если есть ссылки, по которым нужно перейти (например, внутренние ссылки), это не очень полезно.

Комбинация noindex и nofollow также часто используется. Поэтому страницы, на которых размещены эти теги, не включены в индекс, а ссылки не просматриваются. Это может быть полезно, например, для тестовой версии вашего сайта или страницы, которая (еще) не завершена. Убедитесь, что вы удалите тег, как только страница будет готова.

Нет индексации и отображения в поисковой системе, ссылки не следуют

Robots.txt или метатеги роботов?

У нас уже есть один обширный блог о robots.txt написано. Короче говоря, это наиболее важные различия между исключением страниц в robots.txt и использованием метатегов робота:

  • Страницы, которые вы исключаете через robots.txt, не посещаются во время сканирования вашего сайта, это страницы с метатегами.
  • Страницы, которые вы исключаете с помощью robots.txt, могут появляться в индексе Google, если сканер поступает через внешний сайт. В этом случае они появляются без мета описание ,

Один робот не другой

Так когда вы используете метатеги и когда вы используете robots.txt? Для этого вы можете использовать следующие правила:

Если в результатах поиска есть страницы, которые не предназначены, у вас есть проблема с индексацией . В этом случае вы используете noindex (и, возможно, nofollow) в своих метатегах роботов .

Если Google сканирует слишком много страниц, за счет вашего бюджета сканирования возникла проблема с сканированием . Затем используйте disallow в robots.txt.

Другие метатеги роботов

Помимо этих двух известных мета-тегов роботов, Google понимает и другие:

  • Noarchive означает, что в результатах поиска не отображается кэшированная версия страницы. Это может быть полезно, например, для страницы, которая находится за стеной входа или оплаты. Тогда вы не хотите, чтобы люди могли просматривать эту страницу, не оставляя свои данные и не платя.
  • Носниппет гарантирует, что никто мета описание отображается в результатах поиска. Вы не будете обычно использовать этот метатег роботов.
  • Ни один не делает так же, как комбинация noindex и nofollow. Иногда этот тег используется плохо информированными веб-мастерами, чтобы указать, что метатеги роботов не действуют. Внимательный читатель уже понимает, что идет не так: страница становится недоступной для отслеживания в поисковой системе.

Как использовать теги

Вы размещаете метатеги роботов в заголовке страницы. Это где-то между тегами <head> и </ head> в HTML. Например, тег выглядит так:

<meta name = "robots" content = "noindex" />

Вы можете объединить несколько тегов, но это не обязательно. Например, если вы хотите применить noindex и nofollow, вы можете сделать это двумя способами:

<meta name = "robots" content = "noindex, nofollow" />

или

<meta name = "robots" content = "noindex" /> <meta name = "robots" content = "nofollow" />

Это так просто. При работе с метатегами роботов нужно помнить несколько вещей:

  • Некоторые люди используют теги follow и index. В этом нет необходимости, потому что Google уже делает это в любом случае. Если вы не дадите другие инструкции, они просто проиндексируют вашу страницу и перейдут по ссылкам.
  • Если вы используете конфликтующие теги, например, noindex и index, Google примет наиболее строгие. В этом примере страница не проиндексирована.
  • Используете ли вы заглавные буквы или пробелы в тегах, не имеет значения.
  • Вы также можете адресовать метатег к определенному сканеру. Тогда мета-имя становится не «роботами», а «роботом Google».

Начни!

Теперь, когда вы прочитали эту статью, вы можете применить метатеги роботов к своему сайту. Таким образом, вы добавите незаменимый инструмент в свой набор инструментов SEO. Конечно, в SEO есть гораздо больше. Хотите тщательно проверить свой сайт, чтобы разработать четкую стратегию SEO? Взять без обязательств контакт наши специалисты.