МЕТА-тег robots – служит для управления поисковыми роботами, приходящими индексировать страницы нашего сайта. Через него можно указать поведение поискового робота для каждой страницы в отдельности.
Еще одна интересная возможность МЕТА-тега robots заключающаяся в том, что отдельный пользователь, не являющийся администратором сайта (т.е. не имеющий доступа к корневой папке сайта) и ROBOTS.TXT может управлять индексацией отдельно взятой страницей.
Синтаксис мета-тега Robots достаточно прост.
_“<METANAME="ROBOTS" CONTENT="значение тега"> МЕТА-тег robots находится внутри тега <HEAD>.”_
Значения мета-тега Robots:
Атрибут CONTENT может содержать следующие значения:
_
“<META NAME="ROBOTS" CONTENT="index (индексировать страницу)"> “
“<META NAME="ROBOTS" CONTENT="noindex (неиндексировать страницу)"> “
“<META NAME="ROBOTS" CONTENT="follow (переходить по ссылкам на странице)"> “
“<METANAME="ROBOTS" CONTENT="nofollow(не переходить по ссылкам на странице)"> “
“<META NAME="ROBOTS" CONTENT="noimageindex (не индексировать изображения)"> “_
Значения можно комбинировать записывая через запятую:
_“<METANAME="ROBOTS" CONTENT="index, nofolow, noimageindex"> _ индексировать страницу, но не переходить по ссылкам и не индексировать картинки.
Так же можно таргетировать индексацию на определенного робота:
_“<METANAME="googlebot" CONTENT="index, nofolow">” - только для робота GOOGLEBOT, индексировать страницу, но не переходить по ссылкам._ - только для робота GOOGLEBOT, индексировать страницу, но не переходить по ссылкам.
Значение – noarchive:
Пользуясь поисковой системой Google, вы скорее всего обращали внимание на подпись около адреса страницы – Сохраненная копия.
Дело в том, что Google автоматически создает и архивирует “Снимок” каждой страницы, которую сканирует. После сканирования, ваша страница помещается в кэш, данная технология позволяет отображать страницу, даже если ваша страница недоступна по причине сбоя у хостера. Достаточно просто щелкнуть по ссылке “Сохраненная копия” Снимок существует до следующего сканирования, но, если робот посчитает, что ваша страница изменилась со времени последнего сканирования, он автоматически обновит кэш. Этот параметр не повлияет на индексацию страницы.
При помощи мета-тега Robots, мы можем управлять функцией noarchive:
_“<META NAME="ROBOTS" CONTENT="noarchive">”_
Опять же можно комбинировать значения:
_“<METANAME="ROBOTS" CONTENT="index, nofolow, noimageindex, noarchive">”_ . индексировать страницу, не переходить по ссылкам, не индексировать картинки, не создавать архивную копию.
Не показывать описание страницы или сайта в поиске:
Для удаления описания страницы или сайта в поиске, используется значение nosnippet
_“<META NAME="ROBOTS" CONTENT="nosnippet ">”_
Опять же можно комбинировать значения:
_“<METANAME="ROBOTS" CONTENT="index, nofolow, noimageindex, noarchive, nosnippet">” _ . индексировать страницу, не переходить по ссылкам, не индексировать картинки, не создавать архивную копию, не показывать описание.
Не показывать описание страницы или сайта сгенерированное по данным DMOZ:
“<META NAME="ROBOTS" CONTENT="noodp ">” Запертить брать описание из
DMOZ.
