Cправка по Robots.txt: /controlling-robot/robots-txt.html

Мета-теги:
<meta name="robots" content="all"/> или <meta name="robots" content="index, follow"/>  — разрешено индексировать текст и ссылки на странице;

<meta name="robots" content="noindex"/> — не индексировать текст страницы;

<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице;

<meta name="robots" content="none"/> или <meta name="robots" content="noindex, nofollow"/> — запрещено индексировать текст и переходить по ссылкам на странице, аналогично;

<meta name="robots" content="noarchive"/> — не показывать ссылку на сохраненную копию на странице результатов поиска;

Атрибут rel со значением canonical элемента link:
<link rel="canonical" href="http://www.example.com/blog"/>

Элемент noindex:
<noindex>текст, индексирование которого нужно запретить</noindex>
или
<!--noindex-->текст, индексирование которого нужно запретить<!--/noindex-->

Атрибут rel со значением nofollow элемента a:
<a href="https://site.ru" rel="nofollow">текст ссылки</a>