35 lines
762 B
Plaintext
35 lines
762 B
Plaintext
# robots.txt для films.tolchin.pro
|
|
|
|
Host: films.tolchin.pro
|
|
|
|
User-agent: *
|
|
Allow: /
|
|
|
|
# Разрешаем основные страницы
|
|
Allow: /$
|
|
Allow: /index.html
|
|
|
|
# Запрещаем индексацию технических файлов
|
|
Disallow: /style.css
|
|
Disallow: /script.js
|
|
Disallow: /favicon.svg
|
|
Disallow: /.htaccess
|
|
Disallow: /README.md
|
|
|
|
# Запрещаем служебные пути
|
|
Disallow: /*.md$
|
|
Disallow: /*.txt$
|
|
Disallow: /*.xml$
|
|
|
|
# Индексация
|
|
Sitemap: https://films.tolchin.pro/sitemap.xml
|
|
Sitemap: https://films.tolchin.pro/sitemap-index.xml
|
|
|
|
# Clean параметры
|
|
Clean-param: ref /
|
|
|
|
# Ограничение индексации дубликатов
|
|
Noindex: /style.css
|
|
Noindex: /script.js
|
|
Noindex: /favicon.svg
|