Initial commit - ColdFilm parser

robots.txt

@@ -0,0 +1,34 @@
+# robots.txt для films.tolchin.pro
+
+Host: films.tolchin.pro
+
+User-agent: *
+Allow: /
+
+# Разрешаем основные страницы
+Allow: /$
+Allow: /index.html
+
+# Запрещаем индексацию технических файлов
+Disallow: /style.css
+Disallow: /script.js
+Disallow: /favicon.svg
+Disallow: /.htaccess
+Disallow: /README.md
+
+# Запрещаем служебные пути
+Disallow: /*.md$
+Disallow: /*.txt$
+Disallow: /*.xml$
+
+# Индексация
+Sitemap: https://films.tolchin.pro/sitemap.xml
+Sitemap: https://films.tolchin.pro/sitemap-index.xml
+
+# Clean параметры
+Clean-param: ref /
+
+# Ограничение индексации дубликатов
+Noindex: /style.css
+Noindex: /script.js
+Noindex: /favicon.svg