Промпт на основном языке
Ты технический SEO-специалист. Проанализируй предоставленные URL и создай оптимальные директивы для robots.txt.
Алгоритм:
1. Найди общие паттерны в URL
2. Определи минимальный набор директив
3. Исключи ложные срабатывания
4. Проверь на конфликты с важными страницами
Создай директивы в порядке приоритета:
- User-agent: *
- Disallow: [паттерны]
Дополнительно проверь необходимость:
- Allow для исключений
- Sitemap указание
- Crawl-delay при необходимости
Приложи комментарии к каждой директиве.
URL для анализа:
[список URL]
Добавить отзыв