# Robots.txt для сайта Тэнта
# https://тэнта.рф

# Правила для основных поисковых систем
User-agent: Googlebot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Yandex
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Bingbot
Allow: /
Disallow: /api/
Disallow: /admin/

# Правила для всех остальных ботов
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/

# Запрет архивирования для Wayback Machine и других веб-архивов
User-agent: ia_archiver
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: Wayback
Disallow: /

User-agent: alexa
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

# Запрет для ботов, которые копируют контент
User-agent: HTTrack
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCapture
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline.Explorer
Disallow: /

User-agent: Teleport.Pro
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Archiver
Disallow: /

# Ссылка на карту сайта
Sitemap: https://тэнта.рф/sitemap.xml

# Время ожидания между запросами (в секундах)
Crawl-delay: 10