User-agent: *
Disallow: /maps/data/
Disallow: /maps/uploads/
Disallow: /maps/tmp/
Disallow: /maps/cache/
Disallow: /*.json$
Disallow: /*.png$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.webp$
Crawl-delay: 10

# Erlaubte Bereiche (Frontend)
Allow: /maps/
Allow: /maps/*/

Sitemap: https://proxxbox.de/sitemap.xml


###########################################
# 1. Kritische Bots blockieren
###########################################

# Unknown Bot (dein größtes Problem)
User-agent: bot
Disallow: /

# Generische AI-Crawler (Perplexity, CommonCrawl, OpenAI)
User-agent: crawl
Disallow: /

# MJ12bot (AI-Training, unnötig)
User-agent: MJ12bot
Disallow: /

# Barkrowler (aggressiv)
User-agent: Barkrowler
Disallow: /

# DotBot (Moz, sehr aktiv)
User-agent: DotBot
Disallow: /

# AhrefsBot (Backlink-Crawler, nicht nötig)
User-agent: AhrefsBot
Disallow: /


###########################################
# 2. Erlaubte Bots (wichtig für SEO)
###########################################

# Google
User-agent: Googlebot
Allow: /

# Apple
User-agent: Applebot
Allow: /

# Bing
User-agent: Bingbot
Allow: /

# Semrush (hilft dir bei SEO, nicht aggressiv)
User-agent: SemrushBot
Allow: /