# robots.txt — www.lucamaroni.it User-agent: * # Area riservata (vale anche per /sens_amministra senza barra finale) Disallow: /sens_amministra Allow: / # Le pagine di ricerca restano scansionabili ma hanno meta noindex; # i vini e i produttori sono elencati nella sitemap. # ClaudeBot (Anthropic) rispetta Crawl-delay: il 3/10/2026 ha fatto 215.000 richieste # in un giorno e il rendering SSR ha superato il limite di memoria. Un gruppo dedicato # sostituisce quello di «*», quindi il divieto sull'area riservata va ripetuto. User-agent: ClaudeBot Crawl-delay: 2 Disallow: /sens_amministra Allow: / # Crawler commerciali esclusi User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / Sitemap: https://www.lucamaroni.it/sitemap.xml