User-agent: * Sitemap: https://www.odintek.dk/sitemap.xml ############## # custom # ############## Allow: /web/image/ Disallow: /web/login Disallow: /web/signup Disallow: /my/ Disallow: /*?add-to-cart= Disallow: /*?order= Disallow: /*?search= Disallow: /*?tags= Disallow: /*?page= Disallow: /web/ Disallow: /odoo/ # --------------------------------------------------------------- # Crawlere uden værdi for en dansk webshop. Alle tre er legitime og # respekterer robots.txt, i modsætning til scannere der leder efter # WordPress og .env-filer. Målt 14-09-2026: 3.051 kald og 59 minutters # servertid på ét døgn, uden en eneste besøgende til gengæld. # MJ12bot Majestic, britisk link-index der sælges som SEO-data # PetalBot Huawei Petal Search, bruges på Huawei-telefoner # Baiduspider Baidu, kinesisk søgemaskine (dækker også -render) # --------------------------------------------------------------- User-agent: MJ12bot Disallow: / User-agent: PetalBot Disallow: / User-agent: Baiduspider Disallow: /