Robots.txt Metriken

Damit Sie schnell erkennen, ob eine bestimmte URL von robots.txt geblockt wird, bieten wir nun genaue robots.txt Metriken für jeden Link an.

Robots.txt Bots
txt erlaubt normale Bots für diese URL
Robots.txt Googlebot
txt erlaubt den Googlebot für diese URL
Robots.txt Allowed Bots
Robots.txt erlaubt major Bots* für diese URL
Robots.txt Blocked Bots
Robots.txt blockiert major Bots für diese URL

*major Bots = applebot, baiduspider, bingbot, googlebot, msnbot, naverbot, seznambot, slurp, teoma, yandex