Домейн и път
Посочете сайта и конкретния URL път, за който искате решение.
Безплатен онлайн инструмент
Robots.txt и AI
bot tester
Проверете robots.txt за конкретен път и вижте дали важните търсещи и AI ботове имат достъп.
Контрол на обхождането
Проверете достъпа на ботовете
Въведете домейн и конкретен път. Решението се изчислява отделно за всеки търсещ или AI crawler.
Правила по bot
Избират се най-специфичната User-agent група и най-дългото съвпадащо правило.
Контрол на обхождането
Разрешен достъп не гарантира посещение, индексиране или използване на съдържанието.
Какво представлява Robots.txt и AI bot tester
Robots.txt и AI bot tester проверява дали конкретен път е разрешен за Googlebot, Bingbot, OAI-SearchBot, GPTBot, ClaudeBot и PerplexityBot.
Кога е полезен
Инструментът прилага специфичните User-agent групи с правилен приоритет пред общата звезда и показва съдържанието на robots.txt за ръчен преглед.
Какво трябва да знаете за резултата
Robots.txt управлява обхождането, но не е сигурен начин за премахване на вече индексиран URL. За това се използват подходящи index controls и Search Console.
Често задавани въпроси
Еднакви ли са OAI-SearchBot и GPTBot?
Не. OAI-SearchBot се използва за търсене, а GPTBot е отделен crawler.
Може ли robots.txt да премахне страница от Google?
Не надеждно. Блокираната страница може да остане известна на търсачката чрез външни връзки.