Домейн и път
Посочете сайта и конкретния URL път, за който искате решение.
Безплатен онлайн инструмент
Robots.txt и AI
bot tester
Проверете robots.txt за конкретен път и вижте дали важните търсещи и AI ботове имат достъп.
Контрол на обхождането
Проверете достъпа на ботовете
Въведете домейн и конкретен път. Решението се изчислява отделно за всеки търсещ или AI crawler.
Правила по bot
Избират се най-специфичната User-agent група и най-дългото съвпадащо правило.
Контрол на обхождането
Разрешен достъп не гарантира посещение, индексиране или използване на съдържанието.
Какво представлява Robots.txt и AI bot tester
Robots.txt и AI bot tester проверява дали конкретен път е разрешен за Googlebot, Bingbot, OAI-SearchBot, GPTBot, ClaudeBot и PerplexityBot.
Инструментът прилага специфичните User-agent групи с правилен приоритет пред общата звезда и показва съдържанието на robots.txt за ръчен преглед.
Как да използвате инструмента
Посочете началния домейн и пътя на конкретната страница, например /blog/statia/. Инструментът зарежда robots.txt от корена и прилага най-подходящата User-agent група. Различните ботове могат да получат различно решение, затова разглеждайте всяка оценка отделно, а не само общото правило със звездичка.
Как да тълкувате резултата
Robots.txt управлява обхождането, но не е сигурен начин за премахване на вече индексиран URL. За това се използват подходящи index controls и Search Console.
Разрешеното обхождане не означава индексиране или цитиране. Ако страницата трябва да бъде премахната от търсачка, robots.txt може дори да попречи на робота да види noindex. Използвайте подходящия контрол за индексация и проверете резултата с инструмента на съответната търсачка.
Полезни отговори
Често задавани въпроси.
Еднакви ли са OAI-SearchBot и GPTBot?
Не. OAI-SearchBot се използва за търсене, а GPTBot е отделен crawler.
Може ли robots.txt да премахне страница от Google?
Не надеждно. Блокираната страница може да остане известна на търсачката чрез външни връзки.