Генератор на robots.txt

Създайте robots.txt с няколко блока user-agent, правила Allow/Disallow, по избор Crawl-delay, Host и редове Sitemap. Прегледът се обновява на живо, докато пишете.

Блокове на user-agent

Глобални

Бележки: Host се спазва от някои обхождащи (напр. Yandex). Crawl-delay не се използва от Google, но може да се използва от други. Заместващи символи * и $ са широко поддържани (не са част от основния RFC).

Преглед (robots.txt)

URL тестер

Напомняне: robots.txt е публично достъпен и служи като препоръка за коректно работещи обхождащи; не е механизъм за контрол на достъпа.

Коментари (0)

Споделете мнението си — моля, бъдете учтиви и по темата.

Все още няма коментари. Оставете коментар и споделете мнението си!

За да оставите коментар, моля, влезте в профила си.

Влезте, за да коментирате

Forgot your password? Създай акаунт
Захранвано от logo Asted Cloud