Robots для Shop Script Webasyst

Файл robots txt для Вебасист Шопскрипт, для того, чтобы можно было нормально продвигать сайты по SEO (ну или как минимум, не мешать)

Еще больше интересных материалов в телеграм-канале

Перейти

Содержание

Вступление

Сразу скажу, что любой файл robotstxt надо дорабатывать, в зависимости от того, какие у вас страницы существуют, но в любом случае, нужно закрывать все мусорные страницы, которые есть в CMS Shop Script, вне зависимости от проекта.

Тут сильно углубляться не буду, приложу просто файл роботс с комментариями, где и что надо менять и добавлять. Про это рассказал подробно в видео

Есть определенные моменты, про которые я сразу напишу

В строках, где я отдельно указал комментарии, там внимательно смотрите, возможно нужно исправить/удалить
Есть строчка Clean-param . Ее отдельно нужно дописать, про это рассказал в видео
Ну и конечно же, если у вас есть плохо наполненные страницы, то их желательно тоже закрыть в robots.txt
Строчки Allow, где я отдельно открываю скрипты, стили и картинки. Если не согласны со мной, то можете удалить эти строки
Страницы пагинаций, я никогда не закрываю, иначе, как будут индексироваться товары категорий, которые находятся не на первой странице
Если есть предложения по доработке файла, пишите в комментариях или в личку

Где находится robots.txt в Shop Script

Сайт
Настройки сайта (меню слева)
robots.txt

Где находится редактирование файла robots в Webasyst

robots txt


User-agent: Yandex	
	
#системные	
Disallow: /status-zakaza/	
Disallow: *?*view	
Disallow: */search/*	
Disallow: */author/*	
Disallow: *captcha	
Disallow: /compare/	
Disallow: /forgotpassword/	
Disallow: /login/	
Disallow: /privacy-policy/	#политика конфиденциальности
Disallow: /sertifikaty/	#сертификаты
Disallow: /signup/	
Disallow: /tag/	#страницы тегов
Disallow: *admin/	
Disallow: *helpdesk/	
Disallow: *yandexmarket/	
Disallow: *cml1c/	
Disallow: */vk/	
Disallow: */xml/	
Disallow: */yml/	
Disallow: */turbo/	
Disallow: */logs/	
Disallow: *multiform/	
Disallow: *webasyst/	
Disallow: */test/	
Disallow: */old/	
Disallow: *.html	
Disallow: *.php	
Disallow: */amp	
Disallow: /wa-data/	
Disallow: /wa-content/	
Disallow: *mailer/	
Disallow: /cart/	
Disallow: /onestep/	
Disallow: /my/	
Disallow: /checkout/	
Disallow: /site/	
Disallow: /order/	#страница корзины
Disallow: *captcha	
Disallow: /compare/	
Disallow: /news/	#новости
Disallow: /site/my/	#лк поселения сайт
Disallow: /terms-of-service/	#договор оферта
	
#ненужные картинки	
Disallow: *.gif	
Disallow: *.pdf	
Disallow: *.svg	
	
#ссылки на телефоны почты мессендж	
Disallow: *tel:	
Disallow: *skype:	
Disallow: *mailto:	
Disallow: *tg:	
Disallow: *viber:	
	
#скрипты и нужные картинки	
Allow: *.js	
Allow: */wa-data/*.css	
Allow: */wa-data/*.jpg	
Allow: */wa-data/*.jpeg	
Allow: */wa-data/*.png	
	
#категории	
	
	
Clean-param: page&weight&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&device&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id&igshid&rate&preview&tsvety[]&color[]&kol_vo[]&etext&weight[min]&weight[max]	
	
	
	
User-agent: *	
	
#системные	
Disallow: /status-zakaza/	
Disallow: *?*view	
Disallow: */search/*	
Disallow: */author/*	
Disallow: *captcha	
Disallow: /compare/	
Disallow: /forgotpassword/	
Disallow: /login/	
Disallow: /privacy-policy/	#политика конфиденциальности
Disallow: /sertifikaty/	#сертификаты
Disallow: /signup/	
Disallow: /tag/	#страницы тегов
Disallow: *admin/	
Disallow: *helpdesk/	
Disallow: *yandexmarket/	
Disallow: *cml1c/	
Disallow: */vk/	
Disallow: */xml/	
Disallow: */yml/	
Disallow: */turbo/	
Disallow: */logs/	
Disallow: *multiform/	
Disallow: *webasyst/	
Disallow: */test/	
Disallow: */old/	
Disallow: *.html	
Disallow: *.php	
Disallow: */amp	
Disallow: /wa-data/	
Disallow: /wa-content/	
Disallow: *mailer/	
Disallow: /cart/	
Disallow: /onestep/	
Disallow: /my/	
Disallow: /checkout/	
Disallow: /site/	
Disallow: /order/	#страница корзины
Disallow: *captcha	
Disallow: /compare/	
Disallow: /news/	#новости
Disallow: /site/my/	#лк поселения сайт
Disallow: /terms-of-service/	#договор оферта
	
#ненужные картинки	
Disallow: *.gif	
Disallow: *.pdf	
Disallow: *.svg	
	
#ссылки на телефоны почты мессендж	
Disallow: *tel:	
Disallow: *skype:	
Disallow: *mailto:	
Disallow: *tg:	
Disallow: *viber:	
	
#скрипты и нужные картинки	
Allow: *.js	
Allow: */wa-data/*.css	
Allow: */wa-data/*.jpg	
Allow: */wa-data/*.jpeg	
Allow: */wa-data/*.png	
	
#категории	
	
	
#страницы фильтраций и гет параметров	
Disallow: *?*page	
Disallow: *?*weight	
Disallow: *?*clid	
Disallow: *?*pclid	
Disallow: *?*promo	
Disallow: *?*utm	
Disallow: *?*utm_referrer	
Disallow: *?*utm_medium	
Disallow: *?*utm_source	
Disallow: *?*utm_campaign	
Disallow: *?*utm_term	
Disallow: *?*utm_content	
Disallow: *?*device	
Disallow: *?*gclid	
Disallow: *?*openstat	
Disallow: *?*cpc	
Disallow: *?*test	
Disallow: *?*dev	
Disallow: *?*sort	
Disallow: *?*order	
Disallow: *?*tip	
Disallow: *?*tsvet	
Disallow: *?*brend	
Disallow: *?*brand	
Disallow: *?*strana	
Disallow: *?*price_min	
Disallow: *?*price_max	
Disallow: *?*showall	
Disallow: *?*frommarket	
Disallow: *?*nomobile	
Disallow: *?*mobile	
Disallow: *?*crcy	
Disallow: *?*promo_id	
Disallow: *?*igshid	
Disallow: *?*rate	
Disallow: *?*preview	
Disallow: *?*etext	
Disallow: *?*invertor	
Disallow: *?*funktsiya_samoochistki	
Disallow: *?*samodiagnostika	
Disallow: *?*avtorestart	
Disallow: *?*rezhim_pritochnoy_ventilyatsii	
Disallow: *?*ionizatsiya_vozdukha	
Disallow: *[]=*	
	
Sitemap: https://ваш-сайт.ру/sitemap.xml

Скачать файлом txt

Скачать файлом Excel