Для cms webasyst следующий robots.txt, закрывает страницы сортировки, страницы регистрации/авторизации и результаты фильтров

 
User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: *
Disallow: /*?sort=
Disallow: /*?price_min
Disallow: /*?price_max
Disallow: /*?page=1
Disallow: /*/reviews/
# wa shop
# wa shop *
Disallow: /my/
Disallow: /search/
Disallow: /search/?query=
Disallow: *&sort=
Disallow: */?sort=
Disallow: /tag/
Disallow: /cart/
Disallow: /order/
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/

# wa shop
#User-agent: *
# wa mailer mailer/*
Disallow: /mailer/unsubscribe/
# wa mailer

Host: адрес сайта, просто скопируйте урл с главной страницы
Sitemap: карта сайта в формате xml