Screaming Frog – программа настолько гибкая, что, вероятно, только ее разработчики в курсе всех возможностей краулера. Правда, некоторые ее функции неочевидны и остаются таковыми даже после того, как перекопаешь весь интернет в поисках подходящего мануала. Вопрос, которая однажды поставила меня в тупик – как спарсить раздел сайта. Нужно было проработать мета-теги блога, и я вдруг понял, что абсолютно не понимаю, как в SEO Frog «отделить мух от котлет» — то бишь коммерческие страницы от информационных.
В конце концов я понял, как это делается. Панацея есть! Сейчас все расскажу.
Парсинг раздела сайта (категории, рубрики): пошаговая инструкция
Прежде всего нужно открыть программу и проследовать по пути «Configuration» — «Include» в главном меню.
В появившемся окне вводим URL раздела, который нужно парсить, поставив в конце (обязательно!) слэш, точку и звездочку. Как на примере ниже – с разделом моего личного блога:
Далее жмём «ОК».
Наконец, в поле «Enter URL to Spider» вводим тот же URL, только без точки и звездочки. Нажимаем «Start» и наблюдаем, как начинается парсинг страниц в пределах одного раздела.
Две самые распространённые ошибки, которые допускают SEO-шники – забывают поставить точку в разделе «Include» либо прописать URL повторно в главной строке. Без точки краулер спарсит только одну страницу, а без URL в главной строке — выдаст ошибку.
Спасибо