Лупа Google

Как спарсить раздел сайта?

5
(2)

.Screaming Frog – программа настолько гибкая, что, вероятно, только ее разработчики в курсе всех возможностей краулера. Правда, некоторые ее функции неочевидны и остаются таковыми даже после того, как перекопаешь весь интернет в поисках подходящего мануала. Вопрос, которая однажды поставила меня в тупик – как спарсить раздел сайта. Нужно было проработать мета-теги блога, и я вдруг понял, что абсолютно не понимаю, как в SEO Frog «отделить мух от котлет» – то бишь коммерческие страницы от информационных.

В конце концов я понял, как это делается. Панацея есть! Сейчас все расскажу.

Парсинг раздела сайта (категории, рубрики): пошаговая инструкция

Прежде всего нужно открыть программу и проследовать по пути «Configuration» – «Include» в главном меню.

Configuration Include

В появившемся окне вводим URL раздела, который нужно парсить, поставив в конце (обязательно!) слэш, точку и звездочку. Как на примере ниже – с разделом моего личного блога:

Spider Include URL

Далее жмём «ОК».

Наконец, в поле «Enter URL to Spider» вводим тот же URL, только без точки и звездочки. Нажимаем «Start» и наблюдаем, как начинается парсинг страниц в пределах одного раздела.

SEO Frog

Две самые распространённые ошибки, которые допускают SEO-шники – забывают поставить точку в разделе «Include» либо прописать URL повторно в главной строке. Без точки краулер спарсит только одну страницу, а без URL в главной строке – выдаст ошибку.

Полезен ли был этот пост?

Кликни на звездочку, чтобы оценить его!

Средний рейтинг 5 / 5. Итог: 2

Еще никто не проголосовал :((

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *