Настройки модуля

Тип парсинга – новый парсинг был создан для увеличения производительности при парсинге через паблик прокси, но требует больше ресурсов. На конфигурациях, удовлетворяющих системным требованиям мы рекомендуем использовать новый вариант парсинга.

Антикапча – выбор сервиса антикапчи и ключа. Подробнее.

Максимум запросов к антикапче в сутки – ограничение на количество запросов к сервису антикапчи для модуля (только новый тип парсинга). Если настройка установлена, система не будет использовать сервис антикапчи больше, чем задано в настройке. ВАЖНО! Капчи от поисковых систем никуда не пропадут, поэтому неправильно выбранное значение может привести к невозможности нормального парсинга. Если вы не уверены, какое значение достаточно для нормального парсинга, рекомендуем перед установкой обратиться к нам в ТП. Настройка работает только для автоматического обновления, это сделано специально, чтобы не затруднять обновление нужных параметров из интерфейса.

Показать динамику показателя – если включена, будет отображаться индикатор падения/роста позиции.

Показать дату обновления – отображать ли дату обновления позиции.

Логирование — включает запись информации в логи. Крайне не рекомендуем отключать эту настройку.

Использовать кэш запросы – если включена, при получении ответа поисковой системы (ПС) он сохраняется в файл, и при последующих обращениях используются данные из файла. Настройка в первую очередь полезна для отладки, с помощью нее легко можно посмотреть что в выдаче. Также настройка полезна при выборке 10, когда поиск идет через публичные прокси. Кэш используется ровно сутки, при обращениях спустя 24 часа он удаляется. Обычно мы не рекомендуем включать эту настройку.

Сделать релевантный URL и URL в выдаче ссылками – говорит сама за себя.

Отображать короткие URL – не отображать домен в URL.

Максимум повторов для очереди в сутки – сколько попыток делать в сутки для парсинга каждого запроса по конкретной ПС. Полезна в первую очередь для парсинга через прокси.

Максимальное количество записей для одного процесса – используется для регулирования потребляемых ресурсов сервером при старом типе парсинга.

Количество процессов парсинга (новый вариант парсинга) – используется для регулирования потребляемых ресурсов сервером при новом типе парсинга.

Интервал для сравнения позиции (дней) – если использовать выборку со сравнением за две даты, то можно установить допуск для случая, если позиция за эту дату найдена не будет. Пример: мы сравниваем позиции за 15 Августа и 15 Сентября, но позиции за 15 Августа нет. Сравнивать не с чем и динамика не отобразится. Но есть позиция за 10 Августа. Чтобы сравнение в этом случае работало, нужно в этой настройке поставить 5 дней.

Перейдем на вкладку «Поисковые системы». Тут находятся настройки для парсинга поисковых систем (ПС), для каждой ПС отдельно. Давайте сделаем нужные настройки. Поехали.

Яндекс.XML – мы очень рекомендуем использовать Яндекс.XML. Если не хватает лимитов, можно их докупить или использовать сторонние сервисы (XML Stock, XMLRiver, XMLProxy). Ставим галочку Яндекс.XML. В разделе Яндекс.XML добавляем URL всех сервисов, который мы используем.

Глубина поиска – тут все понятно.

Размер выборки – количество результатов на странице, чем больше значение, тем меньше времени и ресурсов будет тратиться на парсинг. Очень рекомендуем оставить значение по умолчанию. (Для Яндекс.XML размер выборки жестко задан в 100, это сделано для экономии лимитов).

Выбор IP – можно выбрать нужный IP или прокси. Внимание! Уточнять IP обычно требуется очень редко, если не знаете нужно это или нет, оставьте эту настройку по умолчанию (будет использоваться сетевой интерфейс по умолчанию). В настройке ниже можно можно выбрать конкретный IP или прокси, в случае необходимости использовать все прокси, нужно выбрать «Прокси» в этой настройке, а поле ниже оставить пустым.

Если вы сделали рекомендуемые настройки, то парсинг Яндекс теперь должен стать очень быстрым, особенно для версии Pro.

Выставим настройки Глубину поиска. Размер выборки крайне рекомендуем оставить равным 100.

Google API – использовать сторонний сервис XMLRiver или XML Stock, который позволяет парсить выдачу аналогично Яндекс.XML. Мы очень рекомендуем использовать один из них. Ставим галочку и в появившееся поле добавляем URL сервиса, который мы используем.

Если же вы будете использовать активный парсинг органической выдачи с одного IP, то это быстро приведет сначала к капчам, а затем и к бану IP сервера. Можно попробовать настроить интервал для Google (например, 15 секунд), но, если у вас много запросов, то лучше настроить cron, и обновлять Google через автоматическое обновление, используя прокси. В любом случае обязательно должна быть настроена антикапча, рекомендуем зарегистрироваться в сервисах антикапчи Anti Captcha или ruCaptcha.

Если мы выбрали второй путь, настроим автообновление списка прокси и выберем «Прокси» в настройке Выбор IP. При парсинге Google через публичные прокси используйте только автоматическое обновление.

Следить за парсингом Google можно в логах.

Остальные ПС вы можете настроить самостоятельно, основываясь на информации, изложенной выше. Затем сохраните настройки. Обратите внимание, для парсинга Wordstat нужно заполнить логин и пароль Яндекс на вкладке «Аккаунты». Для этой цели мы рекомендуем завести специальный аккаунт, а не использовать свой личный.