При парсинге часто возникают ситуации, когда та или другая поисковая система банит IP адрес сервера, на котором установлена система. Что делать в таком случае? Использовать прокси! На текущий момент система поддерживает HTTP/HTTPS и SOCKS5 прокси.
Добавьте URL и нажмите «Сохранить». Готово, если все правильно настроено, то теперь система будет сама добавлять и удалять прокси, а также выбирать нужный прокси для парсинга той или другой поисковой системы.
Добавление прокси вручную
ВАЖНО! Этот способ рекомендуется только если вы уверены в своих прокси. Не используйте его с публичными прокси! Можно просто добавить прокси вручную. Кликните «Прокси» в меню, затем кнопку «Добавить прокси» в тулбаре. Добавьте список прокси в форму и нажмите «Добавить».Автоматическое добавление прокси
Этот способ мы рекомендуем использовать как основной. Для начала настройте систему на работу с cron. После этого нужно либо купить подписку на проксилист, либо найти бесплатный аналог. Мы рекомендуем платную подписку. Но прежде чем покупать, убедитесь, что сервис может предоставить нужный формат данных системе. Нужен URL со списком прокси в простом формате. После этого вам просто нужно добавить этот(эти) URL в систему. Кликните по кнопке «Источники прокси».
Добавьте URL и нажмите «Сохранить». Готово, если все правильно настроено, то теперь система будет сама добавлять и удалять прокси, а также выбирать нужный прокси для парсинга той или другой поисковой системы.
Рейтинговая система выбора прокси
При парсинге через публичные прокси используется рейтинговая система. Баллы уменьшаются или увеличиваются в зависимости от результата парсинга. Отдельно считаются баллы по Гугл и Яндексу, для остальных поисковых систем используется общий балл. При выборе прокси для парсинга приоритет сначала отдается прокси с наивысшим баллом, затем менее используемому.
