Использование прокси

При парсинге часто возникают ситуации, когда та или другая поисковая система банит IP адрес сервера, на котором установлена система. Что делать в таком случае? Использовать прокси! На текущий момент система поддерживает HTTP/HTTPS и SOCKS5 прокси.

Добавление прокси вручную

ВАЖНО! Этот способ рекомендуется только если вы уверены в своих прокси. Не используйте его с публичными прокси! Можно просто добавить прокси вручную. Кликните «Прокси» в меню, затем кнопку «Добавить прокси» в тулбаре. Добавьте список прокси в форму и нажмите «Добавить».

Автоматическое добавление прокси

Этот способ мы рекомендуем использовать как основной. Для начала настройте систему на работу с cron. После этого нужно либо купить подписку на проксилист, либо найти бесплатный аналог. Мы рекомендуем платную подписку. Но прежде чем покупать, убедитесь, что сервис может предоставить нужный формат данных системе. Нужен URL со списком прокси в простом формате. После этого вам просто нужно добавить этот(эти) URL в систему. Кликните по кнопке «Источники прокси».
proxy_sources
Добавьте URL и нажмите «Сохранить». Готово, если все правильно настроено, то теперь система будет сама добавлять и удалять прокси, а также выбирать нужный прокси для парсинга той или другой поисковой системы.