Увеличили скорость парсинга в 10 раз!

Платформа 4.36
Добавлено:
— Переписан чекер прокси. Новый чекер тратит меньше ресурсов сервера и не использует multicurl. В редакцию платформы добавлена настройка активации использования нового чекера.

Изменения:
— Доработано отображения логов;

Модуль — Проверка позиций 4.38
Это очень большое обновление модуля. Мы полностью переписали парсинг и логику работу парсеров. Теперь парсинг меньше нагружает сервер. Скорость парсинга по тестовым замерам через публичные прокси для Google выросла в некоторых случаях до 7-10 раз!
Парсинг через приватные прокси вырос еще больше!

В данный момент система может работать как через старый вариант парсинга, так и через новый. Для активации нового варианта парсинга необходимо в настройках модуля применить соответствующую настройку.
Еще некоторое время мы будем поддерживать оба варианта, но в дальнейшем мы оставим только новый вариант.

Добавлено:
— Новый вариант парсинга через Cron;
— Новый вариант парсинга через интерфейс (для этого необходимо активировать новый парсинг в настройках модуля).
ВАЖНО! Чтобы парсинг работал через интерфейс должно быть настроено Cron задание.
Рабочий парсинг через МП из интерфейса в зависимости от настроек (тест).
— Добавлена кнопка пересчета ТОПов;
— Добавлен механизм удаления старых данных. Теперь можно удалить старые данные. Для дополнительной страховки нельзя выбрать в календаре дату из последних ста дней. Но в поле все же вбить можно;
— В настройки экспорта добавлена возможность экспортировать группы;

Изменения:
— В парсер Гугл добавлена запись в логи о бане;
— Добавлено игнорирование повтором, при ручном добавлении их в очередь;
— Убраны крупные шрифты для URL при обновлении позиций аяксом;
— При обновлении позиций аяксом обновляется и URL в выдаче, учитываются настройки коротких url.

Исправления:
— Устранена проблема с не выбранным языком Google. Фикс проверки последнего сохраненного URL в выдаче при новом парсинге;
— Исправлено регулярное выражение Бинг для старого парсера;
— Исправлено регулярное выражение для обновленной выдачи mail.ru для старого парсера;
— Фикс парсера wordstat для редиректов на национальные зоны;

Модуль — Аудит сайта 4.27
Добавлено:
— Добавлены дополнительные useragent bing, mail.ru, Yahoo для обработки robots.txt;

Изменения:
— Настройки антикапчи и количества процессов только для админа;
— Некоторые настройки модуля перенесены в настройки сайта;

Модуль — Задачи 4.13
Исправления:
— Багфикс, в задаче отображаются все файлы.