Это самое большое обновление с момента начала публичной беты.
Основные силы были потрачены на изменение логики работы связки ПП с сайтами и группами, уход от представлений в модуле позиций, доработка работы с региональной выдачей Google, оптимизация скорости системы (процесс длительный, нынешний результат только начало). Более подробно ниже:
Ядро 3.22
— Yii Framework обновлен до последней версии 1.1.14.
— Доработана система кэширования
— Доработана работа маркета
— Исправлены миграции
— Мелкие правки, их очень много
Модуль — проверка позиций 3.24
— Изменена работа с профилями парсинга. Первоначальный вариант, который казался изначально хорошим гибким решением, на практике оказался очень неудобным и непонятным для пользователей.
Мы приняли решение переписать эту часть модуля, так как это касается большинства кода модуля, то переделка очень глобальная. Предупреждаем, что могут быть ОШИБКИ, перед обновлением сделайте, пожалуйста, резервную копию базы данных. Если возникли ошибки, то сразу создавайте тикеты с описанием, мы немедля исправим.
Как было: Сайт=Группа=Профиль парсинга (ПП)
Такой вариант позволял в рамках одного сайта для одного и того же запроса обновлять разные ПП через группы, тем самым в разное время обновлять их по cron.
Как стало: Сайт=ПП
Важно, что к одному сайту можно добавить любое количество ПП, один ПП можно использовать любыми сайтами.
Теперь стало все проще и логичней, а главное, в расписание можно обновлять не по ПП, а как и раньше выбрать группу+ПП, тем самым гибкость осталась.
Все должно обновиться автоматически, но на всякий случай, если у сайтов отвалятся ПП, то нужно вручную установить связь сайта с нужными ПП.
— Добавлена возможность вводить регион Google вручную.
— Добавлены навигационные меню в рамках одного сайта
— Добавлена обработка новой выдачи для yandex.ua, yandex.by, yandex.kz, если yandex начнет подмешивать новую выдачу в выдачу yandex.ru модуль это поймет и все равно снимет позиции! Это означает, что когда yandex выкатит «Острова», то все продолжит работать.
— Добавлена возможность за один раз создавать расписание для всех групп и всех ПП конкретного сайта.
— Добавлен вывод списка сайтов использующих конкретный ПП, зайдя в ПП выводится список сайтов.
— Добавлены регионы для Wordstat в отчетах
— Добавлено примечание в логи, о том, что парсинг был через cron
— Добавлен перевод в разделе «очередь»
— Добавлена возможность использовать кэш страниц для парсинга по крону
— Улучшена навигация в рамках одного сайта
— Исправлена работа с региональной выдачей Google, теперь можно указать Москва, Новосибирск и т.п. и модуль будет собирать позиции именно для этого региона. Важно, что для региональной выдачи делаются дополнительные запросы, поэтому скорость парсинга может немного уменьшится.
— Исправлено отображение ПС на графиках, теперь на графиках отображаются только ПС из профиля парсинга.
— Исправлен парсер bing (новая выдача)
— Исправлен парсер Yandex
— Исправлено кэширование
— Мелкие правки, их в разы больше чем в ядре))
Модуль — Контроль 3.33
— Добавлен новый вариант отображения сайтов, его особенность более быстрая сортировка данных на больших выборках 100к сайтов, старый вариант практически не мог этого делать.
ВАЖНО, если в модуле много данных, то обновление модуля может занять значительное количество времени, вплоть до нескольких десятков минут.
— Удалены Яндекс блоги, так как Yandex закрыл сервис (история будет удалена)
— Исправлен парсер bing (новая выдача)
Начали плотно работу по улучшению работы с прокси и многопоточностью, первые тесты показывают, что скорость работы увеличивается более чем в 5 раз (!)
Комментарии: