У site-control.ru вышла новая версия ядра и модулей!
Основные усилия были потрачены на улучшение парсинга, новых фишек добавлено, относительно прошедшему времени, мало. Именно по причине улучшения парсинга, мы приняли решения не делать релиз системы в июне, чтобы только протестированные механизмы использовали пользователи в системе.
Итак, краткое резюме о том, чем заметен данный релиз:
— Скорость парсинга увеличилась многократно, если раньше на парсинг позиций для 1000 запросов тратилось несколько часов времени, то сейчас позиции по 1000 запросам в яндекс и гугл обрабатывается за 15-25 минут. ВАЖНО! Скорость зависит от мощности сервера.
— Количество затраченных капч на парсинг сократилось более чем в 20 раз!
— Добавлена работа через сторонние серверы xml.yandex
— Существенно доработан Whois модуль, добавлено много новых доменных зон
— Мы объединили все кроны в единую крон-задачу, данное нововведение упростит работу с системой ВАЖНО! адрес нового крон такой /protected/cron.php run
Модуль позиций 3.34
Добавлено:
— добавление запросов: добавлена проверка запросов на дубли. Первый вариант: проверять дубли по всему сайту. Второй вариант: проверять дубли по группе, в которую производится добавление
— добавление запросов: можно указать цель 3, 5, 10, 20, 50, 100, в дальнейшем данная настройка будет обрабатываться системой в отчетах и статистики по запросам
— добавлен съем позиций в поисковой системе sputnik.ru
— добавлена сохранение истории URL, которые были найдены в выдаче ПС. Запись ведется, если URL отличается от предыдущего значения. В настройках модуля можно включать отображение колонки с URL для каждой ПС в отдельности. В настройках профиля парсинга можно отключить ведение истории URL. В данный момент данные только накапливаются и их можно просматривать в выборках. В планах связать с параметром «Целевой URL» и добавить индикаторы изменения URL
— добавлена настройка отключения отображения id сайтов в выборке сайтов в модуле
— в очереди добавлена возможность изменять приоритет заданиям и возможность поставить паузу, такое задание не будет обрабатываться системой
— обновление позиций по запросам: добавлена возможность обновить выбранные запросы либо все запросы сайта, прямо со страницы с запросами. Удобно, когда запросы расположены на нескольких страницах.
— обновление позиций по запросам: добавлены критерия проверки, теперь можно выбрать: «Обновить все», «Обновитьбез показателей», «Обновить старше 1 суток», «Обновить старше 7 суток». Если парсинг был прерван, либо часть запросов обновлялся, а часть нет, то теперь проверить оставшиеся запросы можно в один клик!
— добавлена проверка на правильный ответ ПС
— добавлена проверка на фэйковый ответ ПС, некоторые прокси подменяют выдачу ПС, теперь система это определяет.
Изменения:
— доступ к графикам в запросах открыт для пользователей
— проверка на пустую выдачу для парсеров, теперь если по запросу отсутствует выдача, такая ситуация парсерами обрабатывается корректно.
— исключены лишние запросов, когда выдача меньше глубины парсинга указанной в настройках для всех ПС, теперь если в выдаче 5 страниц, а глубина парсинга выставлена 100, то система сделает только 5 запросов, а не 10, как раньше. Актуально по большей части для mail.ru и bing.ru.
— добавлена совместимость с mysql 5.0
— выбор прокси переделано на AJAX
— выбор сайта в навигации переделано на AJAX, теперь каждый раз не подгружается все сайты доступные в модуле, когда сайтов 100к+ это ощутимо.
— изменена генерация очереди
— изменено добавление заданий в очередь из интерфейса, теперь задания в очередь добавляются практически мгновенно
— изменено отображение в выборках с сайтами, теперь есть возможность перехода на сам сайт
— избавились от представлений в модуле
— изменена логика работы с очередью
— изменена работа с кукисами
— изменено сохранение данных по позициям, если в течение суток уже были данные по позициям, то данное значение будет обновлено. Данное нововведение избавит от мусорных данных и улучшит отображение данных на графиках.
— не сохраняем в кэш фейковый ответ
Исправлено:
— логирования URL капчи для вордстат
— поправлен парсинг позиций из интерфейса
— поправлен парсинг Гугл
— парсинг гугла с размером выборки 10
— исключена из кэширования страницы с капчей для mail.ru, раньше такие страницы кэшировались и проверить позиции по такому запросу было невозможно до очистки кэша
— исправлена верстка страницы отчетов
— исправлена авторизация в парсере wordstat
— исправлено удаление сайтов из модуля
— исправлена валидация Яндекс логина в Позициях
— исправлен баг с символом амперсанда в доступах для вордстат, при наличии данного символа не производилась авторизации в аккаунте яндекса
Модуль контроль 3.43
Добавлено:
— whois добавлены настройки формата отображения даты истечения и даты регистрации домена
1. Стандартное отображение день месяц год и отображение.
2. «Дата регистрации» — 5 лет 3 мес. 6 дн. и «Дата истечения» — 267 дн.
— whois добавлена «раскраска» для «Даты истечения» красным цветом, если осталось менее 31 дня и желтым, если осталось менее 90 дней.
— whois добавлена возможность парсить данные через reg.ru, в настройках модуля есть советующая настройка. Важно! Некоторые доменные зоны всегда парсятся через reg.ru
— whois добавлено «не найдено» для зон whois
— Возвращен фильтр по группе в выборке сайтов
— Добавлено примечание о том, что консольный парсинг для логов в Контроль
— Добавлена корректная поддержка доменных зон второго уровня: ru, su, рф, ua, kz, tel, us, co, int, me, cc, com, net, org, arpa, asia, cat, coop, edu, jobs, mobi, museum, biz, pro, travel, aero, ws
— Добавлена корректная поддержка доменных зон третьего уровня: msk.ru, spb.ru, com.ru, org.ru, net.ru, pp.ru и biz.ua, pp.ua, kiev.ua, org.ua, com.ua, dn.ua, net.ua, in.ua если нужных вам доменных зон нет в списке, то пишите в техническую поддержку, добавим.
— Обновление показателей: добавлены критерия проверки, теперь можно выбрать: «Обновить все», «Обновить без показателей»,«Обновить старше 1 суток», «Обновить старше 7 суток». Если парсинг был прерван, либо часть значений обновлялись, а часть нет, то теперь проверить оставшиеся значения можно в один клик!
— Добавлена проверка на правильный ответ ПС
— Добавлена проверка на фэйковый ответ ПС, некоторые прокси подменяют выдачу ПС, теперь система это определяет.
Изменено:
— Изменено отображение выборки сайтов, теперь есть возможность перехода на сам сайт.
— Избавились от представлений в модуле
— Изменена логика работы с очередью
Исправлено:
— Парсер Яндекс для новой выдачи
— Поправлен парсинг Гугл
— Исправлен вывод сайтов в выборке
— Обработка новой капчи Яндекс
Ядро 3.32
Добавлено:
— Cron теперь единый для всех задача! Теперь нет необходимости ставить 8 заданий, достаточно поставить одно задание и запускать его раз в 1-2 минуты. Адрес нового крон такой /protected/cron.php run
— Добавлен многопоточный проксичекер
— При удалении группы, есть возможно удалить связанные сайты
— Добавлена настройка удаления файлов кэша после превышения допустимого размера, это актуально, когда мало места на сервере
— Добавлена проверка проксей во время импорта в систему, не прошедшие проверку прокси не добавляются
— Введена система рейтинга для проксей, теперь учитываются результаты прсинга, баны, капчи, время отклика и тд.
— Новая система проверки проксей, более надежна, чем используемая ранее
— Добавлена настройка экономного использования капч. Теперь можно указать, через какое количество полученных капч для каждого параметра/запроса, отправить капчу на распознание. Количество капч затраченных снизилось более чем в 20 раз!
— Добавлена поддержка сторонних сервисов xmlproxy.ru и seozoo.ru для работы с xml.yandex. Стоимость за 1000 запросов составляет всего 5 рублей. Нет ограничений на единовременно использование лимитов
Изменено:
— Изменено отображение сайтов, теперь есть возможность перехода на сам сайт.
— Полностью переделано логирование для модулей. Пользователи не заметят изменений, но программисты очень довольны))
— Изменена логика удаления сайтов и групп, теперь не требуется подтверждения удаления, сайты и группы удаляются сразу
— Избавились от представлений в ядре
— Изменены шрифты по умолчанию, теперь в старой версии браузера Opera шрифты должны отображаться корректно
— Настройки прокси — убраны бан прокси по капче, ошибки авторизации и ошибки в работе. Данные настройки больше не требуются, система автоматически принимает решения следуя заранее заложенному алгоритму.
— Отключены интервалы для прокси, данные настройки действительны только для парсинга через локальные ip
— Изменено удаление пользователей
— Изменено удаление кэша и кукисов
— Новое отображение групп сайтов, теперь пишется количество сайтов в группе. Из раздела групп можно перейти к выборке сайтов определенной группы. Во всех фильтрах по группам добавлено количество сайтов в группе.
— Некоторые настройки скрыты от пользователя, оптимальные значение выставлены по умолчанию.
Исправлено:
— Исправлена верстка
— Исправлена работа с рукапчей
— Из кэширования исключены пустые страницы
— Поправлено отображение списка групп
— Работа фильтра по группам
Мы надеемся, что нововведения придутся пользователям по душе! Мы готовы к сотрудничеству! Готовим к выпуску новый модуль!
Комментарии: