Важное BLB MUlTI pars

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
1173



Доброго дня всем участникам сообщества, сегодня хотели бы вам представить blb avito парсер по очень привлекательной цене!)

И так, что умеет наш парсер -

  • Работа с резедент прокси с ротацией (астро прокси) полностью автоматизирована, вам ничего выставлять не нужно, мы проработали лимиты и тайминги, так что задаём прокси и наслаждаемся результатом.
  • Работа без юзерагентов (вернее вам не нужно их указывать, они берутся из нашей базы в 230 тысяч агентов)
  • Работа полностью на post-get запросах.
  • Многопоточная работа
  • Сохранение результатов как с ссылками, названием товара и цены -
    парсер авито
  • Так и просто номера, для вашего удобства -
    BLB Avito pars
  • Низкая нагрузка на систему -
    1039
    (Работа в 25 потоков)
  • Автоматические обновления
  • Низкий расход трафика -
    1040
    (за примерно 1000 номеров)
Добавлен парсинг дром, по аналогии с авито!) Цена не меняется, с добавлением нового сервиса!

Инструкция к парсингу дрома - Инструкция как парсить DROM.ru

В скоре ожидается добавление новых сервисов!

Перейдём к ценам!

Это на данный момент единственный наш проект который распространяется по подписке, так как связан с частыми обновлениями против системы защиты авито, и так к ценам

1000р месяц
1700р 2 месяца
2500р 3 месяца


После покупки вы получаете дистрибутив и ключик на срок оплаченный согласно прайсу выше)

Бонусом покупатели так же получают купон на 100р в сервисе https://rucaptcha.com

Контакты для связи

Там-там - https://tt.me/dekaspace

Личка на форуме

Мы принимаем


 
Последнее редактирование:
  • Like
Reactions: Vadym

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Ну что ж, можно и потестить с месяц за эти то деньги.
 

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
Ну что ж, можно и потестить с месяц за эти то деньги.
Цена специально сделана ниже рынка. Так как мы не очень любим подписку. И большинство разработчиков специально завышают цены
 

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Формат прокси какой должен быть, чтоб скрипт его мог распарсить?

1042
 

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Скобки убираем?
Что за линк? В каком формате?

Может просто пример дать?
 

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Да, работает.

Смотрю в логи, результаты. Нет имен. Если бы было еще имя или ник, указанный в объявлениях, то было бы вообще агонь.
Не планируете сделать?

Скрипт однозначно полезный. И уже работает.
 

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
Да, работает.

Смотрю в логи, результаты. Нет имен. Если бы было еще имя или ник, указанный в объявлениях, то было бы вообще агонь.
Не планируете сделать?

Скрипт однозначно полезный. И уже работает.
В будущем будет выгрузка в Excel и mysql с именами и прочим. Сейчас смысла нет, основной упор на работу с номерами.
 

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Имя или ник однозначно нужен! В базах это очень важно.
Пока приходится собственным парсером Viber дублировать базу, чтоб добавить хотя бы что-то.
Особенно это важно для баз под обзвоны, майлы и т.п. Обращаться то надо НЕ ОБЕЗЛИЧЕННО.

А если парсить просто номера, то желательна функция отключения парсинга других данных. И трафик экономится и скорость, думаю, вырастет.
 

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
Имя или ник однозначно нужен! В базах это очень важно.
Пока приходится собственным парсером Viber дублировать базу, чтоб добавить хотя бы что-то.
Особенно это важно для баз под обзвоны, майлы и т.п. Обращаться то надо НЕ ОБЕЗЛИЧЕННО.

А если парсить просто номера, то желательна функция отключения парсинга других данных. И трафик экономится и скорость, думаю, вырастет.
Для тг смысла в личности нет, там большая часть рассылок идёт с таргетом на район или регион) так что этого более чем достаточно
 

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Для тг смысла в личности нет
А кто сказал, что парсер используется только под ТГ?

Лично мне он в ТГ не нужен вообще. Я им собираю базы данных для других целей. А потому считаю, что имя очень надо.

По результату 1-2 дней работы могу сказать следующее.

1. Если отрубается 1 из прокси, то сразу идут ошибки и пропуски. Собранные ссылки не обрабатываются другим потоком, а просто пропускаются. Лучше бы сделать алгоритм замены нерабочего прокси. То есть 2-3 попытки и отключать его из скрипта.

2. Отлично работает 12 потоков на 12 прокси. И 8 потоков на 4 прокси.

3. Скорость примерно 4 секунды на 1 ссылку при 1 потоке. При увеличении колич. потоков скорость увеличивается практически кратно потокам. Чуть меньше.
При 12 потоках расчетно-экспериментально удалось добиться скорости около 50К за 8 часов. Считаю, что вполне возможна скорость 100К в сутки.
Реальный замер на 12 потоках:
Время работы : 30:42
Ссылок: 2999
0,6 секунды на 1 ссылку.


4. Не понял работы вкладки "База". Надо разбираться.

5. В некоторых случаях выдает ошибку от авито. Сначала подумал, что по лимиту, но не уверен.

6. Бот годный. Стоит разумно.
 
  • Like
Reactions: Arth and DekaAdmin

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
А кто сказал, что парсер используется только под ТГ?

Лично мне он в ТГ не нужен вообще. Я им собираю базы данных для других целей. А потому считаю, что имя очень надо.

По результату 1-2 дней работы могу сказать следующее.

1. Если отрубается 1 из прокси, то сразу идут ошибки и пропуски. Собранные ссылки не обрабатываются другим потоком, а просто пропускаются. Лучше бы сделать алгоритм замены нерабочего прокси. То есть 2-3 попытки и отключать его из скрипта.

2. Отлично работает 12 потоков на 12 прокси. И 8 потоков на 4 прокси.

3. Скорость примерно 4 секунды на 1 ссылку при 1 потоке. При увеличении колич. потоков скорость увеличивается практически кратно потокам. Чуть меньше.
При 12 потоках расчетно-экспериментально удалось добиться скорости около 50К за 8 часов. Считаю, что вполне возможна скорость 100К в сутки.
Реальный замер на 12 потоках:
Время работы : 30:42
Ссылок: 2999
0,6 секунды на 1 ссылку.


4. Не понял работы вкладки "База". Надо разбираться.

5. В некоторых случаях выдает ошибку от авито. Сначала подумал, что по лимиту, но не уверен.

6. Бот годный. Стоит разумно.
Благодарю, ошибки учтём и поправим в ближайшее время.
 

Arth

Профи
Сен 29, 2019
60
9
8
есть ли баги, учитывая что софт только увидел мир ?

как с нагрузкой на железо?
 

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
есть ли баги, учитывая что софт только увидел мир ?

как с нагрузкой на железо?
Багов нет) так как процесс тут довольно прямолинейный, сам процесс отлажен по максимуму. Ездит идеально, но по прямой) Собственно как и задумывалось)

По нагрузке
1057
 

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Если я правильно понял, сделали замену нерабочих прокси автоматом. Это гут.

Еще предлагаю сделать возможность ротации потоков при первоначальном сборе данных. А то получается достаточно частые вылеты при сборе ссылок. Видимо, Авито блочит IP первого потока. А сбор идет только с первого потока. 1-2К собирает достаточно стабильно. Но 3-5 уже очень не всегда. А более 5К ни разу не получилось.
Настроек этого процесса не увидел.
 

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Коллеги, подскажите плз.
Парсер при колич. в несколько тысяч отрубается. Чем больше количество, ем больше вероятность отруба. То по 403, то вот так:
1078


Как этого избежать?

Я правильно понимаю, что это авито рубит проксю?

Увеличение задержки не поможет? Сейчас стоит 2500
 
Последнее редактирование:

Kriket

Гарант BLB
Член команды
Администратор
Июл 23, 2019
92
132
33
Коллеги, подскажите плз.
Парсер при колич. в несколько тысяч отрубается. Чем больше количество, ем больше вероятность отруба. То по 403, то вот так:
Посмотреть вложение 1078

Как этого избежать?

Я правильно понимаю, что это авито рубит проксю?

Увеличение задержки не поможет? Сейчас стоит 2500
Это баг самого авито, сайт последнее время работает не стабильно, даже с домашнего IP зайдя на авито посмотреть что то, зачастую можно увидеть ошибку "502 - плохой запрос", в логе именно оно, уже работаем над исправлением
 
  • Like
Reactions: миха

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Сегодня никак не хочет работать.
1093


Прокси свежие, IP свежие.

Что еще надо?