Важное BLB MUlTI pars

миха

Administrator
Администратор
Июн 27, 2020
80
30
18
Посмотрел. Разобрался не сразу, есть пара тонкостей. Надо последовательно делать сначала сбор ссылок, а уже с них собирать контакты.
Тестил на 1 потоке. Мне показалось-долго.
ПОДЧЕРКНУ-ПОКАЗАЛОСЬ.
Протестил на 10 потоков. Работает.

Сраный дром позволяет юзерам скрывать контакты. Потому собирает не все, а часть.
В общем и целов скрипт вполне рабочий, но считаю, что надо как-то обходить эту авторизацию, которая мешает сбору ВСЕХ контактов.

Картина выглядит не очень.

1167


Но в принципе, набрать контактов с региона не составляет труда никакого.
С первых четырех марок авто собрано 222 телефона в средне-мелком регионе до 1 млн жителей, взятом наугад.

1168


Безусловный плюс-нет необходимости в прокси.
Но, сука, нужен актигейт. Хотя, он стоит копейки. Халявы не получится.

Делаю вывод:

Скрипт рабочий. Вполне может использоваться как самостоятельный продукт, так и в комплексе с авито-парсером, например. Объединять базы никто не мешает.
 

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
Программа обновлена
  • Добавлен парсинг prom ua
  • Ускорена обработка данных
  • Скорректирована многопоточная работа
 

Arth

Профи
Сен 29, 2019
60
9
8
Вань ты не ошибся темкой?
В парсер Авито (РФ) добавлен сбор данных с Prom (Укр.) ?
 

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
Вань ты не ошибся темкой?
В парсер Авито (РФ) добавлен сбор данных с Prom (Укр.) ?
Не ошибся, парсер уже является мульти сервисным, там уже и дром есть) И будет добавлен на этой неделе еще ряд сервисов, в том числе РБ и КЗ сервисы
 

raslmordor

Спамер
Ноя 23, 2020
11
3
3
в парсер пром юа можно разделитель между данными, заменить с ":" на "`"
п.с.
знак тильда, находится над TAB
п.с. 2
потому как если в описании товара находится "Код товара:2342123"
то при импорте в ексель разбивает на лишнее кол-во столбцов и вывод столбов кривой.

+

правильно ли я понимаю что в ссылку нужно указывать так
заходим на страницу пром юа, там выбираем раздел, выставляем категории и фильтры
по итогу получаем
пром.юа/Meditsinskie-maski-i-respiratory?a5137=146610
но это первая страница
введя ее в файл с ссылкой парсер не работает
нам нужно пробить страницу выдачи аякса
и прописать так
пром.юа/Meditsinskie-maski-i-respiratory;70?a5137=146610
показав парсеру тем самым что нужно пройти эту страницу с подгрузкой 70 аяксов
типо как страницы внутри страницы кнопка "Показать еще"
 

CHADOW

Спамер
Ноя 11, 2020
30
5
8
Подскажите пожалуйста какие прокси оптимально использовать , поставил свой ипв4 резиденты которые использую для тг софта 20шт поставил парсить один город целиком все разделы , результат собрано 900 номеров) я так понимаю это из за проксей.
 

raslmordor

Спамер
Ноя 23, 2020
11
3
3
Подскажите пожалуйста какие прокси оптимально использовать , поставил свой ипв4 резиденты которые использую для тг софта 20шт поставил парсить один город целиком все разделы , результат собрано 900 номеров) я так понимаю это из за проксей.
смотря что парсишь, если под авито то индонезия и сша прокси работают плохо.
нужно лучше брать рф город любой, 100 мб на месяц достаточно.
первый поток сбор ссылок он один.
далее лучше вставлять 20 прокси и парсить в 18 потоков, что бы был запас
 

CHADOW

Спамер
Ноя 11, 2020
30
5
8
Ну вот и я так же парсил, но проблема выяснилась чуть позже, сейчас ОЛХ (по крайней мере укр) на запрос выдает не больше 1000-1100 объявлений , то есть по ссылке на город тебе выдаст 1000 номеров и все, что бы парсить сейчас нужно критерии выставлять и чем они уже тем больше соберешь и так ходить и собирать по критериям по 1000 номеров .
Печалька :cry:
 

raslmordor

Спамер
Ноя 23, 2020
11
3
3
Ну вот и я так же парсил, но проблема выяснилась чуть позже, сейчас ОЛХ (по крайней мере укр) на запрос выдает не больше 1000-1100 объявлений , то есть по ссылке на город тебе выдаст 1000 номеров и все, что бы парсить сейчас нужно критерии выставлять и чем они уже тем больше соберешь и так ходить и собирать по критериям по 1000 номеров .
Печалька :cry:
вчера выпарсил с одно страницы 5600 строк ( - дубли) 1500 осталось, именно с olx ua
откуда такая информация про лимиты в 1000 - 1100?
 

CHADOW

Спамер
Ноя 11, 2020
30
5
8
Отсюда информация на запрос по Киеву единственный критерий выдает 25 страниц, в странице 43-45 объявления итого в районе 1100 строк
1483
 
Последнее редактирование:

CHADOW

Спамер
Ноя 11, 2020
30
5
8
И так по любым критериям, как вам удалось собрать 5600 строк хз
 

Notorious

Спамер
Авг 16, 2020
5
0
1
Привет, парсер работает? Нововведения по ограничениям выдачи номеров телефонов как-то сказалось на результате работы софта?
 

DekaAdmin

Administrator
Член команды
Администратор
Июл 5, 2019
781
1,109
93
telegram-soft.com
Привет, парсер работает? Нововведения по ограничениям выдачи номеров телефонов как-то сказалось на результате работы софта?
Работает, теперь линки надо вставлять просто списком.