Важное OLX parser Gold from BLB.team

raslmordor

Спамер
Ноя 23, 2020
11
3
3
Парсер пушка, все работает. Сразу на казахстан и украину за такие деньги просто улет.
Разобрался без проблем. Прокси купил, юзер агентов выдали.

Но одно но.

Прям до боли необходимо, сделать очередь на парсинг.
К примеру я собираю ключи.
Маска медицинская и маска медична.
Это одно и то же но на разных языках.
Olx пихает и туда и туда одинаковые объявления.
Заметил что алгоритм есть некого перевода.

Поэтому собираем узкие ключевики, каждый отдельно и отдельно ссылку.
Забиваем все ссылки на очередь.
Оставляем и уходим по делам.

Софт супер, но это необходимо добавить для автоматизации полной =)
Если ссылки сразу пихать в одно поле с точки разработки проблемно.
То может легче будет сделать некую очередь, после окончания первого парсинга приступаем ко второму =)

А так пушка, успехов вашей тиме =)
 
  • Like
Reactions: Arth and DekaAdmin

Arth

Профи
Сен 29, 2019
60
9
8
вы хотели написать не очередь, а фильтрация на дубли.
но, отвечу за разработчика, чтоб это сделать, нужно научить софт различать укр. и рус. запросы.
имхо конечно, возможно, все куда проще.

Парсер пушка, все работает. Сразу на казахстан и украину за такие деньги просто улет.
Разобрался без проблем. Прокси купил, юзер агентов выдали.

Но одно но.

Прям до боли необходимо, сделать очередь на парсинг.
К примеру я собираю ключи.
Маска медицинская и маска медична.
Это одно и то же но на разных языках.
Olx пихает и туда и туда одинаковые объявления.
Заметил что алгоритм есть некого перевода.

Поэтому собираем узкие ключевики, каждый отдельно и отдельно ссылку.
Забиваем все ссылки на очередь.
Оставляем и уходим по делам.

Софт супер, но это необходимо добавить для автоматизации полной =)
Если ссылки сразу пихать в одно поле с точки разработки проблемно.
То может легче будет сделать некую очередь, после окончания первого парсинга приступаем ко второму =)

А так пушка, успехов вашей тиме =)
 

raslmordor

Спамер
Ноя 23, 2020
11
3
3
вы хотели написать не очередь, а фильтрация на дубли.
но, отвечу за разработчика, чтоб это сделать, нужно научить софт различать укр. и рус. запросы.
имхо конечно, возможно, все куда проще.
привет!
нет, я не про это.
к примеру меня интересует парсинг по ключам.

маски медицинские
маски опт
маски трехслойные

и следовательно по ключу "маски" мне повыпадает масок для секса.

следовательно, мне надо на каждый ключ вбивать отдельную ссылку.


и таких ключей 20 шт, и таких ссылок 20 шт.
и надо сидеть у парсера и через каждые 20 мин перезапускать и менять ссылку.

поэтому необходимо сделать очередь.
одну ссылку обработал и к следующей перешел.
а потом выкачивашь их всех с главной страницы.

да и выкачивание было бы круто сделать массовое.
галочки наставил и все скачал.

+

нудное проставление имен при сохранении результата парсинга.
когда работаешь на больших масштабах с множеством ключей. что бы бд собирать чистые.
 

krtexpukr

Спамер
Ноя 15, 2020
13
3
3
Тоже очень интересует когда будут доработки которые планировались
Тоже жду обновления!
Кстати Дека говорил что постарается на для нас все сделать!

Ниже скину пожелания по доработке - надеюсь все поддержат)
 

krtexpukr

Спамер
Ноя 15, 2020
13
3
3
Приветствуем вас, дорогие друзья, хотим представить вам парсер номеров с сервиса OLX ua (украина)

Нам удалось при низком потреблении программы ресурсов, добиться внушительной скорости.
Посмотреть вложение 449
Посмотреть вложение 448

Посмотреть вложение 447
Посмотреть вложение 450

Особенности программы -
  • Работа на Post/Get запросах, без использования эмуляторов или конструкторов
  • Поддержка http/socks прокси (только ipv4 так как ipv6 не поддерживаются самим olx)
  • Нет ограничений на потоки сбора информации, вы можете собирать как в 1 поток, так и в 1000
  • Автообновление
  • Поддержка вашего списка user agent
  • Сбор примерно 2х страниц (Не страниц с объявлениями, а страниц поисковых на которых располагаются) в секунду
  • Возможность отслеживать статистику user agent
  • Возможность отслеживать статистику proxy
  • Возможность прочекать прокси на подключение к olx
  • Выгрузка в xlsx (Excel)
  • Выгрузка данных Номер:Имя:Цена товара:Ссылка на тему с товаром:Район/область
Пример результатов -
Посмотреть вложение 451
Цена софта -

Пожизненная 3000р (Обновления включены, поддержка тоже)

Демо предоставляется бесплатно на 3 часа


Гайд по user agent

Контакты для связи -

skype - live:zareexx
Whatsapp - +79672647367
Tam-Tam - tt.me/dekaspace (не телеграмм)

Личное сообщение на форуме.​

Хай Дека!
Спасибо софт хороший. Работал очень быстро и без сбоев - как калаш))
Правда сейчас работает некорректно, видимо ОЛХ сменил алгоритмы в функционале.

СЕЙЧАС НЕ РАБОТАЕТ КОРРЕКТНО:
Собирает много номеров и дублирует их сам.
Об этом и фактах ниже


Пожелания к доработке:

1) Чтобы софт собирал все номера в одну ячейку для импорта, а не в 10-20 или даже 30 ячеек! Пол часа переносил и так каждый раз! Не охота состариться за этим процессом))
2) Чтобы софт собирал корректно номера. Уточняю:
Брал сслылки в объеме на 20к номеров, он их ВРОДЕ все собрал, а потом оказалось что из них чистыми порядка 500(( Почему так уверен что неполадки в софте!? Аргументирую:)
Вставил в другой софт (я его называю черепаший парсер)) эти же ссылки на 20к, он и собрал 20к и после очистки на дубли ЧИСТЫХ номеров вышло 5К! Это в 10 раз меньше!
3) Это необязательно и все если будет время и вдохновление - сделай пожалуйста регер акков и рассыльщик в ЛС (Спамер грубо говоря))


Заранее благодарю Тебя от себя и всех ребят за Твои труды в улучшении этого полезнейшего софта!
 

bocryp

Юный спамер
Дек 13, 2020
2
2
3
как дела с парсером олх на сегодняшний день, есть рабочие скрипты?