Парсинг сайтов - сбор цен конкурентов 2.0

odineskin · 22 апр 2015, 08:13

Кто владеет информацией - тот владеет всем! Больше не нужны обзвоны/обходы конкурентов с целью узнать цену на продукцию. Внедряя данную подсистему, у вас всегда под рукой будут цены конкурентов онлайн.
Причины купить

Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
Заполнение собственного справочника "Номенклатуры" на основе считанных данных (описание, изображениями и тд)
Достоинства

Назначение программы

Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
Анализ ассортимента конкурентов
Получение сравнительной отчётности по ценам и ассортименту между собственной номенклатурой и номенклатурой конкурентов
Заполнение собственного справочника "Номенклатуры" на основе считанных данных (описание, изображениями и тд)

Стратегия использования программы

Цель - мониторинг цен конкурентов
1этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
2этап. Сопоставление собственной номенклатуры и номенклатуры конкурентов (Данная процедура выполняется один раз)
3этап. Периодический мониторинг цен и ассортимента конкурентов.
Цель - заполнение справочника Номенклатуры данными с сайта
1этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
2этап. Создание элементов справочника "Номенклатура" на основе считанных данных (изображение. 3описание, производитель, страна и тд)

Основные характеристики продукта:

-90% типовых интернет - магазинов считываются без проблем. Настройка на парсинг одного сайта занимает от 15 минут
-Универсальность решения. Подходит для любой предметной области.
-Возможность анализа только товара, который есть "в наличии".
-Считывание изображений
-Помощник автоматической синхронизации. Помощник помогает значительно ускорить поиск соответствий, с помощью : поиска по вхождениям в наименование, процентному вхождению в наименование, поиск по различным комбинациям полей, поиск по различным комбинациям слов и тд
-Рабочее место оператора для ручной синхронизации. В том числе сравнение по картинкам, поиск по вручную заданным словам, поиск только по отдельным характеристикам номенклатуры
-Обход защиты сайтов включает в себя настройку таймаута запросов к сайту, маскировка под поисковую систему
-Возможность использования куки при парсинге

Техническая поддержка

После покупки Вы получаете техническую поддержку и бесплатные обновления в течение 3 месяцев, далее на условиях продления.

Минимальные системные требования:

- Процессор Intel Pentium IV 1800 МГц.

- 3960 Мб оперативной памяти.

К программному обеспечению предъявляются следующие требования:

- Операционная система Microsoft Windows XP/7

- Версия платформы «1С:Предприятие» не ниже 8.2.19.83

- Elisy-Net-Bridge

- .Net не ниже версии 4

Продукт представляет сообой отдельную подсистему

Для самостоятельного внедрения данного продукта требуются минимальные знания по Xpath, html, Regex. Также вы можете заказать внедрение

www.odineskin.ru - здесь более подробнрая информация также сможете посмотреть демо базу, скачать и попробовать подсистему

Opex2015 · 06 ноя 2015, 03:02

Кто из форумчан воспользовался услугой? Дайте отзывы.

odineskin · 27 июл 2018, 18:31

Цитата: Opex2015 от 06 ноя 2015, 03:02
Кто из форумчан воспользовался услугой? Дайте отзывы.

обращайтесь http://www.opencart1c.ru/monitoring-cen

Добавлено: 27 июл 2018, 18:35

настройка одного сайта бесплатна

AIFrame · 27 июл 2018, 23:00

Meh.
Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.
Тем более, что

Цитировать90% типовых интернет - магазинов считываются без проблем.

цифра взятая с потолка для красного словца.
Против таких вот грабберов уже давно юзаются модули блокировки аномальной активности.
Более 30 переходов в минуту? В бан на полчасика. Три раза спалился на этом - пермабан, довай до свидания.

odineskin · 28 июл 2018, 21:09

Цитата: AIFrame от 27 июл 2018, 23:00
Meh.
Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.
Тем более, что
Цитировать90% типовых интернет - магазинов считываются без проблем.
цифра взятая с потолка для красного словца.
Против таких вот грабберов уже давно юзаются модули блокировки аномальной активности.
Более 30 переходов в минуту? В бан на полчасика. Три раза спалился на этом - пермабан, довай до свидания.

на моей памяти один магазин только был такой, который банил после 50 запросов, но он абсолютно всех банил, даже если мышкой в браузере по сайту щёлкаешь без модуля аномальной активности

Добавлено: 28 июл 2018, 21:12

Цитата: AIFrame от 27 июл 2018, 23:00

Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.

там ничего особо городить не пришлось, модуль УЖЕ готов к использованию, не надо тратить время городить на питоне HTMLDOM

AIFrame · 28 июл 2018, 23:24

Цитироватьничего особо городить не пришлось, модуль УЖЕ готов к использованию

Орлы? Т.е. где-то в закромах 1С есть готовые процедуры парсинга HTML и преобразованием результата в именованный дикт?
Не подскажешь процедурку?

Ты же сам написал, что тебе регулярки нужны для работы этого. Значит нет у тебя там DOM, значит все на регулярках.
Берем во внимание, что это граббер, что он должен парсить как можно быстрее, желательно в несколько потоков, иметь таймаут на вызов, чтобы не палиться и при этом не сжирать весь локальный ресурс.
1С с регулярками для этого?
Не, спасибо, нехотет.

Или все делает ASP.NET, но тогда нафига это все в одном котле подавать.
Сделал бы на хотя бы на плюсах\шарпе свой продукт, а для 1С уже к нему впаривал модуль загрузки из итоговой БД.

И еще ответь - будет это чудо 1С-ной мысли работать в linux под NET-core? Чет сомневаюсь.
Получаем уже давно кроссплатформенную 1С и обработку к ней, для которой нужна венда.
Meh...

odineskin · 29 июл 2018, 16:32

Цитата: AIFrame от 28 июл 2018, 23:24
Цитироватьничего особо городить не пришлось, модуль УЖЕ готов к использованию
Орлы? Т.е. где-то в закромах 1С есть готовые процедуры парсинга HTML и преобразованием результата в именованный дикт?
Не подскажешь процедурку?

Ты же сам написал, что тебе регулярки нужны для работы этого. Значит нет у тебя там DOM, значит все на регулярках.
Берем во внимание, что это граббер, что он должен парсить как можно быстрее, желательно в несколько потоков, иметь таймаут на вызов, чтобы не палиться и при этом не сжирать весь локальный ресурс.
1С с регулярками для этого?
Не, спасибо, нехотет.

Или все делает ASP.NET, но тогда нафига это все в одном котле подавать.
Сделал бы на хотя бы на плюсах\шарпе свой продукт, а для 1С уже к нему впаривал модуль загрузки из итоговой БД.

И еще ответь - будет это чудо 1С-ной мысли работать в linux под NET-core? Чет сомневаюсь.
Получаем уже давно кроссплатформенную 1С и обработку к ней, для которой нужна венда.
Meh...

всё в одном котле тоже неплохо, нужны различные решения, и хорошо что у пользователя есть выбор

odineskin · 17 янв 2020, 09:01

сайт переехал на https://www.opencart1c.ru/parsing-monitoring

Парсинг сайтов - мониторинг цен конкурентов 2.0

ПО больше не продается, на данный момент поддерживается программный продукт -

Программный продукт представляет собой подсистему для типовых конфигураций фирмы 1С

Кто владеет информацией - тот владеет всем! Больше не нужны обзвоны/обходы конкурентов, с целью узнать цену на продукцию. Внедрив данную настройку у вас всегда под рукой будут цены конкурентов онлайн.

Назначение программы

Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
Анализ ассортимента конкурентов
Получение сравнительной отчётности по ценам и ассортименту между собственной номенклатурой и номенклатурой конкурентов
Заполнение собственного справочника "Номенклатуры" на основе считанных данных (описание, изображениями и тд)

Стратегия использования программы

Цель - мониторинг цен конкурентов

этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
этап. Ручное сопоставление собственной номенклатуры и номенклатуры конкурентов с помощью помощников (Данная процедура выполняется один раз) ИЛИ Автосопоставление при наличии однозначных полей по которым можно провести синхронизацию (например Артикул, Код товара и тд.)
этап. Периодический мониторинг цен и ассортимента конкурентов.

Цель - заполнение справочника Номенклатуры данными с сайта

этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
этап. Создание/обновление элементов справочника "Номенклатура" на основе считанных данных (изображение. описание, производитель, страна и тд)

Основные характеристики продукта:

90% типовых интернет - магазинов считываются без проблем (bitrix, opencart, virtuemart и др). Настройка на парсинг одного сайта занимает от 15 минут
Универсальность решения. Подходит для любой предметной области.
Возможность анализа только товара, который есть "в наличии".
Считывание изображений
Помощник автоматической синхронизации. Помощник помогает значительно ускорить поиск соответствий, с помощью : поиска по вхождениям в наименование, процентному вхождению в наименование, поиск по различным комбинациям полей, поиск по различным комбинациям слов и тд
Рабочее место оператора для ручной синхронизации. В том числе сравнение по картинкам, поиск по вручную заданным словам, поиск только по отдельным характеристикам номенклатуры
Обход защиты сайтов включает в себя настройку таймаута запросов к сайту, маскировка под поисковую систему
Возможность использования куки при парсинге
При обновление сайтов конкурентов - быстрая перенастройка в режиме предприятия
Возможность парсинга сайтов, где необходима авторизация
Возможность создание собственной номенклатуры с сайтов доноров
Возможность обновление собственной номенклатуры с сайтов доноров
Возможность выбора изменяемых реквизитов при создании/обновление собственной номенклатуры с сайтов доноров
Возможность исполнения любого JavaScript кода (нажатие на кнопку, бесконечная прокрутка, выбор города и тд и тп)
Автоматическая работа