Реклама на этом месте
Форум 1С
Форум 1С
Программистам. Бухгалтерам. Администраторам. Пользователям
Задай вопрос - получи решение проблемы. Без троллинга и флуда.
16 Окт 2018, 21:09
МультиВход
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Не получили письмо с кодом активации?
 
collapse

Автор Тема: Парсинг сайтов - сбор цен конкурентов 2.0  (Прочитано 2319 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн odineskin

  • *
  • Сообщений: 20
  • РЕПУТАЦИЯ: 1
  • КПД: 5%
  • Регистрация: 2010-03-16
  • Сайт: 
Кто владеет информацией - тот владеет всем! Больше не нужны обзвоны/обходы конкурентов с целью узнать цену на продукцию. Внедряя данную подсистему, у вас всегда под рукой будут цены конкурентов онлайн.
Причины купить

Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
Заполнение собственного справочника  "Номенклатуры" на основе считанных данных (описание, изображениями и тд)
Достоинства

Назначение программы

 Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
 Анализ ассортимента конкурентов
 Получение сравнительной отчётности по ценам и ассортименту между собственной номенклатурой и номенклатурой конкурентов
 Заполнение собственного справочника  "Номенклатуры" на основе считанных данных (описание, изображениями и тд)


Стратегия использования программы

Цель - мониторинг цен конкурентов
1этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
2этап. Сопоставление собственной номенклатуры и номенклатуры конкурентов (Данная процедура выполняется один раз)
3этап. Периодический мониторинг цен и ассортимента конкурентов.
Цель - заполнение справочника Номенклатуры данными с сайта
1этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
2этап. Создание элементов справочника "Номенклатура" на основе считанных данных (изображение. 3описание, производитель, страна и тд)


Основные характеристики продукта:

 -90% типовых интернет - магазинов считываются без проблем. Настройка на парсинг одного сайта занимает от 15 минут
 -Универсальность решения. Подходит для любой предметной области.
 -Возможность анализа только товара, который есть "в наличии".
 -Считывание изображений
 -Помощник автоматической синхронизации. Помощник помогает значительно ускорить поиск соответствий, с помощью : поиска по вхождениям в наименование, процентному вхождению в наименование, поиск по различным комбинациям полей, поиск по различным комбинациям слов и тд 
 -Рабочее место оператора для ручной синхронизации. В том числе сравнение по картинкам, поиск по вручную заданным словам, поиск только по отдельным характеристикам номенклатуры
 -Обход защиты сайтов включает в себя настройку таймаута запросов к сайту, маскировка под поисковую систему
 -Возможность использования куки при парсинге
 

 

Техническая поддержка

После покупки Вы получаете техническую поддержку и бесплатные обновления в течение 3 месяцев, далее на условиях продления.

 

Минимальные системные требования:

-   Процессор Intel Pentium IV 1800 МГц.

-   3960 Мб оперативной памяти.



К программному обеспечению предъявляются следующие требования:

-   Операционная система Microsoft Windows XP/7

-   Версия платформы «1С:Предприятие» не ниже 8.2.19.83

-   Elisy-Net-Bridge

-   .Net не ниже версии 4

 

 Продукт представляет сообой отдельную подсистему

 

Для самостоятельного внедрения данного продукта требуются минимальные знания по Xpath, html, Regex. Также вы можете заказать внедрение

www.odineskin.ru - здесь более подробнрая информация  также сможете посмотреть демо базу, скачать и попробовать подсистему


Оффлайн Opex2015

  • *
  • Сообщений: 4
  • РЕПУТАЦИЯ: 0
  • Регистрация: 2015-11-06
  • Сайт: 
  • Профессия: Бухгалтер
Кто из форумчан воспользовался услугой? Дайте отзывы.

Оффлайн odineskin

  • *
  • Сообщений: 20
  • РЕПУТАЦИЯ: 1
  • КПД: 5%
  • Регистрация: 2010-03-16
  • Сайт: 
Кто из форумчан воспользовался услугой? Дайте отзывы.
обращайтесь http://www.opencart1c.ru/monitoring-cen
Добавлено: 27 Июл 2018, 18:35

настройка одного сайта бесплатна

Последний раз редактировалось: odineskin; 27 Июл 2018, 18:35. Причина: Объединение сообщений

Оффлайн AIFrame

  • *****
  • Сообщений: 1134
  • РЕПУТАЦИЯ: 139
  • КПД: 12%
  • Регистрация: 2015-07-22
  • Сайт: 
Meh.
Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.
Тем более, что
Цитировать
90% типовых интернет - магазинов считываются без проблем.
цифра взятая с потолка для красного словца.
Против таких вот грабберов уже давно юзаются модули блокировки аномальной активности.
Более 30 переходов в минуту? В бан на полчасика. Три раза спалился на этом - пермабан, довай до свидания.

Оффлайн odineskin

  • *
  • Сообщений: 20
  • РЕПУТАЦИЯ: 1
  • КПД: 5%
  • Регистрация: 2010-03-16
  • Сайт: 
Meh.
Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.
Тем более, что
Цитировать
90% типовых интернет - магазинов считываются без проблем.
цифра взятая с потолка для красного словца.
Против таких вот грабберов уже давно юзаются модули блокировки аномальной активности.
Более 30 переходов в минуту? В бан на полчасика. Три раза спалился на этом - пермабан, довай до свидания.

на моей памяти один магазин только был такой, который банил после 50 запросов, но он абсолютно всех банил, даже если мышкой в браузере по сайту щёлкаешь без модуля аномальной активности :)



Добавлено: 28 Июл 2018, 21:12


Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.

там ничего особо городить не пришлось, модуль УЖЕ готов к использованию, не надо тратить время городить на питоне HTMLDOM

Последний раз редактировалось: odineskin; 28 Июл 2018, 21:12. Причина: Объединение сообщений

Оффлайн AIFrame

  • *****
  • Сообщений: 1134
  • РЕПУТАЦИЯ: 139
  • КПД: 12%
  • Регистрация: 2015-07-22
  • Сайт: 
Цитировать
ничего особо городить не пришлось, модуль УЖЕ готов к использованию
Орлы? Т.е. где-то в закромах 1С есть готовые процедуры парсинга HTML и преобразованием результата в именованный дикт?
Не подскажешь процедурку?

Ты же сам написал, что тебе регулярки нужны для работы этого. Значит нет у тебя там DOM, значит все на регулярках.
Берем во внимание, что это граббер, что он должен парсить как можно быстрее, желательно в несколько потоков, иметь таймаут на вызов, чтобы не палиться и при этом не сжирать весь локальный ресурс.
1С с регулярками для этого?
Не, спасибо, нехотет.

Или все делает ASP.NET, но тогда нафига это все в одном котле подавать.
Сделал бы на хотя бы на плюсах\шарпе свой продукт, а для 1С уже к нему впаривал модуль загрузки из итоговой БД.

И еще ответь - будет это чудо 1С-ной мысли работать в linux под NET-core? Чет сомневаюсь.
Получаем уже давно кроссплатформенную 1С и обработку к ней, для которой нужна венда.
Meh...

Оффлайн odineskin

  • *
  • Сообщений: 20
  • РЕПУТАЦИЯ: 1
  • КПД: 5%
  • Регистрация: 2010-03-16
  • Сайт: 
Цитировать
ничего особо городить не пришлось, модуль УЖЕ готов к использованию
Орлы? Т.е. где-то в закромах 1С есть готовые процедуры парсинга HTML и преобразованием результата в именованный дикт?
Не подскажешь процедурку?

Ты же сам написал, что тебе регулярки нужны для работы этого. Значит нет у тебя там DOM, значит все на регулярках.
Берем во внимание, что это граббер, что он должен парсить как можно быстрее, желательно в несколько потоков, иметь таймаут на вызов, чтобы не палиться и при этом не сжирать весь локальный ресурс.
1С с регулярками для этого?
Не, спасибо, нехотет.

Или все делает ASP.NET, но тогда нафига это все в одном котле подавать.
Сделал бы на хотя бы на плюсах\шарпе свой продукт, а для 1С уже к нему впаривал модуль загрузки из итоговой БД.

И еще ответь - будет это чудо 1С-ной мысли работать в linux под NET-core? Чет сомневаюсь.
Получаем уже давно кроссплатформенную 1С и обработку к ней, для которой нужна венда.
Meh...

всё в одном котле тоже неплохо, нужны различные решения, и хорошо что у пользователя есть выбор


Теги:
 


* Живое общение

Не устроил ответ?

Зарегистрируйся и задай свой вопрос. Живое общение приносит результат намного быстрее.


Зарегистрироваться

* Реклама

* Мониторинг цен

* Поиск

* Последние задачи на разработку (фриланс)

* Реклама

* Последние вакансии

* Топ 10 авторов за месяц

AIFrame AIFrame
85 Сообщений
alexandr_ll
71 Сообщений
MuI_I_Ika MuI_I_Ika
48 Сообщений
wise wise
38 Сообщений
Геннадий ОбьГЭС Геннадий ОбьГЭС
37 Сообщений
byte777
37 Сообщений
LexaK
36 Сообщений
alex0402
29 Сообщений
Каримдат Каримдат
21 Сообщений
АлександрВладимирович
18 Сообщений

* Кто онлайн

  • Точка Гостей: 244
  • Точка Скрытых: 0
  • Точка Пользователей: 3
  • Точка Сейчас на форуме:

* Облако тэгов

* Форум 1С с мобильного

* Инструменты

* Дополнительно

Поиск

 
SimplePortal 2.3.5 © 2008-2012, SimplePortal