Реклама на этом месте
Форум 1С
Форум 1С
Программистам. Бухгалтерам. Администраторам. Пользователям
Задай вопрос - получи решение проблемы. Без троллинга и флуда.
28 Мар 2017, 13:05
МультиВход
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Не получили письмо с кодом активации?
 
collapse

Автор Тема: чтение большого текстового файла  (Прочитано 641 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Toshik1986

  • *
  • Сообщений: 10
  • РЕПУТАЦИЯ: 0
  • Регистрация: 2016-03-14
  • Сайт: 
  • Профессия: Ученик 1С
Доброго времени суток. Натолкните на мысль, есть csv файл более 1Гб нужно написать обработку, которая будет искать реквизиты из регистра сведений в этом файле. построчный поиск будет искать долго, а при попытке прочитать весь файл 1с ругается на нехватку памяти... с какой стороны подойти?

Смотрите бесплатно более 300 видеоуроков по работе в 1С:Бухгалтерия 8 и 1C:ЗУП 8 ред. 3.0

СМОТРЕТЬ >>


Оффлайн Kironten

  • *****
  • Сообщений: 766
  • РЕПУТАЦИЯ: 164
  • КПД: 21%
  • Регистрация: 2013-08-12
  • Сайт: 
  • Профессия: Ученик 1С
Доброго времени суток. Натолкните на мысль, есть csv файл более 1Гб нужно написать обработку, которая будет искать реквизиты из регистра сведений в этом файле. построчный поиск будет искать долго, а при попытке прочитать весь файл 1с ругается на нехватку памяти... с какой стороны подойти?
Разбить файл на несколько - не?

Оффлайн Toshik1986

  • *
  • Сообщений: 10
  • РЕПУТАЦИЯ: 0
  • Регистрация: 2016-03-14
  • Сайт: 
  • Профессия: Ученик 1С
Доброго времени суток. Натолкните на мысль, есть csv файл более 1Гб нужно написать обработку, которая будет искать реквизиты из регистра сведений в этом файле. построчный поиск будет искать долго, а при попытке прочитать весь файл 1с ругается на нехватку памяти... с какой стороны подойти?
Разбить файл на несколько - не?
нее..

Оффлайн Kironten

  • *****
  • Сообщений: 766
  • РЕПУТАЦИЯ: 164
  • КПД: 21%
  • Регистрация: 2013-08-12
  • Сайт: 
  • Профессия: Ученик 1С
Доброго времени суток. Натолкните на мысль, есть csv файл более 1Гб нужно написать обработку, которая будет искать реквизиты из регистра сведений в этом файле. построчный поиск будет искать долго, а при попытке прочитать весь файл 1с ругается на нехватку памяти... с какой стороны подойти?
Разбить файл на несколько - не?

нее..
Нее - невозможно или нее - лень?
Не вижу проблемы в разбивке csv на части. Это не xml где при разбивке надо теги отслеживать.
Просто обработка отработает на за один заход, а за несколько.
Или ищите машину мощнее.

Оффлайн LexaK

  • *****
  • Сообщений: 1174
  • РЕПУТАЦИЯ: 313
  • КПД: 27%
  • Регистрация: 2012-05-16
  • Сайт: 
  • Профессия: Программист 1С
(что помню)
1.CSV легко конвертируется в Ексель
2.Ексель легко закачивается (одной командой) в базу SQL
3.из 1С делаете настраиваете доступ к внешнему источнику данных
4.обычным запросом "Выбрать ..." ищете то что вам надо почти мгновенно! :zebzdr:

а вообще похоже что из какой-то вашей-же соседней информационной системы вам выгружают данные, наверняка они на сервере (Скл,Оракл,Пост,...) сидят.
просто возьмите у них доступ, пусть они пару вьюшек приготовят, и далее запросом ...

и не нужны будут эти выгрузки - загрузки (с CSV)
Помогло? - Нажми СПАСИБО!!!
                       :)

Оффлайн Toshik1986

  • *
  • Сообщений: 10
  • РЕПУТАЦИЯ: 0
  • Регистрация: 2016-03-14
  • Сайт: 
  • Профессия: Ученик 1С
(что помню)
1.CSV легко конвертируется в Ексель
2.Ексель легко закачивается (одной командой) в базу SQL
3.из 1С делаете настраиваете доступ к внешнему источнику данных
4.обычным запросом "Выбрать ..." ищете то что вам надо почти мгновенно! :zebzdr:

а вообще похоже что из какой-то вашей-же соседней информационной системы вам выгружают данные, наверняка они на сервере (Скл,Оракл,Пост,...) сидят.
просто возьмите у них доступ, пусть они пару вьюшек приготовят, и далее запросом ...

и не нужны будут эти выгрузки - загрузки (с CSV)
ексель мимо.. в csv туева хуча строк, файл не наш, к сожалению, как вариант, csv импортировать в скуль базу и с ней уже сверять.. Дело в том, что обработку нужно будет выполнять раз в неделю, файлы обновляются так же, поэтому хотелось бы избежать лишних движений с импортом, вот и решил посоветоваться с толковыми людьми:)

Оффлайн Kironten

  • *****
  • Сообщений: 766
  • РЕПУТАЦИЯ: 164
  • КПД: 21%
  • Регистрация: 2013-08-12
  • Сайт: 
  • Профессия: Ученик 1С
1.CSV легко конвертируется в Ексель
Придется очень внимательно отслеживать типы значений в ячейках. Эксель по умолчанию любит в свои типы преобразовывать (например даты в определенном формате, или числа с определенной точностью).
Есть хороший шанс пох*рить данные.
На небольшом файле это все легко отследить, но гиг...:dfbsdfbsdf:

Оффлайн LexaK

  • *****
  • Сообщений: 1174
  • РЕПУТАЦИЯ: 313
  • КПД: 27%
  • Регистрация: 2012-05-16
  • Сайт: 
  • Профессия: Программист 1С
Toshik1986, а как вы хотите? большие задачи (по крайней мере с большими объемами данных), требуют больших затрат, времени на обработку, (начальное) программирование, загрузку и т.д.
(возможно и CSV можно напрямую грузить в СКЛ (давно делал, точно не помню) )
Один раз все настраиваете, потом только кнопки давите! :D

Помогло? - Нажми СПАСИБО!!!
                       :)

Оффлайн Toshik1986

  • *
  • Сообщений: 10
  • РЕПУТАЦИЯ: 0
  • Регистрация: 2016-03-14
  • Сайт: 
  • Профессия: Ученик 1С
Toshik1986, а как вы хотите? большие задачи (по крайней мере с большими объемами данных), требуют больших затрат, времени на обработку, (начальное) программирование, загрузку и т.д.
(возможно и CSV можно напрямую грузить в СКЛ (давно делал, точно не помню) )
Один раз все настраиваете, потом только кнопки давите! :D
ну дак.. это все понятно) хочется найти оптимальное решение с точки зрения производительности.. думаю может проще этот csv грузить в регистр сведений, а уже в нем искать..

Оффлайн LexaK

  • *****
  • Сообщений: 1174
  • РЕПУТАЦИЯ: 313
  • КПД: 27%
  • Регистрация: 2012-05-16
  • Сайт: 
  • Профессия: Программист 1С
так вы, вроде выше писали, что такой файл у вас 1С открыть не может, памяти не хватает, как вы его грузить будете?
у нас файл Ексель 100 мег. примерно 300 тыс. строк грузится (в ТЗ) примерно 15 минут.
а если у вас строк пара лимонов. даже представить страшно сколько по времени будете грузить, средствами 1С.
ну, когда надоесть мучить 1С,
смотрите в сторону СКЛ с ДТС.

(немного песка можно перевести на ручной тачке, а если вам за раз надо перевезти 10 тонн песка, нужен белаз! разницу между тачкой и белазом улавливаете?)
Помогло? - Нажми СПАСИБО!!!
                       :)


Теги:
 

Возможно ли получение эталонного файла конфигурации *.cf из измененной стандартной, например (УТ 11.1, БП 3.0) или вопрос о том как убрать лишние доработки и привести конфигурацию базы максимально к стандартной после варварских "доработок"?

Автор kostyaomskРаздел Конфигурирование, программирование в "1С - Предприятие 8"

Ответов: 9
Просмотров: 6586
Последний ответ 30 Дек 2015, 22:14
от 1Cnastroika
Ошибка КД "Файла не существует"

Автор arkanruРаздел Конфигурирование, программирование в "1С - Предприятие 8"

Ответов: 2
Просмотров: 816
Последний ответ 31 Авг 2015, 11:19
от arkanru
Cоздание Excel afqkf по оформлению из другого файла Excel

Автор bugsРаздел Конфигурирование, программирование в "1С - Предприятие 8"

Ответов: 3
Просмотров: 2256
Последний ответ 23 Авг 2011, 14:26
от bugs
Задание типа файла при сохранении таб.документа "Сохранить копию" во внешний фа

Автор Marta_LiРаздел Конфигурирование, программирование в "1С - Предприятие 8"

Ответов: 4
Просмотров: 3474
Последний ответ 22 Дек 2011, 15:34
от sergeevds
Загрузка из файла в Зарплата и кадры справочник "Физические лица"

Автор ЕгорийРаздел Конфигурирование, программирование в "1С - Предприятие 8"

Ответов: 2
Просмотров: 2739
Последний ответ 10 Авг 2011, 06:49
от Almas

* Живое общение

Не устроил ответ?

Зарегистрируйся и задай свой вопрос. Живое общение приносит результат намного быстрее.


Зарегистрироваться

* Реклама

* Поиск

* Последние задачи на разработку (фриланс)

* Реклама

* Последние вакансии

* Топ 10 авторов за месяц

Геннадий ОбьГЭС Геннадий ОбьГЭС
157 Сообщений
alex0402
121 Сообщений
Norfolk
52 Сообщений
MuI_I_Ika MuI_I_Ika
52 Сообщений
LexaK
46 Сообщений
alexandr_ll
20 Сообщений
друган
20 Сообщений
AsadRoman
20 Сообщений
Константин5825
18 Сообщений
MrLvovsky MrLvovsky
16 Сообщений

* Кто онлайн

* Облако тэгов

* Форум 1С с мобильного

* Инструменты

* Дополнительно

Поиск

 

Dellos Catering - выездной ресторан кейтеринг по всему Миру
SimplePortal 2.3.5 © 2008-2012, SimplePortal