Всем привет!

Выгрузка справочников из базы УПП идет почти 3 суток!
Выгрузку делаю типовой обработкой Выгрузка данных.epf из дистрибутива КА 2.5, с целью переноса в новую КА.
Самый большой справочник - Номенклатура - 72000 элементов. Если его при выгрузке отключить , то процесс сокращается до 1 часа.

Пробовал использовать в качестве источника и файловую базу, и клиент-серверную - результат примерно один.

Компьютер где провожу выгрузку : Core i7-11700, RAM 32Gb, диск SSD.

Как можно ускорить процесс ?

+(0) База УПП - тоже типовая.

+(1) УПП 1.3.202.2

Ну так он выгружает не только позиции номенклатуры, но и все документы по ним. Этот справочник нельзя исключать.

Как ускорить:
+ база на диске SSD,
+ сеанс на той же машине, где сервере
+ паралелльная выгрузка несколькими сеансами
+ план обмена, чтобы не грузить повторно то, что уже выгружено

(3) Все документы не выгружаются. Только справочники.

(5) может в справочнике картинки по 1 Мб на каждую позицию? И он тупо сериализует картинки в XML?

(0) а нефига хранить картинки в карточке номенклатуры

(7) Нет там картинок.

(7) +1
выгрузизагрузи только номенклатуру в идентичную и из неё грузи в ERP

(8) Ну тогда сделайте замер производительности и скажите нам, куда уходит время

(8) значит есть что-то другое из числа допилов, ещё раз - выгрузи в идентичную, натяни типовую cf и измерь время

(11) + размер файла переноса какой ?

(11) Если УПП типовая, на замочке, думаешь есть смысл в этой манипуляции?

(0) эту конкретную обработку не видел, но если вспомнить стандартную типовую выгрузку-загрузку xml - у тебя там галочки не стоят "выгружать при необходимости" ? может он у тебя каскадно подтягивает кучу других объектов?

(12) xml файл 26 Гигов

(15) а без номенклатуры ?

(14) там нет таких опций. Только галки по организациям, видам справочников и видам остатков.

(13)[Если УПП типовая, на замочке]
замочки разные бывают, не тронутая УПП - не бывает такого

(15) Не, херня получится. Такой файл невозможно загрузить.

Исключить из выгрузки номенклатуру по которой нет остатков

(19) Загружается в КА2.5. Только не быстро.

72 тыс элементов справочника не могут дать 27 Гб.
Это по 375 Мб на элемент.
Это даже не картинки. Тут что-то не то.

Это тянутся связанные проводки, документы и за ними вся база.

а можешь для примера выгрузить пару десятков номенклатур, и глянуть что там в файл тянет?

(5) >> Все документы не выгружаются. Только справочники.

Эту гипотезу надо ещё доказать.

(16) Нет под рукой такого файла. Попозже сформирую. Но, насколько помню, в несколько раз меньше.

(24) Отбора по номенклатуре нет в типовой обработке.

Ещё возможно зацикливание

(26)[Но, насколько помню, в несколько раз меньше.]
т.е. размер элемента справочника номенклатуры исчисляется Мб, время выгрузки соответствует объёму данных
топик можно закрыть

(18) Ок. Проведу эксперимент. Позже сообщу.

(29) Теперь надо разобраться, что именно хранится в справочнике. Неужели просто картинки? А может какие-нибудь спецификации или чертежи? А может старые версии данных?

И ещё надо убедиться, что нет зацикливания, что он не выгружает одно и то же.

типовая обработка для таких объемов - в топку.

действительно файл в обмена дует немерянно.

проще своими кустарными методами загрузить номеклатуру порциями и забыть про типовую обработку - она только для демок и шалашей.

Файл вообще не нужен. Нужно COM-соединение и шпарить прямо в базу.

(31) скорее по каждому элементу тянет другие справочники из связанных реквизитов, причем не уиды, а все свойства объектов.

(32) На ИС несколько вариантов переноса есть. Можете что-то порекомендовать?

(20) Не вариант. Без остатка может быть заказная позиция. Таких много.

да сделайте свою выгрузку загрузку через любой текстовый иксэмэль файл и вперед.

Что-то не так у вас. Неделю назад в перепиленной УПП выгружал 102481 позиций номенклатуры + единицы измерения и номенклатурные группы. Файл 735 мб.
Может в базе где-то зацикливание произошло и у вас одна и та же позиция по ссылкам выгружается в бесконечном цикле.

(38) zip файл у меня 521 Мб, а в нем xml размером 26 Гб.

(38) А времени на выгрузку сколько ушло?

(39) 2% от исходного, чудовищный коэф-т сжатия. Это не картинки, это текст. Ставлю на зацикливание

(41) ТИИ прогнать попробую

Не сжатый xml 735 мб, сжался rar до 43 мб.
Выгрузка по времени минут 30 была

Только номенклатура
Начало выгрузки:   27.04.2023 22:02:58
Выгружено объектов: 102 722
Окончание выгрузки: 27.04.2023 22:12:33

(42) Там явно зацикливание по ссылкам. Например, номенклатура входит в комплект, который входит в комплект с исходной.

Нужна обработка выгрузки, которая кэширует уже выгруженные объекты в Соответствие и не выгружает их повторно.

(44) да, явно проблема у нас :(

В типовых правилах в каждой позиции номенклатуры выгружается вся информация по иерархии групп. Можно доработать, чтобы выгружалась только ссылка на текущую группу. Все равно группы отдельно выгрузятся.

Замер производительности почему до сих пор не сделан?

(48) Я предлагал в (10)

(28) а здесь была гипотеза про зацикливание

(27) "Отбора по номенклатуре нет в типовой обработке."
Ну так ведь не долго и добавить. И можно будет посмотреть на маленьком файлике что конкретно выгружается.

Типовая ли конфа, или не типовая конфа, на замке ли, или сильно переписанная - но правила-то конвертации отдельным же внешним файлом можно использовать. Вот их и нужно изменять так, чтобы справочник можно выгружать частями, параллельно. И не выгружать в обмен все ссылки, упомянутые в этом справочнике - их можно выгрузить отдельно по видам справочников. А картинки и прочие присоединённые файлы можно выгружать позднее отдельно - это непринципиально актуальная информация.

PS: УПП-->ERP

Номенклатура (номенклатура, виды, характеристики, единицы измерения, штрихкоды, номера ГТД, присоединенные файлы...):
Начало выгрузки:   27.04.2023 10:59:00
Окончание выгрузки: 27.04.2023 12:41:27
Выгружено объектов: 74 883

Производство (спецификации, тех.карты, рабочие центры, операции, аналоги, статьи затрат...):
Начало выгрузки:   27.04.2023 11:00:26
Окончание выгрузки: 27.04.2023 19:14:42
Выгружено объектов: 211 998
...
[тяжело вздыхая] А ещё начальные остатки на на начало года и документы с начала годо по сегодня...

что-то не так в датском королевстве...

(19) почему это невозможно загрузить такой файл?

Вроде нашел источник проблемы)
В обработке в ветке справочники есть пункт "История цен".
Со снятой на нем галкой "История цен" выгрузка идет около 2 часов. Размер файла 8 Гб.
Только галка "История цен" выгрузка идет около 1,5 часа. Размер файла 19 Гб.
А со всеми галками - 3 суток.

Такая арифметика.
Получается Волшебник был прав про зацикливание)

Какой дивный мир без конфигуратора

(56) ну ок