Всем привет! Подскажите плиз, я заметил что при импорте товаров в справочник товары и даже при импорте данных в регистр сведений "цены поставщиков" , если записей справочника много, например около 500 тыс, то 1с жутко тормозит. конфа самописная, но независимо от обработчиков "при открытии" и тп, если все поотключать, все равно все тормозит. с регистром сведений та же беда. дело-таки в конфе или в платформе ? или может в конкретном компе?

Если конфа в вакууме то должно работать идиально.

Неплохо бы обновить brain.dll и hands.sys

+(2)и не забыть поправить в head.ini=)

(2),(3)а ведь он полез искать их, злые вы

(0)Какая конфа? импорт откуда? платформа ? телепаты спят!

справочник клиентов 2.5 млн. записей.. вроде ничо так. работает..

ИМХО он перебором ищет элементы справочника, чтобы в регистре запись сделать...

у меня всё работает.

платформа 8.2.13.205
конфа самописная вапсче, не мной, тормознутая конечно , но не настолько же.... чтобы если я импортировал 500 тыс значений в регистр, простейший причем, очень долго

импорт из excel, версия серверная
но я пробую сначала на локальном компе
просто считываю из екселя в ТЗ, потом из ТЗ делаю набор нужных мне записей (а это практически ВСЕ записи, просто без дублей на всякий случай), и записываю этот набор. и вот это у меня на 500 тыс работает больше 3х часов, хотя в регистре самом никаких процедур типа "призаписи" нету

Эм.... Ты одним махом пишешь 500 000 записей? Неудивительно...
По моему опыту - лучше писать кусками.

например? по 100 тыс?

(12) например замерить отладчиком на предмет как на твоем железе и твоей нагрузке будет оптимальнее...

(12) зависит. У меня разные регистры пишутся разными порциями. От 5000 до 25 000.

ну это простейший регистр
попробую по 50 тыс. но идея хорошая конечно, спасибо

за какое время (минимально) можно загрузить 500 тыс записей в регистр сведений, если при записи туда не выполняется никаких условий?

(0) 500 тыщ это вовсе не большая таблица

ну и как максимально быстро такую сохранить? все равно файл считывать надо построчно.. и потом , записывать даже кусками, 500 тыс займет не меньше пары часов

(18) а чо за файл?

упссс
файл csv
содержит код поставщика, цену, наименование

надо это просто сохранить в регистре сведений, но там может быть 500 тыс строк... вот я и ищу оптимальный вариант записи

записываю записи.. первые 100 тыс идут более-менее быстро.. потом почему-то все идет медленнее, даже если регистр изначально был пуст...

(0) замер производительности что показывает?

(23) как его сделать...?

(24) Тебе потребуется Некрономикон (обязательно в оригинале), черный петух (живой, одна штука) и кровь младенца. Они у тебя есть?


PS Кто впустил неотесанного неофита?

http://screencast.com/t/oiyfewDnjKm

(26) спасибо

потому что видать в транзакции все пишется может быть.. если в транзакцию запихнуть ВСЕ - то может быть меделенно, если разумными порциями фиксировать - то будет оК. По крайней мере на 7.7 - так, может и на 8-ке таковое мае буты?

(25) ты лучше спроси кто его выпустил...

(28)платформа все херачит в память(читает набор) - памяти не хватает - вылет.

(29) да тут-то все более-менее понятно - заборостроительный какой-нить межгалактический университет имени Добра

(28) Мае, мае, всяко бывае... кто поумнее - в настройках СУБД пороги эскалации плокировок поправляе...

(30) моет дождемся каких-нить фактов от отладчика вместо того, чтобы пальцем в небо яростно херачить?

(31) Имени победы бобра над ослом

(32)это пусть dba поправляе, нефиг их работу делать

(33)а чего херачить, проверял-)

я пихаю по 25 тыс записей

потом обнуляю набор записей

в транзакции то же самое, такое же количество...

(38)обнуляю - это зачем?

(40) я записываю и обнуляю

то есть записывается кусками

If Int(counter/25000) = counter/25000 Then
recordset.Write();
Message("Writing of recordset... " + trimall(counter)+ " " +String(CurrentDate()));
recordset.Clear();
CommitTransaction();
BeginTransaction();
EndIf;    

вот такой код

в конце цикла это все происходит

(43) во-первых, есть в природе оператор %, а, во-вторых, ты замер запустил? Узнал, какая строчка больше всего времени жрет?

(45) да, запустил, больше времени жрет чтение csv файла...

я знаю про %, но разве от этого зависит?

(46)ыыыыыыы

запись в регистр совсем мало процентов жрет...

(48) набор записей обнулять не нужно??

да не, просто (33)прав оказалсо

хотя читает довольно резво, у меня в статусную строку номер строки выводится, это все идет очень быстро, тем более с помощью ADODB.Connection

но почему тогда при увеличении количества записей такое происходит... хз

Собственно.

1) База по сети - таскается вся таблица регистра, чем она больше - тем дольше таскается.
2) Индексы - каждая вставка новой записи требует перестроения индексного дерева. Чем больше записей - тем дольше перестроение.
3) Убрать вывод на экран статусные строки для каждой записи. Выводить для каждых 25000.
4) Инное.

p.s. Я не увидел кода

170 тысяч записей в обычный регистр сведений на 8.2, клиент-серверная версия, импортировались за 1.5 часа. это нормально?

(55) это долго

я использовал транзакции... и периодически очищал recordset... что еще можно сделать?

никаких доп. условий... просто импорт из csv файла...

(58) что по (54) ?

1) не по сети
3) статус убрал

2) как проверить?

(61) Индексы в РС есть?

есть

(55) надо детализацию. на что были потрачены 1.5 часа.

на запись в регистр

BeginTransaction();
   counter = 1;
   For Each VTLine in ValueTable Do
       If VT.FindByValue(VTLine.ProducerCode) <> Undefined Then
           Continue;
       EndIf;    
       counter = counter + 1;
       newrow = recordset.Add();
       newrow.Klient = Klient;
       newrow.Quantity = 1;
       newrow.Description = VTLine.Description;
       newrow.code = VTLine.ProducerCode;
       newrow.BP = VTLine.BP;
       newrow.IsOldItem = false;
       DiscountGroupString = VTLine.DiscountGroup;
       Try
           newrow.DiscountGroup = MapDiscauntGroup[DiscountGroupString].ref;
           newRow.Price =  newRow.BruttoPrice * (100-MapDiscauntGroup[DiscountGroupString].Discount)/100;
       Except    
           newrow.DiscountGroup = Catalogs.DiscountGroups.Unknown;
           newRow.Price =  newRow.BruttoPrice;
       EndTry;    
       
       newrow.Info = VTLine.Info;
       newrow.Producer = Producer;
       
       newrow.TimeStamp = CurDate;
       NewVTRow = VT.Add(newrow.code);
       If Int(counter/25000) = counter/25000 Then
           Status(string(counter));
           recordset.Write();
           recordset.Clear();
           CommitTransaction();
           BeginTransaction();
       EndIf;    
   EndDo;    
   
   recordset.Write();
   CommitTransaction();

вернее на кусок выше

recordset = InformationRegisters.Prices.CreateRecordSet();
   recordset.Filter.Klient.set(Klient);
   recordset.Write();

вот что было в начале

РегистрСведенийНаборЗаписей.<Имя регистра сведений> (InformationRegisterRecordSet.<Имя регистра сведений>)
Записать (Write)
Синтаксис:
Записать(<Замещать>)
Параметры:
<Замещать> (необязательный)
Тип: Булево. Определяет режим замещения существующей записи в соответствии с текущими установками отбора. Истина - перед записью существующие записи будут удалены. Ложь - записи будут дописаны к уже существующим в информационной базе записям
Значение по умолчанию: Истина

Может сам скуль тупит? Счетчики производительности в порядке? Длинна очереди к диску?

структура регистра - 5 измерений

Klient
Quantity
code
unit
producer

Чего-то у тебя с кодом не так.

(72) я догадываюсь, и поэтому прошу помочь...

Отборы как устанавливаются?

скуль работает нормально, не тормозит ничего. почти уверен, что в коде дело либо в индексах и тп

Просто скорее всего чистится регистр при каждой записи

вот один отбор только, по клиенту, чтобы записывать каждый раз цены его заново
recordset = InformationRegisters.Prices.CreateRecordSet();
   recordset.Filter.Klient.set(Klient);
   recordset.Write();

нет, чистится только по клиенту, один раз, не в цикле

по английски не привычно анализировать код ((

я понимаю, но так попросили делать, на всякий случай. да и смотрится все-таки как-то привычнее

(78) Каждый раз чистится

При
recordset.Write();

Ибо у тебя отбор по клиенту уже установлен не в цикле и записи по клиенту есть.

дык подожди, мне его чего, убрать чтоли из цикла?

и оставить только в конце, после цикла?

ValueTable  у тебя содержит данные по нескольким клиентам?

нет

Ну так замени
recordset.Write();
на
recordset.Write(false);

где? в цикле? а после цикла тоже?

recordset.Write() - у меня в трех местах в коде
первый раз когда отбор по клиенту
второй раз когда каждые 25 тыс записывается
3 раз в самом конце

2 и 3 раз

понял, спасибо
насколько это может увеличить скорость?

(92) На Х.З. единиц.

Структуру регистра расскажи.
Есть ли РЛС ?

структура регистра - 5 измерений
Klient
Quantity
code
unit
producer

РЛС - это что?

есть еще ресурсы, цена и тп

(95) Пилят.

Тип измерений, наличие индексов.

(96) Строки большой длины?

(98) нет

тип измерений

Klient справочник
Quantity число 15.2
code текст
unit справочник
producer справочник

индексы есть в code

(101) Убери для замера

ок. а еще есть индексы в ресурсах, их тоже убрать?

(103) Тоже

ок, так и сделаю, спасибо!

каждый индексированный атрибут затормаживает загрузку тоже да?

(106)

Почитать для общего развития

http://www.sql.ru/articles/mssql/03013101Indexes.shtml#13

Особенно про фрагментацию и статистику.

(106) Да

СПАСИБО!

Астрологи объявили неделю быстрой записи в регистр сведений.
Поголовье индексов регистра снижено вдвое.

(0) Автор, помогло?

(111) спасибо за интерес! сразу откомментирую, когда проверю. дело в том, что как раз после твоих последних советов в офисе где сервак, была лажа со светом, жду когда починят

(112) Запах серы отлично перебивает запах свежезаваренного кофе.

(113) пока что 100 тыс дольше, чем за полчаса грузит...

но индексы я еще не убирал, попробовал только с False при записи Recordset

(115) Измерение
Code у тебя какой длины?

20

(117) Это Прискорбно.

ОсновнойОтбор стоит у него?

lf

ага

(120) Убирай его (Основной отбор) отовюду, откуда можно, ибо:

понял

но это потом не будет тормозить поиск?

http://img-fotki.yandex.ru/get/5305/liveups.1b/0_bd271_d8f8b9b0_L.jpg

http://img-fotki.yandex.ru/get/5608/liveups.1b/0_bd272_51303aac_L.jpg

Твое измерение Code имеет размер в 40 байт и юзается в 2 встроенных индексах - индексе измерений и индексе основного отбора.

Это жестоко

Из основного отбора я бы убрал все, кроме Client

а если я вообще поудаляю везде основной отбор, как это отразится потом на поиске?

понял! спасибо!

(0) структуру регистра надо пилить для начала)

Еще вопрос - что делает Quantity (количество) в измерении ?

количество единиц за цену

(131) Ясно. Но как то логичнее тогда поменять местами цену (в измерения) и количество (в ресурсы). Но это лирика.

А что такое Code в регистре?

Код товара (данный поставщиком)

сейчас 100 тысяч за полчаса записалось. это нормально?

(135) Нет

Если конфа небольшая - скинь dt-шник и исходник данных. Если не критично-конфидициально.

Я пишу напрямую. Скопом по миллиону записей из текстового файла. По 30 минут если новый (индексы тормозят) и минуты по 2-5 при обновлении

(138) nvarchar(40) (в индексе!) имеет длину 40 байт фиксированно, либо реальную длину ?

Просто может товарисчу на справочник перейти, как с НомераГТД сделано.

(140) Я работаю с регистрами сведений, единственно, что там нужно симплкей прописать при вставке
v8: _SimpleKey и его установка

(141) Чего то я не верю про такие различия по времени в 1С и SQL

Не то слово.  Раньше простенький прайс грузился часами, да и сейчас кое где анахронизмы остались и грузится через тз, записей несколько тысяч по скорости сопостаимы со 100 тысячами. В 1с ненормально сделано merge, а по одной записи тоже оочень долго. Поверь, не от хорошей жизни перешел на прямую запись в SQL, зато сейчас все рады, т.к. такие прайсы грузятся по многу раз на дню.
Отсутствие merge в 1С считаю большим минусом. А вот использование внешнего источника очень хорошо, только интересно как у них с драйверами по 64 битные оси? Год назад неподдерживались.

Че такое merge?

(137) - сама запись в регистр уже летает, спасибо!
тормозит теперь только одна фигня - я записываю в регистр порциями ведь. а код поставщика - уникальным должен быть. иногда поставщики высылают прайсы, где дважды один и тот же код есть. и получается, что запись скопом в регистр невозможна. вот мой код

   counter = 1;
   record.MoveNext();
   
   BeginTransaction();
   while record.EOF = 0 do
       counter = counter + 1;
       
       Try
           newrow = ValueTable.Add();
           newrow.ProducerCode = Trimall(StrReplace(record.Fields(1).Value,char(160),""));
           If TableWithProducerCodes.FindByValue(newrow.ProducerCode) <> Undefined Then
               Continue;
           EndIf;    
           
           newrow.ItemName = Trimall(record.Fields(2).Value);
           Price = record.Fields(3).Value;
           newrow.Price = number(StrReplace(Price,char(1026),""));
           NewProducerCodeinTable = TableWithProducerCodes.Add(newrow.ProducerCode);
           If Int(counter/50000) = counter/50000 Then
               CommitTransaction();
               BeginTransaction();
           EndIf;    
           record.MoveNext();
       Except    
           Message("Error");
           record.MoveNext();
       EndTry;    
   EndDo;

If TableWithProducerCodes.FindByValue(newrow.ProducerCode) <> Undefined Then
               Continue;
           EndIf;  

вот тут все и тормозит

(145) Xnj pyfxbn ktnftn&

Что значит летает?

У меня, с упрощениями, в такой же по структуре регистр 25000 записей пишется за 10-15 секунд, к примеру.

(146) ВОООТ. Блеать!.

Агрххх.

Таблицу значений с индексированной колонкой!

Чтож ты мозг то насиловал то.

(143) Че такое merge - я понял. Нету - ну и фиг с ним.

Ты дошел до смысла _SimpleKey ?

не ругайся ))

порекомендуй плиз, как это оптимизировать!

(146) Я гружу в темп таблицу, если нужно удаляю дубли в ней.

(156) ну загружу я коды в другую таблицу, сверну ее, а потом? я ж не могу по цене сворачивать

(146)замени на поиск по структуре - на порядок быстрее

(157) Удалишь строки, в которых дубли по коду.
Но лучше вместо списка - индексированную таблицу!

(158) Нихрена.

(160) это таблицу значений что ли? не можешь код кусочек скинуть, как бы получше?

(158)
лично проверял
ТЗ ~2000 строк, специально не индексировалась
поиск значения по колонке через НайтиЗначение медленнее чем через НайтиСтроки на порядок
(автоматически индексируется сама - возможно)

(162) Ниче само не индексируется.

проиндексировать колонку конечно еще быстрее

(163) Ежик, подскажи код плииизз ;)

так, добавил ТЗ, в ней намного быстрее идет поиск?

(153) До конца не дошел, но по всей верояности это сделано как уникальный ключ, вроде как для обмена нужен но точно не знаю. Уже где то 1.5 года полет нормальный

TableWithProducerCodes=Новый ТаблицаЗначений;
   TableWithProducerCodes.Колонки.Добавить("ProducerCode",Новый ОписаниеТипов("Строка",,Новый КвалификаторыСтроки(20,ДопустимаяДлина.Переменная)));
   TableWithProducerCodes.Индексы.Добавить("ProducerCode");

Это ты создашь таблицу.
В ней и ищи

так и сделал уже! спасибо! ща проверю!

ооо, уже вижу, что летает практически ;)

ща посмотрим за сколько загрузится

(162) НайтиСтроки() работает с индексами тогда, когда точно ВСЕ строки поиска индексированны. Частично - не работает.

(162) Я в курсе, что Структура индексированна, НО!.

Когда у 1С подходит к концу память - начинается жесть. Первые элементы извлекаются мгновенное, конечные - по нескольку минут.

Посмотри на регламентированной отчетности, декларации какие-нибудь строк так на 40000-50000.

(174) Кроме того, очистка ИМЕННО структуры - некорректна, физически память освобождается, но через некоторое время 1С вылетает с out of memory (что 8.1, что 8.2)

Все, я домой.

Ауфтор, пеши есчо!

спасибо тебе!

напишу напишу ))

итог на сейчас - 411.469 штук меньше, чем за 5 минут!!!

(179) Плохо.
Но уже лучше

(180) значительно лучше, я доволен очень ;) спасибо за поддержку. буду писать еще ;)