Вход | Регистрация
    1  2
1С:Предприятие :: 1С:Предприятие 8 общая

Ограничение в табличной части документа 99 999 строк

[catena, 25.10.19 - 11:00]
Ограничение в табличной части документа 99 999 строк
Я
   ProxyInspector
 
24.10.19 - 17:20
1с8.3.9
Надо заполнить оборотный регистр данными.
Неожиданно столкнулся с ограничением на размер табличной части документа в 99 999 строк.
Можно ли это обойти.
И как заполнить регистр большим объемом данных, используя 1с Предприятие 8?
 
 
   Злопчинский
 
101 - 25.10.19 - 02:07
(97) вот тебе тупо конечная задач.
массив данных как у (0).
определить, что является явным признаком (или совокупность признаков) товара(ов), влияющим на объем продаж.
   Bigbro
 
102 - 25.10.19 - 04:34
мне нравится вариант (42)
   НиколаевГ
 
103 - 25.10.19 - 08:01
(97) Маня не умеет в BI :))
   ProxyInspector
 
104 - 25.10.19 - 08:05
15 млн строк это это оборотный регистр Продажи за 1 год. За несколько лет будет 50 млн. И что то меня мучают сомнения, не будет ли тормозить СКД на таких объемах.
   ProxyInspector
 
105 - 25.10.19 - 08:08
Задачка, загрузить данные по продажам крупнейших Федеральных сетей. И сделать аналитический отчет по этим продажам. Интересно справится ли 1С с этой задачей
   НиколаевГ
 
106 - 25.10.19 - 08:08
(104) Будет, инфа 100%.
   НиколаевГ
 
107 - 25.10.19 - 08:09
(105) Не правильный инструмент использовать хочешь ты :))
   ProxyInspector
 
108 - 25.10.19 - 08:11
(107) Чем богаты. 1с наше все. Или все таки надо переходить на Фузину для таких задач :)
   НиколаевГ
 
109 - 25.10.19 - 08:12
(108) Начни с Кликвью :))
   piter3
 
110 - 25.10.19 - 08:44
(105) 1С справиться-то
   Borteg
 
111 - 25.10.19 - 09:42
(88) (85) от чего юзвери мучаться то будут? от отключения итогов на пару минут в самописном регистре, пользоваться которым возможно только после загрузки данных?
   Borteg
 
112 - 25.10.19 - 09:43
(104) не будет, у меня в регистр каждый месяц грузится по 15-20 млн записей. Работает все отлично.
   unenu
 
113 - 25.10.19 - 09:48
(105) такие вещи с полпинка делают в оракле пока пьют коффе,
но так как он в опале то барахтайтесь в 1С денно и ношщьно.
   ДенисЧ
 
114 - 25.10.19 - 09:50
(113) В голом оракле? Или таки с олапом?
   ProxyInspector
 
115 - 25.10.19 - 09:55
(113) Осталось дело за малым. Купить Оракл и Олап
   VladZ
 
116 - 25.10.19 - 10:17
(105) 1с не рассчитана на большие объемы данных. 1С была, есть и будет платформой для автоматизации учета.
   ProxyInspector
 
117 - 25.10.19 - 10:37
(116) Печально. Но учет учету рознь. У нас в управленческой базе несколько млн. документов. И тоже там учет.
Тогда надо писать "1с не рассчитана на большие объемы данных. 1С была, есть и будет платформой для автоматизации учета ЛАРЬКОВ"
   НиколаевГ
 
118 - 25.10.19 - 10:38
(117) При таких объемах учёт и отчеты лучше делать в разных базах :))
   ProxyInspector
 
119 - 25.10.19 - 10:43
(118) А смысл какой?  Оборотный регистр на 50 млн записей занимает пару гигов памяти. Это совсем мало. Из за этого городить новую базу? Или ставить Оракл и Олап. Как то это не солидно. И все это из-за того, что 1С посчитало, что для ларьков нет необходимости иметь табличные части больше 100 тыс строк.
   H A D G E H O G s
 
120 - 25.10.19 - 10:43
(116) Расчитана
   ДенисЧ
 
121 - 25.10.19 - 10:43
А большие объёмы у вас это сколько? А то видел базку в 1.5 ТБ. И ничего, крутилась.
   Maniac
 
122 - 25.10.19 - 10:54
(105) а теперь ответь на главный вопрос - какой дибил будет листать этот отчет?

Я уже написал что такую информацию визуально не состоянии переварить человек. Поэтому ты не договариваешь задачу.
Нужно конкретно знать условия фильров продаж. И ихз применить на этапе загрузки.

Иными словами я бы сразу импортировал и обрабатывал ТОЛЬКО то что нужно
   НиколаевГ
 
123 - 25.10.19 - 10:55
(119) А смысл такой, что в типовых тормозить будет одновременная работа учёта и отчетности. В самописке, конечно, можно сделать нормальную архитектуру, но не все на это способны.
   Maniac
 
124 - 25.10.19 - 10:57
(119) ограничение в 100 000 строк есть, но тут уже 20 раз повторяли что ты можешь делать не 1 а много документов.
   НиколаевГ
 
125 - 25.10.19 - 10:57
(120) Платформа или типовые :))?
   Maniac
 
126 - 25.10.19 - 10:58
Как то раз делал на восьмерке базу для анализа - в которую выгружал обороты продаж и срезы остатков. Конфигурация исключительно была заточена для получения определенных аналитических данных и создавала планы продаж и закупок.
Основная база была вообще на семерке.
   НиколаевГ
 
127 - 25.10.19 - 10:58
(122) Почитай хоть про BI системы, не позорься.
   Maniac
 
128 - 25.10.19 - 11:00
(127) сьешь конфетку
   НиколаевГ
 
129 - 25.10.19 - 11:04
(128) Не хочешь? Ну продолжай писать наивную чепуху, тогда.
   Maniac
 
130 - 25.10.19 - 11:05
(129) чепуху тут пишешь пока ты. с нулем полезной информации. ровно НОЛЬ
 
 Рекламное место пустует
   НиколаевГ
 
131 - 25.10.19 - 11:07
(130) Ну, сочувствую тебе, что сказать ещё.
   Maniac
 
132 - 25.10.19 - 11:10
Чтобы мы имеем

Большое количество файлов по 500 000. В них обороты продаж.

Какие проблемы будут при импорте в 1С

1) Раз это продажи, то наверняка там есть как МИНИМУМ - номенклатура, партнер, склад. А это справочники в 1С.
Поэтому первостепенно появится неизбежно первая составляющая - синхронизация.
Сопоставление текстовых данных файла с ссылками справочника.

Если он начнет искать все построчно - то будет тормозить.
Если будет обрабатывать 500 000 в запросах - тоже будет тормозить.

По факту ему нужно по каждой строке получить кучу ссылок справочников в 1С чтобы получить таблицу для заполнения в документ.

2) Запись в 1С в оборотный регистр продаж - по сравнению с пунктом 1) менее тормозная вещь. Никаких проблем - загружает и записывает данные по 99 999 строк в оболротный регистр.

3) Получение ответов из 1С - будет сильно тормозить, так как планируется от 15 и далее по нарастащей миллионов записей.
Хорошие серваки от полумиллиона рублей.

4) Предположим менеджер выкатил отчет из 1С в который попало 200 000 строк из 15 000 000. Что он собирается с этим делать? Листать? да ну нафиг.
   Maniac
 
133 - 25.10.19 - 11:11
(131) себе сочувстсвуй недалекий.
   Мэс33
 
134 - 25.10.19 - 11:13
(48) реально ржу о таких комментов )))
Вот "упорные" ребята
   ДенисЧ
 
135 - 25.10.19 - 11:14
   Maniac
 
136 - 25.10.19 - 11:14
Я ьы выделил из перечисленного 1) и 4).
Так как то что в (0) это детский лепет по сравнению с тем что имопртируемые данные для 1С нужно синхронизировать для начала, прежде чем даже в документы запихивать. и ограничение в 99 999 строк это вообще тут никакой роли не играет.
   НиколаевГ
 
137 - 25.10.19 - 11:17
А Маня такой-же упёртый, как фузиновцы. Они бы сработались, однозначно :))
   K1RSAN
 
138 - 25.10.19 - 11:18
(137) У фузины одна беда - там только склад есть, и тот кривой. А так - хоть 100тыщминьенок загружай.
   НиколаевГ
 
139 - 25.10.19 - 11:22
(138) У фузины интеграция с каким-то бесплатным БиАем, фузину выкидываем, БиАй оставляем - профит :))
   Maniac
 
140 - 25.10.19 - 11:26
чтобы сделал я

1) потоковое чтение и деление файлов на более мелкие файлы по 99 999 строк (резка файлов)
2) подгрузка файла в ТЗ 1С, с единым запросом который синхронизирует записи и выдает результат в ТЗ
3) создание доп документа (своего, а не типового) для проведения по регистру продаж 1С. Загрузка в него ТЗ и проведение.

Также немалую роль играет какая конфигурация 1С. так как в УТ11 регистра продаж нет, там есть выручка и себестоимость. И это ужасный регистр, потому что там пара десятков измерений. И может оказаться что в импортируемых данных просто даже дофига чего нет из того что там нужно.
А также то что номенклатура и партнеры - в этом регистре это еще справочники но не номенклатура и партнера, и ключи аналитик....
А это значит что база еще больше засрется.
   ProxyInspector
 
141 - 25.10.19 - 11:27
(132) Ясно, что отчеты НЕ будут содержать много строк. там будут соответствующие отборы и группировки.
   Maniac
 
142 - 25.10.19 - 11:28
Хотя вот в УТ11 есть типовой Ввод остатков и там есть загрузка продаж - табличные части Оптовые продажи и Розничные продажи.
   Maniac
 
143 - 25.10.19 - 11:31
Все эти данные грузятся в какую то типовую? Просто любая типовая даст тормоза. они все в том или ином виде содержат грабли которые придется дополнять, заполнять, создавать.
   ProxyInspector
 
144 - 25.10.19 - 11:32
По факту для Exell 500 тыс.строк имеем 
1. Чтение файла 40 сек
2. Сопоставление/Создание справочников 5 мин
3. Проведение 2 мин.
  Это без оптимизации по скорости. С учетом того, что это делается 1 раз в месяц, то можно и не оптимизировать. Оптимизация скорости даст ускорение 3-4 раза.
   ProxyInspector
 
145 - 25.10.19 - 11:33
(143) Конечно это не типовая конфигурация. И тормозов там нет на уровне 20-50 тысяч документов в день
   Maniac
 
146 - 25.10.19 - 11:34
Ну если так) то Успехов) Смысла чего то тут дальше обсуждать нет
   ProxyInspector
 
147 - 25.10.19 - 11:37
Интересные идеи были высказаны. Осталось только реализовать и посмотреть быстродействие отчетов на СКД для большого объема данных
   Злопчинский
 
148 - 25.10.19 - 13:57
(147) то есть разрезу в которых крутить данные будут - уже известны?
   ProxyInspector
 
149 - 25.10.19 - 17:42
Разрезы известны.
    ТорговаяСеть, ФрматТорговойСети, Поставщик, ГруппаТоваров, ПодгруппаТоваров, Товар
    Себестоимость, Количество, Стоимость
    Периодичность
   НиколаевГ
 
150 - 25.10.19 - 19:14
(149) Вот просится тут BI, просится :))
   Злопчинский
 
151 - 25.10.19 - 20:54
(150) ну так я два раза товарищу сказал. он видимо непривычные слова услышал и пропустил мимо ушей.
  1  2

Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.