 |
|
|
1С:Предприятие
:: 1С:Предприятие 8 общая
|
|
|
| ||
| Pandoch 01.06.20 - 18:16 | Добрый вечер. Уважаемые, сталкивался ли кто-нибудь с проблемой, когда обработкой формируется очень большие таблицы в табДок на форме, и при попытке сохранить штатными средствами это в ексель таблицу - платформа долго висит, пока не валится с нехваткой памяти (база серверная).
Понятное дело, что негоже такие огромные массивы данных давать 1ске кушать, но там холдинг, у них с этим все плохо. Вопрос - есть ли разница в том, попытается ли платформа сама штатными средствами сохранить табличный документ в ексель, или же сделать кнопочку и прописать код, который сохранит ту же таблицу в ексель? Может есть какие-то настройки для более оптимальной работы с памяти при записи файла? Как вообще посоветуете оптимизировать этот процесс? только лишь разделением одной большой мегатаблицы на несколько файлов? | ||
| Фрэнки 1 - 01.06.20 - 18:19 | Платформа валится с ошибкой не потому, что база серверная | ||
| Pandoch 2 - 01.06.20 - 18:20 | а я же этого не говорила. валится потому, что не хватает памяти для обработки процесса | ||
| wt 3 - 01.06.20 - 18:21 | Мало того. Когда все же удастся выгрузить , выяснится , что потребитель этот файл либо не сможет открыть, либо он будет так тормозить, что работать с ним будет невозможно. | ||
| Фрэнки 4 - 01.06.20 - 18:22 | начни с того, что поставь на клиента 64-бит клиента. Но вряд ли это спасет. В том числе, что 1С такое число строк и столбцов может и переварит, а вот эксель может и не смочь. | ||
| VladZ 5 - 01.06.20 - 18:31 | (0) Для каких целей нужна эта "портянка"? Для дальнейшего анализа? Выгружайте в БД: DBF, SQL и т.п. | ||
| wt 6 - 01.06.20 - 18:34 | Если они будут все же упорствовать, возьми комп помощнее, на нем оставь выгрузку на ночь. Если выгрузится дай им этот файл. Я специально под таких фруктов держал комп на котором огромные сборки САПР делал. Но потом они все равно будут не довольны, типа мы его открыть не можем. И лишь тогда, после этого предложи им след вариант. Ты выгружаешь в формат mxl, они у себя устанавливают плагин для чтения этого формата в ексель. Открыть его они откроют, а вот дальше пусть сами с такими файлами работают. | ||
| Гений 1С 7 - 01.06.20 - 18:34 | (0) CSV предлагали? ггг..
Можно в HTML также выгружать, Excel его норм кушаит. Или в XML Вроде тоже можно. | ||
| timurhv 8 - 01.06.20 - 18:38 | (0) Да, именно при передаче с клиента на сервер такое было на голой БСП. Есть ограничение в 4Гб, разрядность никак не влияет.
https://its.1c.ru/db/v8315doc#bookmark:dev:TI000002045 | ||
| 1Снеговик 9 - 01.06.20 - 18:57 | (0) ни разрядности, ни версии платформы, ничего! Как вы так вопросы задаете?
Сколько строк в отчете? Вы уверены, что вообще эта выгрузка возможна? | ||
| Pandoch 10 - 01.06.20 - 18:57 | (8) вот это то, что нужно, спасибо! как раз речи были, что 1ска висит до тех пор, пока не разрастется по памяти в диспетчере задач до 4г гигов и валится. видимо данные собираются в нужном виде, для отправки на сервер (сохранение в ексель же на сервере происходит, это же типа ком объект, или я заблуждаюсь?) и когда он понимает, что слишком много уже, больше квоты для отправки, то грохает процесс.
предложу сохранить в альтернативный вариант, типа Html или mxl, их уже можно в ексель, если 1с справится . | ||
| Pandoch 11 - 01.06.20 - 19:00 | (9) 8.3.14.2032, разрядность х64, строк там около миллиона-двух. Они вручную делят на файлы по 200-300 тыщ строк в одном екселе и это работает. Хотят чтобы за одну итерацию все в один файл выгружалось.
Я не уверена, что она возможна) | ||
| Pandoch 12 - 01.06.20 - 19:09 | (5) а если писать в sql данные за 1 итерацию, по идее объем данных такой же будет на сервер отправляться разово, или трудозатраты другие при работе с sql | ||
| Pandoch 13 - 01.06.20 - 19:15 | (9) есть какие-то рекомендации по максимальному количеству строк, выше которого не желательно писать в 1 файл? | ||
| timurhv 14 - 01.06.20 - 19:17 | (10) Как с клиента на сервер - не знаю у вас реализовано. У нас печатная не выводилась на клиент, типовой механизм БСП работает так:
- формировался табличный документ с печатной формой на сервере;
- вызывался метод на сервере "ПоместитьВоВременноеХранилище()" и туда помещался табличный документ под 9Гб;
- начиналась передача с сервера на клиент и выходила ошибка: "Неспецифицированная ошибка работы с ресурсом. Ошибка при выполнении запроса POST к ресурсу /e1cib/logForm: Недостаточно свободной памяти для выполнения операции".
По-моему, если это выполнять на сервере, то ошибка не выходила. | ||
| МихаилМ 15 - 01.06.20 - 19:17 | на ис есть методика обхода проблемы. в поиск | ||
| Cyberhawk 16 - 01.06.20 - 21:59 | Формируй файл нативно. Если потом еще и на клиент это дело передавать надо, то разбивай, передавай и потом обратно склеивай. | ||
| Александр111 17 - 02.06.20 - 09:21 | Выгружай в DBF, DBF открывается Exсel | ||
| d4rkmesa 18 - 02.06.20 - 10:13 | (10) Можно и csv, к примеру. Csv можно писать последовательно, 1 млн. строк тут не предел. В Excel с помощью Power Query можно импортировать файлы с более чем 1 млн. строк. Кстати, можно импортировать через OData, но хз как это с 1С будет работать. | ||
| kubik_live 19 - 02.06.20 - 10:20 | (0) Были обработки, которые большой ТабДок выгружали в несколько xls по заданию макс. кол-ва строк | ||
| kubik_live 20 - 02.06.20 - 10:21 | +(19) ещё для 7.7 | ||
| experimentator76 21 - 02.06.20 - 10:49 | (0) сохраняй в XLSX | ||
| Масянька 22 - 02.06.20 - 10:55 | |||
| H A D G E H O G s 23 - 02.06.20 - 10:57 | (0) Позовите специалиста | ||
| Garykom 24 - 02.06.20 - 10:57 | |||
| Garykom 25 - 02.06.20 - 10:59 | (24) с учетом "строк там около миллиона-двух" | ||
| experimentator76 26 - 02.06.20 - 11:34 | (25)
" строк там около миллиона-двух. Они вручную делят на файлы по 200-300 тыщ строк в одном екселе и это работает. Хотят чтобы за одну итерацию все в один файл выгружалось. " размытые вводные, которые я могу интерпретировать как хочу :) до миллиона строк я лично выгружал для аналитиков в XLSX. формат XLS поддерживает по-моему до 65535 строк и само сохранение на объемах гарантировано виснет и по-моему не зависит от памяти и такого прочего - просто криво реализовано. думаю, надо включить софт-скилы и поговорить с заказчиками - может там и не все нужно выгружать и можно поделить строки и т.п. если ничего не поможет, то нужно писать обработку, которая сформирует и сохранит массив данных в другом формате, открываемом в excel. | ||
| VladZ 27 - 02.06.20 - 15:01 | (12) Там другие трудозатраты. | ||
| VladZ 28 - 02.06.20 - 15:02 | +27 Можешь разбить информацию по пакетам (например, 500 инсертов в одном пакете). | ||
| dmpl 29 - 02.06.20 - 15:07 | (11) Надо спрашивать не что хочет пользователь, а что ему надо в итоге получить. | ||
| Кирпич 30 - 02.06.20 - 15:08 | Одни впихивают зачем то миллионы строк в Excel. Другие потом мудохаются, доставая эти миллионы строк из Excel. Все при деле и все получают зарплату. Экономика.
Писать в CSV надо. Рекламное место пустует | ||
| Garikk 31 - 02.06.20 - 15:09 | (30) +и не пытаться открывать такие файлы в экселе, не зависимо от формата | ||
| ptiz 32 - 02.06.20 - 15:10 | У нас как-то налоговая запросила продажи в разрезе товаров. Тоже уперлись в миллион строк в Екселе :) Разбивали на более мелкие файлы. Даже не представляю, что они с ними сделать смогут. Откроют и закроют, разве что. | ||
| experimentator76 33 - 02.06.20 - 15:36 | (30) имхо дело в консерватизме... используют инструменты к которым привыкли...
кто-то в экселе хорошо шарит и поэтому все данные крутит в экселе, вместо того чтобы запросить отчет в учетной системе... так было и так будет. п.с. естественно ИСХОДНУЮ задачу в (0) можно решить правильнее и оптимальнее, но это может потребовать перестройку процессов в компании :) | ||
| mistеr 34 - 02.06.20 - 15:54 | Что, только люди не придумают, вместо того, чтобы решить проблему правильно... | ||
| H A D G E H O G s 35 - 02.06.20 - 15:58 | (33) Согласен. Я в налоговую отчеты только в бумаге сдаю. Я просто хорошо знаю, как работают эти ваши ИТ. | ||
| H A D G E H O G s 36 - 02.06.20 - 15:59 | Энтернет - это что. Его 20 лет назад и не было вовсе. Хренак, и ИТ безопасность пошла по бюджетной сфере и где ваша декларация? А вот бумага - это тысячелетия истории, это надежно. | ||
| experimentator76 37 - 02.06.20 - 16:19 | вместо бумаги блокчейн же | ||
| experimentator76 38 - 02.06.20 - 16:20 | что записано в блокчейн - то не вырубишь топором | ||
| Garikk 39 - 02.06.20 - 16:45 | (36) бумага это та которую крысы едят, потоп топит и пожар жгет, иногда даже неслучайно? | ||
| H A D G E H O G s 40 - 02.06.20 - 17:30 | (39) Всегда есть отметка о приемке. | ||
| experimentator76 41 - 02.06.20 - 18:04 | (40) на горючей бумаге | ||
| dmpl 42 - 03.06.20 - 06:09 | (35) Ага, и написаны они от руки :) Чтобы FineReader не распознал. | ||
| dmpl 43 - 03.06.20 - 06:43 | (38) Топор очень хорошо справляется с серверным оборудованием, так что не согласен - вырубить можно. | ||
| ASU_Diamond 44 - 03.06.20 - 06:58 | (11) если я правильно помню, то у экселя ограничение в миллион строк (ну чуть больше) | ||
| ДенисЧ 45 - 03.06.20 - 07:00 | (44) От версии зависи | ||
| ASU_Diamond 46 - 03.06.20 - 07:09 | (45) ну это максимальный, понятно что у старых меньше
https://support.office.com/ru-ru/article/технические-характеристики-и-ограничения-excel-1672b34d-7043-467e-8e27-269d656771c3 | ||
| Bigbro 47 - 03.06.20 - 08:32 | сохранить в mxlсконвертить в xlsb профит. | ||
| Масянька 48 - 03.06.20 - 10:44 | (39) А в "электронном виде" (при тех же условиях) всё будет, как "живое"? | ||
| experimentator76 49 - 03.06.20 - 11:20 | (43) (48)"Чаще всего копии цепочек блоков хранятся на множестве разных компьютеров независимо друг от друга. Это делает крайне затруднительным внесение изменений в информацию, уже включённую в блоки" https://ru.wikipedia.org/wiki/Блокчейн фишка блокчейна в том что центрального узла\сервера нет, т.е. к примеру инфо дублируется на сервере в налоговой и у всех налогоплательщиков. по похожему принципу построены электронные валюты, из-за чего их недолюбливают государственные органы, т.к. там просто так не выпустишь эл.валюты сколько захочешь, транзакции пишутся и видны всем, единого центра контроля нет и т.п. | ||
| Масянька 50 - 03.06.20 - 11:47 | (49) Ключевое "Чаще всего".
Плюс - не стоит забывать о вирусах. Они-то, как раз, очень любят "цепочки". Еще один плюс - слив инфы. Напоминать про сбер, думаю, не стоит. Ну, и на закуску: старая русская поговорка - без бумажки ты ..., а с бумажкой человек - еще никто не отменял. И долго еще не отменят. А по поводу транзакций: как "теряются" платежи в банках, выводятся деньги в оффшоры и пр., если транзакции пишутся? Для себя давно решила (и пока отступать не думаю): на каждый платеж - квитанция (онлайн), договоры и серьезные справки - хранить в бум. виде. | ||
| mzelensky 51 - 03.06.20 - 12:00 | (0) Я один не догоняю, зачем вот это вот ФсЁ - "Они вручную делят на файлы по 200-300 тыщ строк в одном екселе и это работает." ??? | ||
| 1Снеговик 52 - 03.06.20 - 12:25 | 1 048 576 строк максимум
Что за задача, что требует 1-2 млн строк сырых данных в Экселе? BIG DATA? | ||
| fisher 53 - 03.06.20 - 12:43 | (52) В кровавом интерпрайзе и не такое бывает. Есть дополнения к Екселю, которые тянут до 100 миллионов строк и достаточно широко используются. Это самый дешевый способ "общупать" сырые данные имея просто опытного аналитика, который умеет в Excel. | ||
| Кирпич 54 - 03.06.20 - 12:44 | Такое бывает когда начальство тупое и не понимает зачем на свете существуют программисты. Выполнение задачи поручают тупым манагерам, которые ничего не знают кроме Excel. Они еще месяц будут ваять вручную чота из этих миллионов строк, а потом из этих миллионов строк сделают табличку из 10 строк и покажут её в Power BI в виде красивого графика. Программисту там работы на час, а эти будут неделю ложиться костьми в шестером. Зато денег заработают. | ||
| mzelensky 55 - 03.06.20 - 13:35 | (53) "имея просто опытного аналитика, который умеет в Excel" - вот от таких нужно избавляться в первую очередь! | ||
| experimentator76 56 - 03.06.20 - 13:47 | (50) у вирусов при децентрализации на всех "ножичков не хватит", но понятно что при глобальном П. электронка не будучи забэкапленной на "жестком" носителе - исчезнет. но это в целом проблема сегодняшней цивилизации, от которой в случае Г.П. останутся только горы мусора.
в ближайшие десятилетия сознания людей будут переформатироваться в сторону того, что личные данные о них будут открыты и доступны. | ||
| experimentator76 57 - 03.06.20 - 13:51 | (54) (55) это правда, но к сожалению менеджеры практически всегда некомпетентны в ИТ и не понимают какая сила в нем заложена.
если абстрагироваться от армии тунеядцев, то эксель в качестве просто формата для передать данные на посмотреть вполне применим. приходилось даже аналитикам мелкомягкой компании немного экселя отдавать :) | ||
| Масянька 58 - 03.06.20 - 14:16 | (56) Тем не менее, при глобальном армагеддоне у бумаги есть шанс, а вот у "цепочек" никаких. Даже при бэкапе на супер-пупер харде.
А еще лучше на камнях высекать :)))) | ||
| Irbis 59 - 03.06.20 - 14:27 | |||
| Pandoch 60 - 03.06.20 - 14:27 | хаха, вот это наболевшее, видимо) до сих пор ветка жива) Рекламное место пустует | ||
| dmpl 61 - 03.06.20 - 14:28 | (49) Весь вопрос только в количестве денег, потребных для уничтожения всего оборудования, где есть копия данных. Про перо там сложнее все гораздо, т.к. эта информация еще и в памяти людей есть. Поэтому чтобы уничтожить все копии - надо надо самоубиться после уничтожения остальных людей. | ||
| Irbis 62 - 03.06.20 - 14:30 | Чему тут болеть, очередной обмен светит на 1,6 млн строк. И контрагент предлагает Ёксель. Я ему про cvs толкую, а у него уже сделано под мелких партнёров на ёкселе. | ||
| experimentator76 63 - 03.06.20 - 14:38 | (60) чем история закончилась в итоге ? :) | ||
| experimentator76 64 - 03.06.20 - 14:48 | (59)
Только похоже кроме Мойши никто и не видел первых скрижалей, а вторые возможно видели, но немногие древние евреи: "Вторые скрижали и обломки первых, как самые великие драгоценности еврейского народа, хранились в Ковчеге Завета, который находился в Святая Святых. (Обломки первых скрижалей лежали в ковчеге под вторыми скрижалями). Предчувствуя разрушение Первого Иерусалимского Храма, царь Яшияу заблаговременно спрятал Ковчег Завета в глубоких подземных лабиринтах, подготовленными царем Шломо под фундаментом храмового помещения." что равносильно тому, что история была давняя и информация передается из уст в уста специально обученными священниками. на исходные данные наводятся человеческие искажения. в общем первоначальный документ возможно был, но это неточно. | ||
| Pandoch 65 - 08.06.20 - 18:45 | (63) ну сделала логику выгрузки в несколько файлов ексель по группам организаций) и работает. |
|
|
Список тем форума
|
Рекламное место пустует
Рекламное место пустует
Наведи порядок в своей работе используя конфигурацию 1C "Управление IT-отделом 8"
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.