Вход | Регистрация
    1  2

Посоветуйте как можно ускорить обработку больших файлов (MXL)

Посоветуйте как можно ускорить обработку больших файлов (MXL)
Я
   Михаил Козлов
 
22.10.18 - 10:31
Платформа: 8.3.12 64 бита.
Конфигурация: "пустая".
Есть: 16 файлов MXL размером 0,6-1,1 Гб. - данные о продажах по дням месяца (1 файл - 2 дня) некоей группы товаров некоего ритейлера.
Нужно: собрать данные и сохранить их в виде, доступном для дальнейшей обработки в Экселе.
Как делал: простенькая обработка:
- чтение файла MXL в табличный документ;
- формирование таблицы значений (обходом табличного документа);
- свертка таблицы значений;
- сохранение в CSV через ЗаписьТекста частями (ограничение Эксель на число строк).
Формирование таблицы значений примерно часов 12-14. Результирующая таблица примерно 11 400 000 строк.
Запись в CSV шла больше суток. 12 файлов примерно по 90 Мб.
Возможно, из-за того, что на сервере еще кое-что делалось.
 
 
   RomanYS
 
101 - 22.10.18 - 13:23
(97) сделай (78) уже
   d4rkmesa
 
102 - 22.10.18 - 13:28
(98) Не подкачал, бггг. =))
   d4rkmesa
 
103 - 22.10.18 - 13:35
Как то "сводил" сишника и одинэсника, которых хорошо знал по-отдельности, по такой же плевой задаче, на первый взгляд, потом нахватал "минусов" к карме от обоих, и с обоими впоследствии в течение нескольких лет перестал общаться.
   Кирпич
 
104 - 22.10.18 - 13:45
(103) ты слишком серьёзно относишься к жизни. а задача всё равно плёвая.
   Кирпич
 
105 - 22.10.18 - 13:46
+(104) нормальные люди из за такой ерунды не перестают общаться
   ssh2006
 
106 - 22.10.18 - 13:58
(103) кинул с оплатой?
  1  2

Список тем форума
Рекламное место пустует  Рекламное место пустует
Пользователь не знает, чего он хочет, пока не увидит то, что он получил.
Э. Йодан
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует