Плагин выводит предупреждение MessageBox перед открытием (при чтении) и перед закрытием (при записи) файла 1Cv77.dat. Цель - лечение проблемы с большими (несколько Гб) выгрузками, которые не может правильно обработать штатная библиотека для работы с ZIP-файлами от 1С.

Книга знаний: Плагин для лечения выгрузки и загрузки больших баз в 1С 7.7

(0) Маладца, как всегда! Но а когда сам паковать/распаковывать будет, иль на том и остановишься?

Спасибо огромное! Очень нужная штука!!!

Спасибо!

(2) затрудняюсь найти правильную DLL для ZIP. Они вообще есть в природе? :-)

правильную - это какую?

есть бесплатные компоненты
Перевел систему на бесплатные компоненты UnRar.dll и zLibEx.
может это то что надо?

(0) еще 5 баллов в копилку.
Научи еще систему разбивать дат на куски и отдельно запаковывать :-)

(5) Покопать на http://www.compression.ru, прочем, кому я советую)))

полезная штука

написал у себя в новостях :)
http://www.1csql.ru/materials/news.html~39a00f29-395c-2da0-4680-09be28cf08c1

Блин подождите рекламировать еще проверить надо. :-)

1С использует  http://www.zlib.net/

Сейчас попробую на большой (3 Гб выгрузка SQL) базе запустить (на маленькой-то все работает...).

Роман, респект !!!

Потестил на большой базе - предел оказался не превышен (из трехгиговой базы получился текстовик DAT 438К). Все вроде без ошибки жужжит.
Попробую нагенерить если никто (например TasStas) отзыв не напишет, работает ли с неск.-гиговой выгрузкой.

(0) а разве подменой это лечится?

(17) + или 1С сама в конце этот файл портит?

Если база 9,2 гига устроит могу протестировать. Только вот сколько времени эта бодяга у меня шаманить будет?

База 25 Гб, SQL. Щас потестим...

(17) Если проблема только в зипе (а не где-то еще глубже в 1С), то она должна вылечиться.

(19, 20) Если получится это запустить, то будет здорово.

(20) щас 25 в один гиг свернет :)

(22) Не :-) Выгрузила щас все справочники + 4й док, ДАТ уже 2,7 Гб. Полдела сделано, джём-с

Итак, всё не так просто оказалось!
Выгрузил базу, ДАТ файл получился 3,71 Гб. Далее стал загружать в пустую базу ДБФ. Загрузила справочники, на втором виде доков выдала ошибку:

---------------------------
Конфигуратор
---------------------------
Ошибка поиска в файле an unnamed file
---------------------------
OK  
---------------------------

Вспомнил! Поднимал тему ошибка поиска в файле an unnamed file Теперь ясно однозначно, проблема именно в том, как 1С загружает данные! Ограничение архиватора преодолимо(либо патчем, либо как я делал в той теме), но при загрузке всё одно вывалит ошибку

(24) А если в пустую базу SQL? Может, там ограничение на гиговый размер файла DBF срабатывает?

(25) сейчас попробую в SQL

+(25) хотя загруженная ДБФка (самая большая) - всего 590 Мб =\

"При этом если система эксплуатируется в однопрограммном режиме, то размер файла может быть 2 гигабайта, однако если появится второй пользователь, а файл будет больше 1 гигабайта, то система 1С начинает сбоить по ЧТЕНИЮ" (с) hogik

(28) вот ведь! У нас так и случилось на ДБФ! А все твердили про 2Гб-ограничение =\
Гружу в SQL, пока нормально

(27) А CDX?

CDX при загрузке 1С создаёт ПОСЛЕ того как загружены ВСЕ данные. До индексации даже не дошла - выдала (24) и осталась в конфигураторе

+(31) возможно индекс для 590Мб ДБФки был бы больше 1 Гб, и 1Сина это просчитала? Думаю, загрузка в SQL должна прояснить

Ну как накернилось на SQL?

Интересно! Вылетела на том же документе, по счетчику загрузила раза в два его больше (для ДБФ было значение 37 000, сейчас 60 000), и сообщение другое:

---------------------------
Конфигуратор
---------------------------
   Ошибка загрузки данных!
---------------------------
OK  
---------------------------

(25) Раньше пробовали менять файл, все равно с ошибкой вылетала, так что здесь проблема в 1С, а не только в сжатии... Такое ощущение, что она и не пытается загрузить данные более 2GB (т.е. начинает, а как начинает грузить более этого размера выдает ошибку)

(0)ай да romix!!! ай да.... МОЛОДЕЦ!!!! :)

(34) Обломинго. Попробую излечить...

(37) надеюсь получицца. Проблема очень насущная, и очень уж давно известна... Рад буду потестить ещё

Там многократно вызывается SetFilePointer
с шагом 512 байт. Относительно позиции FILE_BEGIN. :-)
Может его отрубить тогда все сработает :-)

Пробую отрубать, вроде все загружает :-)

Не, просто втупую отрубить - это сильно..
а вдруг где косяк вылезет...
там что, при "суммировании" по 512 байт идет где-то "переполнение"...? и указатель позиционируется не туда куда надо...?

(41) Проверил (сравнивал пред. и след. позицию), там суммирование идет по 512 байт.

Вызовы идут примерно так:
SetFilePointer(handle, 0, 0, FILE_CURRENT);
SetFilePointer(handle, 0, 0, FILE_CURRENT);
SetFilePointer(handle, 0, 0, FILE_CURRENT);
SetFilePointer(handle, 512, 0, FILE_BEGIN);

SetFilePointer(handle, 0, 0, FILE_CURRENT);
SetFilePointer(handle, 0, 0, FILE_CURRENT);
SetFilePointer(handle, 0, 0, FILE_CURRENT);
SetFilePointer(handle, 1024, 0, FILE_BEGIN);
...
SetFilePointer(handle, КонецФайла, 0, FILE_BEGIN);
SetFilePointer(handle, КонецФайла, 0, FILE_BEGIN);

То есть, все вызовы SetFilePointer - бесполезные...
Исходят из mfc42.dll
Можно отрубать имхо.

ну так результат-то какой?
все ок?

Выложил обновленную версию, в которой отрублен вызов (42), т.к. чтение там строго последовательное.
Ссылка прежняя.
Можно обновить только plugin_unload_dat_fix.dll
Проверил на своей базе (к сожалению у меня нет большой базы с неск-гиговым DAT).

(0)(44) !!!!!!!!! Ай, молодца!!

(44) отлично! Сейчас запущу загрузку, завтра напишу что получилось

(46) Внимательно следим за вестями с фронта

(0) Ну давай зачотку, поставлю пятак!
(46) ждемс...

Я нагенерил данных, DAT 2,5 гига.

При выгрузке надо переименовывать DAT (когда появится окно предупреждения) и подставить вместо него пустой (или почти пустой) файл с тем же именем.

При загрузке надо подставить вместо него правильный DAT.

Выгрузка и загрузка в одну и ту же базу у меня не получалась, пока я не создавал базу заново, или не делал Детач-Аттач.

Обновил немножко еще dll - убрал отключение SetFilePointer в режиме записи (выгрузки) DAT. Ссылка та же.

как-то все недоделано... ну уже бы прикрутил бы и запуск стороннего архиватора

за разработку тройка тебе :-))

Лучше бы настройку запуска внешнего батника сделал бы чтобы не ручками подменять DAT файл

+(46) Гружу ДАТ из (24). В новую ДБФ базу загрузилось! Никаких ошибок не выдавала, всё в порядке. Сейчас считает регистры, думаю прервать и попробовать в новую SQL базу подгрузить. ДБФ-файл движения (самый большой) получился 1,5 Гб, так что думаю, что ждать пересчёта смысла нет - всё равно вылетит. Про SQL потом расскажу

(50) Архивировать большие базы не всегда хорошо... Ждать порой долго, и место на винте (если все происходит в пределах одного компа) не экономится, а наоборот...

(52) Могу запрос имени DAT-файла сделать при загрузке, и вопрос писать его в ZIP или переименовывать/замещать пустышкой при выгрузке.

(54) ну обычно потом архивы на болванку пишутся а не на диске хранятся а так можно и сжать по быстрому ....

(55) Ну дык большие базы полезнее архивировать сиквельными средствами...
При этом юзеров не надо выгонять, и можно делать фоновые архивы в течение дня.

ИМХО выгрузка-загрузка для больших баз нужна только для лечения глюков в данных, и архивирование тут вообще ни к чему

(57) Ну и перенос в сиквель тоже, когда база до DBF-ного предела дорастает. :-)

(58) лишь бы не переросла :-)

По идее 32 бита - это же 4 гига, а приколы лезут уже с 2-х или с 1-го.

У нас как только регистр остатков (RG) перевалил за 1 Гб, перестал открываться период, ругалась на битый индекс.
+(53) Загрузила! Индексует щас... Не знаю, сколько ещё ждать, пока регистры посчитает (дождусь), но думаю, что уже можно ставить разработке 5+! Спасибо огромное, Роман, каждый патч - просто как бальзам на жирное туловище платформы!

:-)

(0)
:)
а у меня запуск, выгрузка нормально,
а при загрузке произвольной выгрузкой, после замены дат файла
начинает создавать процедуры, но после "загрузка системной информацией"
выдает ошибку загрузки..
и в readme файле ничего про начальный файл загрузки нет..
"что я не так делаю?"(с)

(63) Если в ту же базу SQL загружаешь, то у меня она валится если не сделать детач-аттач, или не пересоздать базу SQL. Перезагрузка компа не помогает. Что это за явление, я затрудняюсь сходу сказать.

А после детач-аттач все работает.

(64)
:)
я в новую и чистую гружу..
а ты под какой выгрузкой начинаешь загружать?

Я начинаю загружать выгрузку с пустышкой (размер 1 байт) вместо dat.

(66) Т.е. в зипе не файл dat, а одноименная пустышка размером 1 байт.

А потом когда появляется окно, делаю подмену на нормальный dat.

(67) я вообще MD-шник скопировал и в DAT переименовал, потом в архив сунул. Разницы же нет, всё равно подменяем его

Я наверное лучше автоматизирую этот процесс (переименование DAT и подкладывание вместо него пустышки), а то я сам не сразу допер что надо делать :-)

(71)
:)
золотые слова!
большинство же ожидает возможности автоматизации

(0) очередной раз респект и уважуха. Большое тебе спасибо.

вместо апа... ждем новостей...

ну и я апну на всякий случай :)

(71) Реально помогло и главное в кон :), огромное спасибо

Я обновил программу, там сейчас идет выгрузка DAT (по запросу) в определенный файл (в ZIP остается пустышка от DAT).

При загрузке можно выбрать этот файл DAT (отказ от выбора файла = штатное поведение 1С).

(77)
:)
бета тестирование начинается!

CODEBASE ERROR
Error# : -120
Writing to File
C:\Test\RA3612.DBF

Уже загрузило много и так лохонутся.

(79) Может место на диске кончилось? Или файл превысил 2Гб (или 1 Гб, там какой-то предел есть).

Чего-то третья версия плугина не сработала! До этого тестил вторую, на копии всё безупречно отрабатывало. Сейчас третью пробовал (текущую) - очень удобно с диалогами, это да. Файл выгрузки получился 4,01 Гб (до этого был 3,71 Гб), см (24), и в самом конце загрузки на предпоследнем доку выдала "Ошибка загрузки данных". Это чтож, получается есть ещё и ограничение на ДАТ-файл в 4 Гб??
romix, у тебя не осталось второй версии плугина? Может с ним загрузит правильно, у меня его не осталось =\

+(81) Предел существует. Сделал удаление помеченных объектов (как раз накопились), снова сделал выгрузку (ДАТ файл получился ровно 4 Гб). При загрузке выдала ту же ошибку, но тот вид дока, что вылетел в прошлой загрузке - загрузился, ошибка вышла на последнем документе. Самое обидное, что по счётчику (в строке состояния) не хватило буквально чуть-чуть =\ (при выгрузке он поднимался до 700, при загрузке тоже поднялся до 700 и отвалился, видимо совсем коппек не хватило).
Роман, можно с этим что-нибудь сделать?

(82) Нашел более старую версию, сейчас ее выложу туда же...

(+83) Там теперь внутри папка v2 с более старой (и более простой) версией DLL.

(82) А файловая система- NTFS?
А то у FAT32 по-моему предел 4 гига...

(79) Насколько я понял, то предела недолжно быть ... Дат файл весит 3,7Гб вконце как и говорится в инструкции спросило Ромикс использовать при сохранении я говорю да все, оно запаковало и в конце сказало, что в архив бросило пустой файл, потом делал загрузку и вот тебя пожалуйста ошибка. Так что именно ты переборол, я думал, что независимость размера ДАТ-файла :) места на диске хватает, разве он распаковывается на 50Гб :) система НТФС.

Error# : -120

Writing to File
C:\Test\RA3612.DBF

Ошибка записи в файл... причем здесь Dat файл?

скороей всего как Ромикс сказал в 80 посте...

(0) к трёпу про сжатие. Ежли subj на дельфях, то вот халявная ВКЛ-ина которая крют зипом
http://www.componentace.com/zip_component_zip_delphi_zipforge.htm

(85) Да, конечно NTFS. Попробую со второй версией и отпишу о результатах

(90) А база сиквельная, куда загружаешь? А то в DBF-ной ограничение то ли на 2 гига, то ли на 1 гиг (как утверждает некто hogik) на каждый файл.

(91) гружу в чистую SQL-базу. Потому и заговорил про ограничение:
1.При ДАТ-файле 3,71 Гб загрузилось
2.При ДАТ-файле 4,01 Гб вылетело на предпоследнем виде дока
3.При ДАТ-файле 4 Гб вылетело на последнем виде дока. Т.е. предпоследний был загружен целиком (а их мало в базе, этих доков, и последнего, и предпоследнего, их относительно недавно ввели, ещё нашлёпать юзвери не успели в большом количестве), а последний (причём не в полном объёме) оказался уже за каким-то "пределом"

(92) да суета это все и не серьезно, на таких объемах проще скульным BACKUP/RESTORE DATABASE пользоваться и не лохматить бабушку. И быстре и правильнее

(92) выгрузка и загрузка это не то же самое, что BACKUP/RESTORE, вот в чём проблема!

+(91) начал загрузку второй версией плагина. Посмотрим что получится

(93) Да, но иногда надо переносить из большой DBF в SQL.

(96) иногда - надо, только вот как (0) в этом поможет камраду pavel_tr?..

(97) я объясню как. У нас базой достаточно долго никто не занимался, поэтому когда переходили на SQL она стала уже слишком большой для выгрузки-загрузки. Выкрутились тем, что убили 2 доп.регистра (ДАТ-файл был ровно 2 Гб, успели в самый последний момент - плагина тогда не было ещё), а потом перепроводили документы за 2 года (тогда были введены эти регистры). Сейчас живём на сиквеле, встал вопрос об обрезке. В принципе и сейчас можно обрезать, на копии уже всё оттестировал, но к примеру - в одном регистре (измерения: накладная,вид оплаты, клиент + ресурс: сумма) есть глючные данные (начиная с 1997 года по остаткам переходит сумма по клиенту, которая хз откуда взялась, а поле накладная пустое). Соответственно, при свёртке по этому клиенту остатки получаются неправильными. Если сделать выгрузку-загрузку конкретно этот, и многие подобные глюки можно вылечить

Невероятно!!!!!! Со второй версией плагина (грузил тот же самый 4 Гб-шный ДАТник) индикатор дошёл до того же самого дока, что и в (82) И ПРОСТО ЗАКРЫЛСЯ! Нкаких сообщений об ошибке не было, молча отвалился и привет!
Роман, какие будут предположения?

+(99) в смысле конфигуратор закрылся, вот :-(

Интересное кино, а в процессах 1Ска висеть-то осталась... Весело она отвалилась!

Со второй попытки со старой версией плагина отвалилась уже не молча, а с той же ошибкой, что и раньше. Неужели нельзя этот глюк преодолеть?

(99) ОК буду смотреть.
(102) А полностью текст ошибки как выглядит? (если взять его в буфер по Ctrl-C)

(103) Пасибо!
Могу 3й раз попробовать загрузить, если надо, но в (81) это дословно было:
Красный кружочек с крестиком (т.е. сообщение об ошибке), текст: "Ошибка загрузки данных" и кнопка ОК, больше ничего.
Попробуй, если есть возможность, сделай ДАТ файл больше 4 Гб, увидишь. Буду рад потестить новую версию плагина ;-)

(104) ок

Привет.
База в DBF 3,2Gb
Хочу перевести в SQL
Вот сейчас и потренеруемся :)

p.s запустил тест. и испр. пока...

(106) ИМХО такая база выгрузится стандартными средствами 1С, ДАТ-файл явно меньше 2 Гб должен получиться

Ну что, нет пока новостей?

хорошая ветка, только вот где окончание? получилось или нет?

АП

э-э-э приеду домой посмотрю как оно выгружается...

ап

А плагин ускоряет выгрузку или тока лечит ?

Лечит. Но пока вылетает на ДАТ-файле > 4 Гб. Ждём вердикта Романа, взлетит или нет

Поясните практический смысл ращработки...
Ну выгрузил я базу 15 Гб в 1С архив (2 часа времени, против 30 минут SQL архивированием)...
А поднимать я ее буду 1,5 суток, да??
И на фиг?
Цифры названы близкие к реалиям ...

Тока если переходить с ДБФ...

(114) На выходных ковырял - вылет действительно на 4 гб.
Есть подозрение что она все загружает, но на закрытии файла делает какое-то доп. действие (типа позиционирования в конец файла). Сегодня еще посмотрю.

(117) пасибо большое! С нетерпением жду результатов

(115) у нас база SQL. Ценность см (98)

+(117) да, всё она не загружает! См. раньше посты - на ДАТнике в 4,01 Гб вылетала на ПРЕДПОСЛЕДНЕМ доке, т.е. грузила не до конца

апну

а-а-а надо делать а не получается. Ладно сейчас отключусь повтыкаю еще.

Может быть материально какнибудь помочь?

(123) поддерживаю

вверх

up

вверх

Ну что, списываем проблему как неподдающуюся лечению? :-(((

(128) А данные точно не загружаются?
Например если загрузить, дождаться вылета, и сделать тестирование и исправление?

Честно говоря, после вылета не тестировал, ориентировался только на счётчик при загрузке. До завтра могу попробовать на копии, отписать (хотя уверен почти на 100%, что не догружает)

Я пытаюсь заменять функции
CBufdFile::Open(char const *,unsigned int,class CFileException *)
CBufdFile::Read(void *,unsigned int)
Че-то вылетает, но по идее должно работать.
Сейчас еще попробую.

Ты сюда запость как выложишь обновлённую версию, я сразу оттестирую. Тот ДАТник вылетучий храню (для чистоты эксперимента)

(132) ОК

up

всплываем

(135)
:)
да что зря апать - ромикс как сделает так и продолжим..

дык просто не терпится, понимаю, что только ждать и остаётся пока ;-)

(137)
:)
что у нас там Бендер (который Остап) говорил
в ответ на "хочется же побыстрее.."(с)?
;)

а-а-а
У меня че-то глухо...
Почему он валится - непонятно, ведь предел 2 гига у SetFilePointer...
Я отрубил этот SetFilePointer, теперь валится на 4 Гб. А где это может быть ограничение..

Там еще один возможный путь - перехватить и подменить функции более высокого уровня ("получить следующий символ"), вот это наверное прокатит...
Только она цуко валится все время...

(139) а молодцы одинеснеги! Столько багов в одной служебной операции... :-(

up

(139)На какой файловой системе работаешь?

надо требовать от нуралиева открыть исходники 1С 77, если не захочет по доброму - может забастовку всех одинеснегов и франчей устроим?

up

Кому нужон ентот 1С и его исходники ? Им платят деньги - пусть сами и исправляют

romix => А не получиться разбивать выгрузку и загрузку на несколько DAT-файлов меньших 2 Gb ????

т.е. при загрузке после 1Cv77.dat "подсказать" 1С обрабатывать еще и файлы 1Cv77_01.dat, 1Cv77_02.dat

а-а-а
там видимо надо заменять класс для работы с файлами в type32.dll - щас немножко тут разрулю конфу засяду...

Надежда теплится! :-)

Зрителии на треке с интересом наблюдают как Шумахер содится в болид

Привет!
Странные дела - база DBF 3,2 гига выгружается с патчем и без...
Только у меня без проблем?
Есть, правда, своя заморочка - потом в SQL сальдо по некоторым счетам не так считает.

>> база DBF 3,2 гига

Проблема не в размере базы, а в размере получаемого файла выгрузки...

Выгрузка штатно - 72,1Mb (.zip), с патчем - 736 Mb (dat)

И что?

(153)Сожми ДАТ и увидешь результат
ГЫ стиишок (с)

=> Romix  Есть ли результаты?

up

а-а-а щас еще помучаю

Жми, Рома!!!! :-)))

Выражаю благодарность создателю. Выручил. SQL база размером 5,5Гб 1Cv77.dat 2,5Гб все прошло удачно.

romix
как движется?

up

поднимем

up

up

(166)
:)
зануда
не виси у ромикса над душой..
как сделает так и апнет

up

up

Romix! Скажите пожалуйста, как у вас продвигаются дела!!!

Эко придавило. Невтерпеж прям :))

да не придало!!!!
но все может быть в этой жизни!!

up

(173) Вы с этим сталкиваетесь? (выгрузка > 4Гб)

ИМХО чтобы замутить вугрузку-загрузку > 4Гб, проще всего написать для этого альтернативную утилиту, чем ковыряться в бинарниках 1С

(175) это просто мнение или обещание реализовать? ;-)

(174) возможно скоро столкнусь

(176) мнение, т.к. мне это пока не нужно

up

Разобрался я вчера с MFC (пока писал вопрос на wasm.ru - все сам понял).
Волшебная сила форума...
Книга знаний: Символьная информация из MFC42.dll в отладчике SoftICE
Насколько я понял там библиотека MFC не поддерживает файлы длиной > 4Гб.
Функцию BkEnd!?NextChar@CDB7Stream@@UAEXXZ попробую щас подменить простым побайтовым чтением файла.
Там возвращает считанный символ в [ecx+38h].
Хэндл файла принимает в [ecx+04] по смещению 4.

Угумс... сообщишь. А то у меня получилось так, что файл больше 1Гб или 2Гб и все выдает ошибку (79)

ждем

Функцию заменил (заодно слип вставил, чтобы остальные задачи не тормозило)...
Проверяю загрузку большой базы...

молодец

(183) когда провериться то ???????

(185)
:)
"быстро только кошки родятся.."(с)

(186) протсто очень актуальный вопрос для меня на сейчас :)

(187)
:)
как и для  mcltd..
но быстро только сказка сказывается..
;)

Если файл выгрузки (DAT) до 4 Гб, то загрузка работает.

Я сейчас ковыряю - замену функции сделал, где-то она под конец все равно падает цуко, при закрытии что ли.

какую функцию чем заменил? из какой библиотеки?

(191) Полностью переписал

//Функция-перехватчик ?NextChar@CDB7Stream@@UAEXXZ
//public: virtual void __thiscall CDB7Stream::NextChar(void)

Вроде работает. Почему валится на 4-гиговых выгрузках в конце загрузки, непонятно. Щас еще перехват на SetFilePointer верну проверю - не вызывается ли где-то в конце.

С маленькой базой все четко прошло. Поставил загружаться большую.
Что хорошо - теперь загрузка проц не так сильно вешает (я вставил слип). :-)

Где-то лезет исключение, причем до конца файла не доходит.
Видимо, где-то есть счетчик байтов, который переполняется при достижении границы 4 гига.

таки проблема остаётся нерешённой?

romix - я конечно дилетант, но мне кажется что проблема не в Тебе, а в "4 гига" и 1С! Повторяюсь что "дилетант" но может разбить?!

+(196) Просто никто не замечал, что 77 не любит большие объёмы, особенно >4гигов!

(195) Исключения искать трудно.

Там можно поступить так: поскольку выдает текстовую строку с сообщением об ошибке, можно поставить прерывание на обращение к этой строке.

Другой вариант: поскольку ошибка воспроизводится, поставить прерывание на все операторы вызова исключения (их там может быть несколько) и смотреть адрес точки вызова в стеке.

(198)Я уже как-то раз спрашивал... На какой файловой системе все это тестируется?

NTFS. Сам файл размером примерно 4,5 гига на диске лежит.

(192) так можно и весь dbeng32 переписать со всеми классами

(201) Щас домой приду буду искать где вылезает исключение.
Самобан что ли попросить чтобы не отвлекаться. :-)

(202) Нет уж ты давай не отлынивай, а кто нам будет про Луну рассказывать ))

Ну и? Никак?

Добил я ошибку с 4-гиговыми базами (меню Администрирование - Загрузить данные)!

Миста почему-то у меня была недоступна для меня в выходные...
Действовал по (198-2), нашел функции которые имеют 4-гигабайтное ограничение, переписал их

?Checkpoint@CDB7Stream@@QAEXXZ
?GetSinceCheckpoint@CDB7Stream@@QBEJXZ

Заодно добавил индикацию процента загрузки в трее (например, 45,8%) и слип (1 мс каждые 64 килобайт), чтобы загрузка не подвешивала систему...

Нуралиеву что ли письмо написать...

(206) можно поздравить со снятием ограничения и в 4Гб?

>> Миста почему-то у меня была недоступна для меня в выходные...
(205) сам же самобан просил в (202) :)

(207) Ага
(208) Вряд ли...
В любом случае это подействовало. :-)

теперь на очереди избавление от появления нулевых записей в таблицах итогов регистров rg*.dbf

Мне понравился сервер вопросов пользователей Яндекса к Путину, когда популярные вопросы (например, "как вы относитесь к медведу") выделяются большим шрифтом. Может то же самое пора сделать для пожеланий к 1С...

(211) ПОЗДРАВЛЯЮ!!!
то есть можно качать полноценный комплект по ссылке вверху?

(212) Да, попробуйте пож. кому интересно выгрузить и загрузить большую базу.
Я тестировал на той базе, которая там приложена в комплекте (BigBase.rar).

Ура! Огромное спасибо автору!! Сейчас будем тестить...

Установил плагин v5, но при выгрузке SQL базы 14гб все равно выдает ошибку :(

(215) Проверяю...

(215) База в комплекте выгрузилась и загрузилась нормально...
Там когда задаст вопрос надо ответить "Да" (иначе попытается упаковывать DAT в ZIP).

Установил плагин v5, но при загрузке базы все равно выдает ошибку. dat-овский файл 1.5 гб.вся база 6 гб.

(218) А тот DAT что идет в комплекте - загружается нормально?

Может у нас разный релиз? У меня 25-й..

(217) Спасибо !
С ответом "Да" база выгрузилась - уже хорошо.
Хотел загрузить ее в формате DBF, но вышла ошибка CODEBASE - файл 1SENTRY больше 2х гигов. Это к сожалению уже не победить :(

(221) А в сиквельную загружается?

(221) Я вот думаю, а ведь предел-то должен быть 4 гига на DBF файл. А там 2 гига.
Думаю а не поправить ли SetFilePointer, если там идет
dwMoveMethod=FILE_BEGIN
и отрицательное смещение в lDistanceToMove (которое на самом деле - значения от 2 до 4 гигов).

у меня база дбф-ная не загружается не в сиквельную не в дбф-ную релиз 25 вылетает во время загрузки справочника контрагенты. Ошибка загрузки данных.

(224) Попробуй создать заново пустую базу SQL, создать в конфигурации константу и сохранить конфигурацию. После этого должно нормально загружаться.

DAT файл такого объема по идее поддерживает и стандартная 1С без изменений (предел 2 гига).

(223) даже не 2 а 1 в разделенном режиме.

(226) hogik в Kernel33 перехватывает LockFile и UnlockFile и делает следующее:


; BOOL __stdcall LockFile(HANDLE hFile,
                          DWORD dwFileOffsetLow,
                          DWORD dwFileOffsetHigh,
                          DWORD nNumberOfBytesToLockLow,
                          DWORD nNumberOfBytesToLockHigh)
                public LockFile
LockFile        proc near

var_8           = dword ptr -8
var_4           = dword ptr -4
hFile           = dword ptr  4
dwFileOffsetLow = dword ptr  8
dwFileOffsetHigh= dword ptr  0Ch
nNumberOfBytesToLockLow= dword ptr  10h
nNumberOfBytesToLockHigh= dword ptr  14h

//Загружает Kernel32
                mov     ecx, dword_1000ACE8
                test    ecx, ecx
                jnz     short loc_1000102D
                push    offset aKernel32_dll ; "Kernel32.dll"
                call    ds:LoadLibraryA_0
                mov     ecx, eax
                mov     dword_1000ACE8, ecx

//Определяет адрес LockFile

loc_1000102D:                          
                mov     eax, dword_1000ACEC
                test    eax, eax
                jnz     short loc_10001047
                push    offset aLockfile ; "LockFile"
                push    ecx
                call    ds:GetProcAddress_0
                mov     dword_1000ACEC, eax


loc_10001047:                          
                mov     ecx, [esp+nNumberOfBytesToLockHigh]
                push    ecx  //5-й параметр nNumberOfBytesToLockHigh

                mov     edx, [esp+nNumberOfBytesToLockLow]
                push    edx  //4-й параметр nNumberOfBytesToLockLow

                mov     ecx, [esp+4+dwFileOffsetHigh]
                push    ecx  //3-й параметр dwFileOffsetHigh

                mov     edx, [esp+8+dwFileOffsetLow]
                add     edx, 80000000h  
                push    edx  //2-й параметр dwFileOffsetLow

                mov     ecx, [esp+0Ch+hFile]
                push    ecx  //1-й параметр hFile

                call    eax
                retn    14h
LockFile        endp


Интересно что бы это значило: add     edx, 80000000h  
Вечером отладчиком посмотрю... Похоже, что-то странное.

Если нечто подобное сделать с SetFilePointer, то предел 4 гига будет на одну DBF-ку...

(227) начало участка блокировки в файле смещается на 2 гигабайта зачем-то

Апну... У кого-нибудь получилось выгрузить и загрузить хотя бы пример в комплекте?

У меня загрузилось проблема была в наличии общего поля неограниченной длины

Мне пишут в почту:

"Использовал Ваш Плагин для лечения выгрузки и загрузки больших баз в 1С 7.7 - Спасибо большое из Кишинева".

Похоже вроде бы все в порядке...

(225)
:)
а зачем в пустой конфе создавать константу?
типа бага такая для всех релизов 7.7?

(233+)
:)
и еще у меня при потере
окном конфигуратора в режиме загрузки
активного фокуса "умирает" прогресс-бар
(даже просто при автоблокировке сеанса компьютера)
но нагрузка на компьютер 1сv7.exe+sqlserver.exe
остается..
типа фича такая?

(233) Похоже на то - иначе выдает ошибку (и в исходной 1С - так же).
(234) А сама загрузка нормально прошла? Я тоже кажется что-то такое наблюдал на XP SP2, а на Win 2000 SP4 все было ок. Попробую поправить...

(235)
:)
нормально
2.2Г дат
браво маэстро
..
:)
точно!
ХП СП2
..
а ведь есть еще Виста..
;)

Млин... ну бывает же такое...
Крутая вещь, многа разговоров... Абсолютно бесполезна в 90 % случаев...
Ну поясните мне есчо раз...
Если я имею базу в архиве более 2 Гб, и она не SQL то значит она ДБФ? а как можно хранить такие объемы в базах ДБФ. Любой сбой в работе 1С приведет к переиндексации базы, что займет ... скока-скока времени?
Это ошибка администратора системы - он либо не тот продукт купил, либо базу не умеет "резать". Выгрузка такой базы займет несколько часов, а загрузка - несколько суток.
Если это база SQL то проще и быстрее пользовать SQL backup. Быстрее как создание архива, так и его подъем. И никаких проблем с размерами файлов там нет в принципе.
Хотя как вешь в себе - хорошая штука.
Что касаетца описанного в (98)... Так господа, млин, не надо изза собственной лени в изучении механизмов базу уродовать. Когда нам приспичило, мы вот каким-то чудом нашли и способ DBA расковырять и скрипты для SQL backupa наваять, чтоб все автоматом в темной ночи работало... а базу тронать не стали, незачем это делать...

(237) Сиквельный бэкап конечно же намного лучше.
Данный же бэкап служит для переноса разросшихся баз в SQL, а также иногда для того чтобы перестроить таблицы при каких-то тормозах или косяках (т.к. идет выгрузка и загрузка в платформо-независимый формат). Ну и этот бэкап более компактный (мало ли придется базу на флэшку умещать или по FTP ее пересылать).

Ромикс! Ну их, этих крети..тьфу..критиканов...!
Пусть выложат свой этот как его .. рецепт подробный
"Когда нам приспичило, мы вот каким-то чудом нашли и способ DBA расковырять и скрипты для SQL backupa наваять, чтоб все автоматом в темной ночи работало." а потом пусть возникают!

Поправил показ окна с процентом загрузки в XP SP2.
Теперь бодренько так циферки бегут в трее...

(240) молодец будем посмтортеть

(240)
:)
орел!

Еще раз запустил проверку...
Загрузка в пустую базу (если создать там константу и сохранить пустую конфу) прошла нормально.

(237) тебе бесполезно так и не читай ветку... от жиж...
подолбал бы лутше 1ссину шо они заложили бомбу и плевали на пользователей, чем фигней занимацца.

ребята немного не по теме, мот кто подскажет:перекидывал из дбф на sql загрузилась вроде нормально база , доки все проведенные висят, но если смотришь оборотку, то она показывает, что никаких проводок не было... И регистры пусты тоже...

(244) Да никто не плевал, не факт что они сами провозились бы меньше.
Да и у них там наверное километровые списки пожеланий, не знают за что братся.

(245) А попробуй точку актуальности сдвинуть (Операции - Управление оперативными итогами)...

(246) бывал я на семинарах 1с. больше всего удивляет то что проблемы на которые жалуются их же партнеры им давниым давно известно. а если так то почему бы не исправить? думаю разработчику с исходником легче разбираться чем тебе с дизасемблированием. :)

(247) В сишном исходнике бывает еще сложнее разобраться. :-)