Вход | Регистрация
 

Хранение текстовых файликов

Хранение текстовых файликов
Я
   Deon
 
18.02.20 - 15:45
Регламентным задание каждую минуту запрашиваю информацию, которую получаю в виде xml-файла.
Сейчас сваливаю все файлики в общую сетевую шару, чтобы их могли читать все, кому надо.
В итоге - файлов много, размер большой.

Какие есть варианты всё это хранить в сжатом виде, учитывая, что к любому файлу доступ нужен быстрый и постоянный?
Кроме написания своей базульки, в которой сжимать текст и хранить в реквизите?
 
 
   unbred
 
1 - 18.02.20 - 15:47
gDrive
   ДенисЧ
 
2 - 18.02.20 - 15:47
По дням каталоги создай и раскладывай. Если не хватит - по часам.
   xxTANATORxx
 
3 - 18.02.20 - 15:48
венда умеет работать с зип папками
   Aleksey
 
4 - 18.02.20 - 15:49
а какая разница где хрониьтся в файле на диске или в файле на скуле? Или типа место на диске кончаеться?
   acht
 
5 - 18.02.20 - 15:50
(0)
> файлов много
Разбивай по каталогам по дате

> размер большой
Включи сжатие NTF (если windows)
   acht
 
6 - 18.02.20 - 15:51
(5)+ NTFS
   Deon
 
7 - 18.02.20 - 15:53
(4) В скуле я могу перед записью его сжимать, а перед выдачей разжимать. На диске, конечно, тоже можно, но читалка понадобится какая-то
   Garykom
 
8 - 18.02.20 - 15:54
(0) Должны только читать?

По теме так и продолжай сваливать в общую папку но сделай БД и API для выборки имен нужных файликов по отборам/фильтрам.
   Deon
 
9 - 18.02.20 - 15:54
(3) Попробую. Фиг знает, будет ли этот зип на 500000 файликов тормозить
   Garykom
 
10 - 18.02.20 - 15:55
(8)+ Заодно чтобы этот API мог и сам файл по http отдавать кому надо, а кто не умеет тем есть на шаре файл описаний в csv например и пусть сами отбирают.
   Deon
 
11 - 18.02.20 - 15:55
(8) Так размер быстро растет, надо сжимать
   Deon
 
12 - 18.02.20 - 15:56
(10) Да, значит так и сделаю. Но тут уже, наверно, проще хранить сразу двоичными данными в БД.
   Йохохо
 
13 - 18.02.20 - 15:58
   Garykom
 
14 - 18.02.20 - 16:05
(11) А кто такие "их могли читать все, кому надо"?
   dezss
 
15 - 18.02.20 - 16:09
(10) +100500
И если вдруг решат хранить файлики где-то в другом месте, проще будет переделать их получение. Вдруг на s3 какое-нить решатся))
   Deon
 
16 - 18.02.20 - 16:12
(14) Всякие програмки, 1С:Бухия, 1С:Документооборот, 1С:ЧтоТоЕщё и прочее ПО
   Garykom
 
17 - 18.02.20 - 16:17
(16) Понял.

Тогда тупейший вариант, виртуалку подними с шарой и сжатием диска установленным и там и храни.
Сжатие можно или винда со своим сжатием дисков или линукс с zfs
   Garykom
 
18 - 18.02.20 - 16:18
(17)+ К сожалению поискал http to smb|cifs 2 proxy и не нашел ничего.
Чтобы умело получать/писать файлы по http и отдавать/предоставлять их как шара стандартная.
   pechkin
 
19 - 18.02.20 - 16:19
(18) ты наверно хотел вебдав?
   Garykom
 
20 - 18.02.20 - 16:25
(19) Неа для webdav должна быть поддержка у винде у клиента и оно глючное
   Garykom
 
21 - 18.02.20 - 16:25
(20)+ Думал про вебдав но понял что не то, можно да но неудобно юзерам им надо вебдав как диск подрубать и прочие извраты.
   Garykom
 
22 - 18.02.20 - 16:26
(21)+ Хотя если взять вебдав и подключить как симлинк на шару на сервере - хз что будет если честно.
   Deon
 
23 - 18.02.20 - 16:26
Да. Направление ясно, спасибо )
   Deon
 
24 - 18.02.20 - 16:27
(22) Как-то больно много промежуточных звеньев получается
   pechkin
 
25 - 18.02.20 - 16:27
для веб дав есть сторонние клиенты
   Йохохо
 
26 - 18.02.20 - 16:35
(17) вроде бы делаем файл vhdx, монтируем, форматируем с разрешением сжатия и все
   Сияющий в темноте
 
27 - 18.02.20 - 19:40
а файлики кто-то будет перезаписывать и т.п.?
если нет,то можно в один файл писать,как почтовая программа делает
   Midrash
 
28 - 18.02.20 - 22:18
(0) Для быстрого поиска можно проиндексировать пути хранения файлов. Веди спецификацию файлов. Тогда не придется их искать повторно.
   baselitico
 
29 - 19.02.20 - 00:30
Start SFTP Drive - по протоколу ssh конектится шарит как сетевой диск. SSH и винда и линукс можут..
Ну раз webdav предлагают...


Список тем форума
Рекламное место пустует  Рекламное место пустует
Программист всегда исправляет последнюю ошибку.
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.