Вход | Регистрация
 

Как уменьшить копию большой БД?

Как уменьшить копию большой БД?
Я
   LLIaMaH
 
20.11.20 - 13:17
У нас основная БД, 3Тб, как всегда места для разворота копии нет, у каждого разработчика своя база гигов по 200 почти пустая, иногда спасаешся выгрузкой загрузкой определенных данных, но бывает необходимо комплексно проверять работу с кучей свежих данных. Самое простое решение развернуть копию из ежедневной копии рабочей базы, но как я горил места нет, точне пара терабайтов есть, но их мало. Если поковыряться есть набор таблиц не критичных для всех, но снести их можно только после разворота полной копии, а места нет :) Есть какой то способ развернуть копию MS-SQL БД исключая определенные таблицы. Я как бы совсем профан в администрировании СУБД, админ говорит, что места нет и не знает как сделать по другому, кроме разворота полной копии.
   ДенисЧ
 
1 - 20.11.20 - 13:20
Нет такого способа
   Free_soul
 
2 - 20.11.20 - 13:31
(0) делай свертку, если не сильно часто надо свежие данные.
   mistеr
 
3 - 20.11.20 - 13:36
(0) >бывает необходимо комплексно проверять работу с кучей свежих данных.

"Кучу" и "свежих" не обязательно, а необходимый минимум тестовых данных можно либо внести вручную, либо сгенерировать обработкой.

Рано или поздно нужно выходить на серьезный уровень, так лучше рано, чем поздно.
   TormozIT
 
4 - 20.11.20 - 13:36
Для начала надо провести анализ распределения объема данных по таблицам. Высока вероятность что есть таблицы типа "журнал/лог/история", на которые нет ссылок и данные в которых больше не нужны. Вот их надо почистить от мусора.
   LLIaMaH
 
5 - 20.11.20 - 13:36
(2) Не очень понял. Рабочую базу трогать не могу, база самописная полностю.
   arsik
 
6 - 20.11.20 - 13:37
Очень все странно.
База 3Тб - это должна быть нехилая такая контора, а на дополнительный СХД денег нет.
У нас еженочно восстанавливается для тестов копия из рабочей. В течении дня ее насилуют.
   LLIaMaH
 
7 - 20.11.20 - 13:38
(6) Нехилая :), 900 точек, денег нет, но мы держимся.
   mistеr
 
8 - 20.11.20 - 13:41
(7) Денег совсем нет, даже $200 на пару дисков?
Не верю.
   yzimin
 
9 - 20.11.20 - 13:41
(7) В данном случае решить вопрос железкой будет дешевле. Иногда на свёртку БД и последующих разборов больше уходит времени
   dka80
 
10 - 20.11.20 - 13:42
https://www.dns-shop.ru/product/3247771e67381b80/6-tb-zestkij-disk-toshiba-p300-hdwd260uzsva/

скиньтесь отделом, помогите родному предприятию
   LLIaMaH
 
11 - 20.11.20 - 13:42
(4) Я и проводил анализ, когда доходит до вопросов, "эта таблица на 10-100гигов надо?", никто толком ответить не может, а вдруг пригодитсья, анализ там какой, статистика, опять же дикое необузданное, без какого либо центрального планирования и архитектуры, базостроительство, по требованиям пользователей, когда нада было уже вчера, привело к дублированияю части данных, порой сотни гигабайт дублирют друг друга, и переделывать некому и некгода.
   LLIaMaH
 
12 - 20.11.20 - 13:44
(10) Админ говрит какито брендовы сервер не хотят работать с левыми дисками, родные диски стоят больших денег, ХЗ почему нельзя развернуть на чемто другом.
   Free_soul
 
13 - 20.11.20 - 13:45
(5) копию свернуть, не рабочую
Правда, будешь каждый раз вновь загруженную в копию сворачивать, если данные иным способом не будешь подгружать
   LLIaMaH
 
14 - 20.11.20 - 13:47
(13) дак нет 3Тб для раворота копии, я бы транкейтом или руками снес если бы развернуть могли тупо нет места для хотябы начала. выжрали все, не ожидали что база за пол года с момета начала полноценной работы стока сожрет.
   arsik
 
15 - 20.11.20 - 13:47
(12) Зачем. Ну засуньте в обычную ПК 2 по 3 терабайта = 6 и в Райд 0 его, что бы побыстрее было.
   arsik
 
16 - 20.11.20 - 13:48
+(15) Но долго 3 терабайта будут разворачиваться. Часов 8.
   Free_soul
 
17 - 20.11.20 - 13:49
(14) лучше займитесь оптимизацией, поди полнотекстовой поиск включен?
(15) а серверный ключ?
   arsik
 
18 - 20.11.20 - 13:49
+(16) А не. Вру. Побыстрее.
   arsik
 
19 - 20.11.20 - 13:49
(17) А полнотекстовый тутпри чем. У него индекс отдельно от базы вроде храниться.
   mikecool
 
20 - 20.11.20 - 13:53
каждого разработчика своя база гигов по 200 почти пустая"
если она почти пустая весит 200 Гиг, то это размер конфигурации?
а если нет, то в ней овер дохрена лишней информации
   LLIaMaH
 
21 - 20.11.20 - 13:54
полнотекстовый в прогарм файлес лежит, 300гигов, при том что отключен почти везде, индексы поотключали ненужные, просто дофига информации однотипной, банально продажи всякие. в разных видах.
   LLIaMaH
 
22 - 20.11.20 - 13:59
(20) я не спорю что до хрена, просто никто не занимался проектированием, поставили задачу чето сделать, накерачил регистров, документов и спраочникв, данные запросто могли дублировать друг друга а то и лежать в двоичных данных целые файлы прайсов в базе, потмоу что так удобнее и быстрее было если что перезаполнит данные :) Я поразбирлся, что лишнее пару недель, среди самых большых таблиц, так создатели говорят "ну да криво-косо, но работает, не трож, а переделывать время нет."
   МихаилМ
 
23 - 20.11.20 - 14:02
написать скрипт на tsql  , который будет копировать  н последних доков с движениями справочниками и прочим - день работы.
закажите или попросите. наверняка вы не первые с такой проблемой.
для такой большой базы желательно иметь админа субд, который будет за ней присматривать. можно "приходящего"
   s-n-a-y
 
24 - 20.11.20 - 17:04
(0) Как вариант можно подцепить внешнее хранилище/диск и временно сделать смиволическую ссылку с папки TEMP на хранилище, тогда место для создания полного бекапа будет
   timurhv
 
25 - 20.11.20 - 17:45
(22) На добавленных регистрах на каждом измерении индексировать?
   rphosts
 
26 - 20.11.20 - 18:01
(0) у вашей конторы нет денег на https://www.dns-shop.ru/product/72ed1bbc84203361/4-tb-zestkij-disk-wd-blue-wd40ezrz/ ?
   Михаил Козлов
 
27 - 20.11.20 - 19:46
Уходите оттуда.


Список тем форума
Рекламное место пустует  Рекламное место пустует
Ошибка? Это не ошибка, это системная функция.
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.