Вход | Регистрация
 

DevOps инструменты для платформы 1С

DevOps инструменты для платформы 1С
Я
   Garykom
 
10.07.21 - 23:40
Собственно накидайте кто что юзает

Ну вот есть хорошие примеры это Обновлятор-1С или Vanessa-Automation
А кто и что еще юзает из подобного заточенного для 1С или универсального типа Jenkins или SonarQube ?

Допустим хочется организовать подобную среду для применения CI/CD или просто удобной автоматизации

Например часто требуется получить копию базы (для передачи кому то) а она серверная на PostgreSQL/MSSQL (а еще прикрепленные файлы в томах) и пользователей выгнать чтобы в DT выгрузить (который просят) это странно, чтобы вручную
Или не копию для передачи а просто развернуть копию на том же или отдельном сервере
И еще вести учет этих копий как подготовленных для передачи так и развернутых

Т.е. не вручную это каждый раз делать а автоматизировать все это
Понятно что можно взять нечто универсальное и написать кучу скриптов и в какую то админку это вывести

Вот интересно у кого как или все вручную? Кроме бэкапов ))

А бэкапы то автоматически проверяются что они восстановятся и база рабочая?
   Aleksey
 
1 - 10.07.21 - 23:55
что такое Обновлятор-1С или Vanessa-Automation
   Garykom
 
2 - 10.07.21 - 23:56
(1) погугли
   Asmody
 
3 - 10.07.21 - 23:56
(1) Тебе интернет на 10 лет отключали?
   Aleksey
 
4 - 11.07.21 - 00:00
(2) Это мягкий тролинг, что не все поголовно испытывают острую необходимость в обновляторах и автоматизаторах
(3) Нет, просто ниразу не было необходимости в этих инструментах, а уж Jenkins или SonarQube это вообще из области задротов и красноглазиков
   Смотрящий
 
5 - 11.07.21 - 00:01
Мдээээ
"Или не копию для передачи а просто развернуть копию на том же или отдельном сервере"
Автоматизировать? Ты серьезно ???
   Aleksey
 
6 - 11.07.21 - 00:03
(5) ну есть люди у которых по ночам снимается копия базы и разворачивается для разработчиков
   Garykom
 
7 - 11.07.21 - 00:03
   Aleksey
 
8 - 11.07.21 - 00:04
по крайне мере на мисте была тема как автоматизировать этот процесс, чтобы оно само все кнопки жало
   Garykom
 
9 - 11.07.21 - 00:04
(4) Необходимость все испытывают, только или не знают об этом или не могут или лень

(5) Когда тебе надо бэкап одной базы редко отдать (или копию развернуть) это фигня
А если это надо часто уже задумываешься
   Garykom
 
10 - 11.07.21 - 00:05
(8) Мне не надо само кнопки жало, могу и без этого обойтись через ключи запуска

Тема для обмена опытом кто, что и для чего юзает с платформой 1С
   Aleksey
 
11 - 11.07.21 - 00:06
(9) ну да лучше день потерять, потом за 5 минут долететь. Тем более когда это нужно раз в год, да и то если год високосный
   Смотрящий
 
12 - 11.07.21 - 00:07
(6) Ога. Разраб целый день в поту кодил, ночью скрипт развернул копию поверх разработки ))))
(9) Чет представить себе немогу надобность, кроме бекапа, а там скл сам умеет по расписанию
   Смотрящий
 
13 - 11.07.21 - 00:08
Вот если база лежит у кого нить, там pg, а нужно копии ежедневные к себе тянуть и разворачивать на mssql ...
   ildary
 
14 - 11.07.21 - 07:03
(0) возможно пригодится эта ссылка: https://tavalik.ru/perezalivator-prilozhenie-dlya-avtomatizacii-perezalivki-baz/
   NorthWind
 
15 - 11.07.21 - 09:01
(0) Это лучше на ИС статьи поискать, там народ периодически скрещивает ужа с ежом, в смысле, девопс с 1С. Помнится, до ковида (19 и начало 20) статьи такие шли прямо плотненько, каждый месяц кто-нибудь выкладывал.
   Конструктор1С
 
16 - 11.07.21 - 10:01
(4) просто ты ещё не дорос
   Вафель
 
17 - 11.07.21 - 13:48
Ну скрипт по копии написать делов на 15 мин.
Или тебе пренепременно гуй подавай?
   acht
 
18 - 11.07.21 - 14:19
(12) > Чет представить себе немогу

Представь себе тестовый стенд из пятка баз (причем не факт что все - 1С), между которыми настроены, например, обмены. И для запуска набора сценариев тебе надо поднять их из набора эталонных данных. Все и сразу. Каждый день.

Сможешь?
   ДенисЧ
 
19 - 11.07.21 - 14:20
(18) А в чём проблема?
   acht
 
20 - 11.07.21 - 14:21
(19) У кого?
   ДенисЧ
 
21 - 11.07.21 - 14:23
(20) см (18) "Сможешь?"
Значит, ты думаешь, что в этом есть какие-то проблемы...
   acht
 
22 - 11.07.21 - 14:34
(21) > Значит, ты думаешь
А ты по фотокарточке диагноз можешь?
   Злопчинский
 
23 - 11.07.21 - 15:23
херня какая.
нсколько много неудовлетволрены качеством прикладных конфигураций и насколько много - качеством типового инструментария -для начала было бы интересно на это посмотреть..
   ДенисЧ
 
24 - 11.07.21 - 15:27
(22) Могу. Например у тебя в личке - явно проблемы с зппп ))) Нос провален...
   acht
 
25 - 11.07.21 - 16:23
(24) Браво! Великолепно! Ахахаха, какая утонченность!
Жалко, что мимо тазика.
   acht
 
26 - 11.07.21 - 16:24
Давай еще раз.
   Вафель
 
27 - 11.07.21 - 16:25
(18) это криво тесты-код написаны, что для них нужно все базы разворачивать
   acht
 
28 - 11.07.21 - 16:40
(27) Без сомнения.
Продиагностируй, пожалуйста и ты фотографию, которую ДенисЧ нашел. Очень интересно - смогут ли сойтись во мнении разные школы?
   NorthWind
 
29 - 11.07.21 - 19:14
(11) я так понял, это для достаточно серьезных пацанов, у кого большие базы и при этом хардкорная разработка в 1С, вследствие чего нужна и тестовая среда с актуальными данными, и изменения в продуктив надо сбрасывать, причем все это каждодневно и непрерывно. Если у вас этого нет - радуйтесь и получайте зарплату :)
   ILM
 
30 - 11.07.21 - 19:26
Прочитал ветку и вспомнил анекдот: В коворкинге человек сказал "Тот случай дал мне хороший опыт", вместо "Тот кейс дал мне гуд экспириенс" и был сразу же осмеян и облит смузи и переведен в импел даун.
 
 
   1CnikPetya
 
31 - 11.07.21 - 20:34
(0) Давай честно, 95% 1сников это не надо. А так, видел разные варианты. Сейчас в качестве ci/cd сервера у нас Jenkins. Тесты пишем на Vanessa Automation. SonarCube подняли, погоняли, но до реального внедрения в процессы пока долго: у нас столько говнокода за много лет скопилось, что надо понять, что с этим делать. Сейчас АПК поднимаем, чтобы через него прогонять проверку и правила свои к нему добавить.

По автоматическому поднятию копий баз вообще проблемы не увидел. Делается средствами СУБД на джобах. Причем как по расписанию (у нас ночью делается автоматически копия баз для саппорта), так и по тычку того же Jenkins. Сделали на нем пайплайн, который делает свежую копию базы, запускает на ней свертку, а потом делает обезличенную копию, чтобы можно было отдать вендорам и для тестовых баз разработчиков.

Сейчас будем поднимать EDT+Git. Пока выбрали нашу вспомогательную базу для этих целей.
   Garykom
 
32 - 11.07.21 - 22:53
(31) Так не спорю что 95% не надо, вопрос был к тем 5%

Хотя насчет 5% спорно
Сейчас все новые обновления типовых лучше сначала на копиях рабочих баз тестить, чтобы не тратить время на поднятие из бэкапа если что
И мне слегка странно что средства для автоматизации этого до сих пор в платформу 1С не встроены

По сути любое типовое штатное обновление чтобы делалось на копии базы, если все успешно то эта копия подменяет рабочую
Тогда в случае сбоя рабочая остается рабочей, а не как сейчас

А то сча если в процессе обновления базы сервак упал то привет, и даже бэкап средствами PG рушит базу если она реструктуризируется в момент старта бэкапа
   ivanovpetr79
 
33 - 11.07.21 - 22:55
Kubernetes, Openshift, Ansible, Docker?
   ИначеЕсли
 
34 - 11.07.21 - 23:03
(32) А что вы вкладываете в понятие "тестить" в случае типовых? Писать собственные тесты?
Можно конечно, но этим же по идее в самой 1С должны были озаботиться.

Насчёт бэкапа не понял - разве нельзя сделать бэкап перед обновлением и потом в случае чего откатиться?
   Aleksey
 
35 - 11.07.21 - 23:08
(34) Даже сама 1с писала что невозможно добиться 100% покрытия тестами, и она никогда и не ставила такую цель. В частности практически со 100% вероятностью при добавлении нового объекта в типовых мы имеем ошибки в RLS, так как они не тестях ограниченные записи, главное чтобы под админом работало, а как оно под пользователем работает - вот пусть они и тестят
   ИначеЕсли
 
36 - 11.07.21 - 23:08
Мы (фикси) используем деплойку, разворачиваем тестовые базы и базы разработчиков скриптами в полуручном режиме (вручную только пароли вводим, чтобы в скриптах не хранить).
Аналогично скриптами обновляем рабочую базу из хранилища.

Ванессу, сонар, гит и дженкинс внедрить как-то не получается - выхлоп не понятен, только если из любви к искусству.
Но пока времени на это даже нет.

У команд, которые собственные коробки пишут, всё конечно по другому и им это наверно помогает.
Но таких наверно не 5%, а 1% или даже меньше.
   Aleksey
 
37 - 11.07.21 - 23:09
А уж с вводом расширений .. главное в продакшен запустить (объекты добавить), а потом если что патчами поправим, заодно отсекаются пираты
   ИначеЕсли
 
38 - 11.07.21 - 23:15
(35) Так и я не понял, мне даже сложно представить сколько нужно ресурсов, чтобы реализовать 100% покрытие типовых.
Откатиться без потери данных тоже не очень понятно как, в общем случае и из коробки.

По факту же девопс должен эту задачу решать, а у нас получается, что установили новый релиз, перекрестились, юзеры начали работать в середине дня кто-то на какой-то косяк напоролся.
И приходится оперативно устранять и править на живую.
   Garykom
 
39 - 11.07.21 - 23:17
(37) Да мне интересно кто первый напишет конфу чисто на расширениях ))
   ИначеЕсли
 
40 - 11.07.21 - 23:20
(39) На основе пустой конфигурации?
   acanta
 
41 - 11.07.21 - 23:24
(40) если бсп не устраивает, например английский код.
   Garykom
 
42 - 12.07.21 - 01:00
(40) угу на пустой
   Garykom
 
43 - 12.07.21 - 01:01
(42)+ можно прикольно модульность конфы реализовать

но надо на уровне платформы 1С поддержка зависимости одних расширений от других
   Почему 1С
 
44 - 12.07.21 - 06:58
Ну в последние года глас евангелистов 1с devops добрался и до меня, с интересом смотрю видосики и читаю чатики причастных, тема интересная, самому все это настраивать ну его нафиг, а вот поработать в команде с уже готовой инфраструктурой devops хотелось бы.
На одном из проектов на 1С у меня даже были юнит тесты написаны в виде отдельной обработки, в те времена наверно ванесса только появлялась и кроме авторов о ней никто не знал. Опыт был крайне положительный, времени экономил тучу, но там и задача хорошо подходила под покрытие тестами.
   skpoo
 
45 - 12.07.21 - 07:41
(3) Нет, он просто не сторонник извращений, как и я.
   fisher
 
46 - 12.07.21 - 09:12
(0) > Например часто требуется получить копию базы (для передачи кому то) а она серверная на PostgreSQL/MSSQL (а еще прикрепленные файлы в томах) и пользователей выгнать чтобы в DT выгрузить (который просят) это странно, чтобы вручную
Вот прикольная тема для этого: https://infostart.ru/1c/articles/681438/
   Вафель
 
47 - 12.07.21 - 09:22
По теме (0) для того выделенные люди и работают девопсами, чтобы нужные скрипты писать и все это автоматизировать
   1CnikPetya
 
48 - 12.07.21 - 09:43
(45) /Почему вы считаете это извращением?
   Вафель
 
49 - 12.07.21 - 10:32
писать тесты это как раз не извращение, особенно если нужно типовую обновлять
   Garykom
 
50 - 12.07.21 - 10:52
(46) тема прикольная, там еще комменты интересные

И да там суть правильно понята в ускорении процесса

У нас еще например Документооборот там уже за 100 Гб файлов прикрепленных в томе внешнем
Вот с ними настоящая трабла если надо базу отдать или копию
Сча вот думаю каким бы образом можно эти файлы было не копировать в копию базы, а отдавать из старого в режиме только чтения
Но чтобы новосозданные (или измененные) прикрепленные в копии базы были уже свои
Т.е. для экономии места и времени исключить дублирование
   ДенисЧ
 
51 - 12.07.21 - 10:54
(50) "Сча вот думаю"
Симлинки отменили? )))
   Garykom
 
52 - 12.07.21 - 10:58
(51) Но чтобы новосозданные (или измененные) прикрепленные в копии базы были уже свои
   Вафель
 
53 - 12.07.21 - 10:59
Только зфс тебя спасет тогда
   Garykom
 
54 - 12.07.21 - 11:00
(53) Угу причем какая то хитрая
   Вафель
 
55 - 12.07.21 - 11:00
Можно еще в конфе настройку делать, чтобы новый том создавался а старые только на чтение
   fisher
 
56 - 12.07.21 - 11:02
(50) Я во всяких COW-FS не настоящий сварщик. Но предполагаю что и это решается в рамках их концепции. Там же типа клоны снимков можно создавать и на первый взгляд это оно и есть. Могу ошибаться.
   acanta
 
57 - 12.07.21 - 11:14
Вот если расширение, подключаемое к базе, было как тома на диске, в отдельных базах СУБД.
   ДенисЧ
 
58 - 12.07.21 - 11:15
(52) И? На существующие - симлинки. Новые уже создаются..
   Garykom
 
59 - 12.07.21 - 11:15
(56) да COW (zfs или btrfs) вполне тут может помочь
но тут трабла что оно должно каким то образом отдавать разные снимки для измененных файлов в рабочей и копии базы

думал просто через симлинки и та же проблема
   Garykom
 
60 - 12.07.21 - 11:17
(58) изменение имеющегося прикрепленного файла в копии базы не должно повлиять на рабочую!
должна создаться копия файла как при создании нового, как это реализовать?
 
 
   Aleksey
 
61 - 12.07.21 - 11:25
(60) Да никак, кроме как "портит" тома в копии
   Aleksey
 
62 - 12.07.21 - 11:27
Т.е. у тебя в рабочей базе в томах прописан путь d:\file\ (ну или \\shara\f$).
Соответственно в копии меняем путь на любой другой, например d:\file2\, ну и факультативно, т.е. при необходимости копируем файлы из d:\file\ в d:\\file2\
   fisher
 
63 - 12.07.21 - 11:27
(59) Не понял проблемы. Насколько я понял - клоны снэпшотов доступны для записи. То есть делаешь снэпшот с рабочей, разворачиваешь с него клон для копии базы и делай там что хочешь. Рабочая живет дальше своей жизнью, а клон - своей. Каждый фиксирует свои изменения. А пока живы клоны и снэпшоты - ФС "держит" их общий знаменатель на диске (то есть неизмененные файлы будут браться из одного места, без дубляжа).
   Aleksey
 
64 - 12.07.21 - 11:28
(63) как раз это тот самый сдучай когда дубль необходим
   Aleksey
 
65 - 12.07.21 - 11:30
Допустим у тебя рабочая база и у нее прикрепленые файлы хранятся на диске.
Ты сделал копию базы и в копии удалил документ к которому был прикреплен файл, так как рабочая ссылается на этот же файл, то получается ты удалил и из рабочей, что недопустимо. Т.е. редактирование прикрепленых файлов в копии не должно влиять на файл из рабочей
   Garykom
 
66 - 12.07.21 - 11:31
(63) ага понял все же снэпшот делаем и в копии базы меняем путь тома
   Garykom
 
67 - 12.07.21 - 11:31
(66)+ но это надо ZFS или Btrfs юзать обязательно
   Garykom
 
68 - 12.07.21 - 11:33
(65) Про эту проблему сразу и написал
Механизм снимков тут реально спасение
   fisher
 
69 - 12.07.21 - 11:40
(65) > Т.е. редактирование прикрепленых файлов в копии не должно влиять на файл из рабочей
В COW так и будет.
(66) Да, насколько я понял - клон по отдельному пути разворачивается. То есть как раз для решения задачи типа твоей и придумано. Расплата - производительность, как я понимаю. Ну там фрагментация, накладные расходы и все такое. Но на SSD это должно быть сглажено. Плюс тот же zfc умеет еще сжимать данные. И вроде тот же Лустин хорошо отзывался об этом в части использования для 1С.
   Garykom
 
70 - 12.07.21 - 11:47
(69) Кстати Ext3 вроде тоже COW когда через Samba
Ибо один раз данные восстанавливать пришлось и с удивлением обнаружил дофига копий одинаковых файлов, которые перезаписывались
А еще там удобно корзина настраивается, так что обычное удаление в нее переносит
   fisher
 
71 - 12.07.21 - 11:54
(70) В ext3 вроде такого нет. Вроде для самбы есть плагин для бэкапирования, может это его работа...
   vtolstenev
 
72 - 12.07.21 - 11:54
(50) (53) (66) итд.
Возможно я не правильно понял проблему...
NTFS дедупликацию умеет уже более 10 лет как.
Более менее серьезные СХД делают это ещё давнее и быстрее.
Просто создаете 2 самостоятельных хранилища и работаете с ними как ни в чем не бывало, а место на диске за вас экономит ОС или СХД.

В остальном тема очень интересная, возьмем на заметку (когда ожидаемая польза от внедрения превысит ожидаемые затраты на разработку).
   fisher
 
73 - 12.07.21 - 12:09
(72) Ну, не NTFS умеет, а виндовые сервера на NTFS такое умеют. Но там проблема дупликации разруливается постфактум и как получится. Для файловой свалки удобно.
   fisher
 
74 - 12.07.21 - 12:12
Хотя для (50) наверное норм. А вот для БД уже не оч.
   fisher
 
75 - 12.07.21 - 12:17
Ну и опять таки - придется сначала эти 100 Гб реально скопировать. А снэпшот фактически мгновенно разворачивается.
   Garykom
 
76 - 12.07.21 - 12:21
(75) проблема пока как развернуть zfs на арендованных облачных серверах ))
   fisher
 
77 - 12.07.21 - 14:53
(76) На VPS, вероятно, никак. Если из коробки такой услуги нет.
Но и 1С на VPS поднимать - весьма сомнительная затея. И дорого и стремно.
Мощности под 1С обычно железками арендуют.
   Garykom
 
78 - 12.07.21 - 15:09
(77) Та не виртуальные сервера на линукс дадут без вопросов
   ДедМорроз
 
79 - 12.07.21 - 18:45
Не,файловые операции что в windows,что в linux,можно перехватывать.
Только вот не очень понятно,что делать,когда excel в середину файла пишет блок информации последнего доступа,когда файл открывается.
Тут,если хранить блок отдельно,нужно также следить за неизменностью основного файла,который в рабочей базе точнг также могут поменять,а если делать сразу копию,то все равно фигня получится.
   mistеr
 
80 - 12.07.21 - 19:56
(72) >NTFS дедупликацию умеет уже более 10 лет как.

О чем конкретно речь? И как воспользоваться этой дедупликацией?
   Вафель
 
81 - 12.07.21 - 20:03
На винде дедупликация идет постобработкой
https://3xru.ru/deduplikatsiya-dannyh-v-windows-server-2012-r2-chto-eto/
   ДедМорроз
 
82 - 12.07.21 - 20:14
(80) Теневое копиррвание позволяет получить копию диска на определенный момент.
Но,копию менять нельзя.
А тут нужно на какой-то момент времени сделать клон,чтобы потом каждая база писала свои изменения.
Насколько я помню,такое умеют системы виртуальных машин,когда они создают клон машины,и он работает с копией диска,которая привязана к оригиналу.
   mistеr
 
83 - 12.07.21 - 20:35
(81) Лучше потратить минуту и найти оригинал, чем давать ссылку на плохой перевод MSDN. Но все равно спасибо.


Список тем форума
 
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.