Вход | Регистрация
    1  2   

Производительность SQL и Postgres.

Производительность SQL и Postgres.
Я
   Zombi
 
18.02.20 - 10:42
Купили сервер под 1с. Параметры : Core i7 9700k? 32 Гб оперативной ddr4 2666мгц в двухканале, жесткие ssd NVMe samsung 970pro 500Гб в raid1. Виндовс сервер 2016 стандарт. УТ 11.4.8.79, платформа 8.3.14.1630. Пробуем на СКЛ и Постгри. Проводим документы реализации за 5 дней примерно по 150-200 реализаций в день по 5-10 строк в ТЧ. Разница в производительности: На СКЛ 110 минут, на Постгри 200 минут. Вот файлы логов замера производительности:

https://yadi.sk/d/tbeJPnr_RfZZ8Q
https://yadi.sk/d/fblJJW1oSrdORQ

По логам видно что где то Постгри даже быстрее СКЛ отрабатывает, а где то намного дольше. Можно с этим что то сделать? Или смириться с более низкой производительностью либо платить за СКЛ, других вариантов нет?
 
 
   2S
 
1 - 18.02.20 - 10:43
(0) накуя постгри ваша винда? убунту зехаречьте, или сентос и наслаждайтесь
   Zombi
 
2 - 18.02.20 - 10:44
(1) Будет лучше с производительностью?
   Бовка
 
3 - 18.02.20 - 10:46
Ванильный постгре нужно настраивать + оптимизация кода требуется. Из коробки ПГ не даст требуемой пр-сти.
И разверните под убунтой или центосом
(1) +1
   Бовка
 
4 - 18.02.20 - 10:47
+(3) и какая версия ПГ?
   Zombi
 
5 - 18.02.20 - 10:48
(4) Постгри 11 последний с сайта 1с
   fisher
 
6 - 18.02.20 - 10:50
Либо смириться, либо повышать свои компетенции в постгри (начиная с установки ее на линух).
Это не высоколобый наезд. Сам такой же. Это факт. Придется изучать ее слабые места и тонко тюнить. Некоторые запросы возможно придется переписывать (у сиквела оптимизатор запросов в среднем лучше).
С производительностью станет лучше, но выйти на такую же производительность при прочих равных все равно вряд ли выйдет (у сиквела ведь тоже есть запас по оптимизации).
   Zombi
 
7 - 18.02.20 - 11:01
Ну примерно понятно. Спасибо
   Zombi
 
8 - 18.02.20 - 11:02
(6) Отдельное спасибо.
   pechkin
 
9 - 18.02.20 - 11:03
постгре на винде - это моветон.
там в постгре линуксовая модель памяти и по винду сделана лишь заляпуха
   rphosts
 
10 - 18.02.20 - 11:07
(0) работать с постгри - нужно его немного знать.
Под виндой постгри это сразу примерно в 1,2-1,4 раза медленнее чем скл, если постгри под тем-же железом на линуксе - примерно равны... ну и плюс все плюсы от версионника в сравнении с блокировочником
   Ненавижу 1С
 
11 - 18.02.20 - 11:09
32гб ОЗУ это даже не смешно
   b_ru
 
12 - 18.02.20 - 11:14
(11) Более чем достаточно при такой дисковой подсистеме
   unregistered
 
13 - 18.02.20 - 11:14
(10) >> Под виндой постгри это сразу примерно в 1,2-1,4 раза медленнее чем скл

А есть примеры?
Я вот слышал, что никакого особого преимущества от PG, живущего на Linux, по сравнению с живущим на Win, нет. Так - слёзы одни.
   unregistered
 
14 - 18.02.20 - 11:15
(11) Это же PG. MS SQL может и мало. А PG их даже близко не утилизирует.
   rphosts
 
15 - 18.02.20 - 11:18
(13) тесты встречал (вроде на ИС) ну и сам убедился, линукс по другому работает с памятью отсюда и этот эффект.
Под линуксом немного сложнее отслеживать нагруженность оборудования... хотя может дело вкуса.
И постгри требует обязательного обслуживания, скл тоже требует но не так критично (версии...)
   Zombi
 
16 - 18.02.20 - 11:19
При перепроведении сервер даже на 10% не загружен. Что на постгри, что на скл
   Salimbek
 
17 - 18.02.20 - 11:24
(16) Нагружен проц? Так сейчас не часто в него упираются. Все больше в Дисковую подсистему или в ОЗУ.
   b_ru
 
18 - 18.02.20 - 11:25
(16) Что у сервера на 10% загружено? CPU? Так в нем 8 потоков, а проведение занимает только один. Теоретический максимум загрузки процессора при проведении в один поток - 12,5%. Меньшая нагрузка показывает, что память-диск не успевают загрузить его полностью. Вот тут сказывается в том числе то, что Постгри работает с файловой системой в винде гораздо хуже, чем в линуксе.
   unregistered
 
19 - 18.02.20 - 11:30
(0) >> Можно с этим что то сделать? Или смириться с более низкой производительностью либо платить за СКЛ, других вариантов нет?

Кроме проведения существуют другие показатели производительности.
Проведение одного единственного вида документов - это конечно хорошо. Но есть вероятность, что пользователи ещё и отчеты формируют, другие документы проводят. Попробуйте прогнать более релевантные тесты, отвечающие реальной нагрузке.

Чудес конечно ждать не следует, но возможно, что всё не так уж и плохо.

В тонкий тюнинг PG и перенос его на Linux я особо не верю. Что-то выжать из этого можно, но не двукратного прироста.
   b_ru
 
20 - 18.02.20 - 11:44
(19) Перенос на линукс дает процентов 30. То есть после переноса будет плюс-минус одинаково работать.
   Zombi
 
21 - 18.02.20 - 11:49
Админ уже настраивал Постгри. До настройки было ещё хуже
   Креатив
 
22 - 18.02.20 - 11:59
А что мода на Intel ещё не прошла?
   Йохохо
 
23 - 18.02.20 - 11:59
(21) производительность это не состояние, производительность это процесс
   fisher
 
24 - 18.02.20 - 12:13
(13) > Я вот слышал, что никакого особого преимущества от PG, живущего на Linux, по сравнению с живущим на Win, нет. Так - слёзы одни.
Эти люди выдают желаемое за действительное. Если начать погружаться в детали, то поднимается куча опущенных оговорок.
Типа "естественно, на postgres pro" или "конечно, мы работаем на zfs" или "само собой, у нас используются такие-то и такие-то оптимизации и скрипты", "конечно, дополнительно настраивались такие-то виды обслуживания", "ну, вот тут и вот тут в 1С пришлось допилить", "мы пол-года исследовали и подбирали оптимальные параметры настроек", "естественно, каждая продакшн-база разворачивается в отдельном кластере" и так далее и тому подобнее.
   unregistered
 
25 - 18.02.20 - 12:24
(24) >> Если начать погружаться в детали, то поднимается куча опущенных оговорок.

Забавно. Обычно этот аргумент приводят как раз сторонники той версии, что производительность PG не зависит от версии ОС.
Что всё мифическое ускорение слона под Linux происходит после длительных и мучительных танцев с многочисленными шаманскими бубнами.
А если сравнивать "чистые" установки из коробки, то значительной разницы на разных ОС нет.

Я пожалуй от дальнейшего спора устранюсь. Тупо в силу отсутствия личного опыта и достаточных знаний вопроса.
   fisher
 
26 - 18.02.20 - 12:33
(25) Извини, я ответил на незаданный вопрос, был невнимателен. Я про сравнение с сиквелом писал, а не про сравнение постгри на разных ОС.
Про производительность постгри на разных ОС у меня нет информации. Есть просто информация о том, что postgres пилится под линукс а порты на другие системы делаются по остаточному принципу. Весь "реальный" продакшн на постгрес про который я слышал - на линуксе. Вопрос производительности постгреса на других ОС как правило даже поднимается, потому что это в среде профильных специалистов это никому не интересно. Постгрес на винде - это либо экзотика, либо ненагруженные системы.
   fisher
 
27 - 18.02.20 - 12:48
Добавлю, что на винду постгрес просто как-то портируют, а на линуксе у постгри очень развитая инфраструктура. Куча дополнительных утилит, модулей, конкретных "бест-практисес" и так далее и тому подобное. postgres вообще очень прикольная шняга, имеющая модульную структуру. Т.е. можно за счет расширения прикручивать свои базовые алгоритмы и фичи, создавая на базе него чуть ли не другую базу данных.
   HeKrendel
 
28 - 18.02.20 - 12:59
   pechkin
 
29 - 18.02.20 - 13:00
(28) на сколько % гарантируешь увеличение производительности?
   dmrjan
 
30 - 18.02.20 - 13:12
(25) Во многом все зависит от количества баз, размещенных на PGSQL. Если сравнивать работу под CentOS бухгалтерий, оптимизированных под 1С 8.3, то разница почти не ощущается.
 
 Рекламное место пустует
   Фрэнки
 
31 - 18.02.20 - 13:15
Одному мне кажется, что это в принципе у ТС как-то все грустно и печально при том, что проводится всего лишь около 1000 документов с маленькими размерами ТЧ ?!
   Фрэнки
 
32 - 18.02.20 - 13:16
Может быть есть смысл разные платформы попробовать... Ну как-то очень-очень грустно
   stopa85
 
33 - 18.02.20 - 13:26
(0) Все говорят, что PG хуже SQL по производительности. Но он сам бесплатен и бесплатно предлагает настроить потоковую архивацию журнала транзакций и мастер=>слейв репликацию. Мне приходилось этим пользоваться по назначению. В середине рабочего дня сдох железный сервер.
   stopa85
 
34 - 18.02.20 - 13:27
(33) не сомневаю, SQL это тоже умеет. Сколько стоит там организовать Master-slave репликацию?
   HeKrendel
 
35 - 18.02.20 - 13:27
(29) я гарантирую что ты за по перестанешь платить, а вот гарантировать сферического коня в вакууме я не могу. Стенд стоит, до 100-ки пользователей загоняй и смотри
   HeKrendel
 
36 - 18.02.20 - 13:28
До 100 пользователей Ерп
   Fragster
 
37 - 18.02.20 - 13:41
подстгре на винде был моветон до того, как его не научили не переименовывать файлы с темпдб
   Fragster
 
38 - 18.02.20 - 13:41
счас более менее норм
   Fragster
 
39 - 18.02.20 - 13:41
нужно тюнить параметры стоимости операций в зависимости от железа
   Fragster
 
40 - 18.02.20 - 13:42
ну и кэши выставлять руками, а то он сильно на ОС полагается, а в винде оно не очень работает
   Fragster
 
41 - 18.02.20 - 13:42
кэши и буферы
   Turku
 
42 - 18.02.20 - 13:42
(38) А когда его научили-то? С какой версии? Сейчас работаем на 9.6.7. Стоит ли рвать волосы на заднице для обновления? :-)
   Fragster
 
43 - 18.02.20 - 13:46
   Фрэнки
 
44 - 18.02.20 - 13:47
(33)// все говорят...


никто так не говорит за пределами этой ветки
   13_Mult
 
45 - 18.02.20 - 13:53
(10) Расскажите с каких пор SQL стал блокировщиком?
   nicxxx
 
46 - 18.02.20 - 14:00
(45) С таких, что пока в MSSQL не выполнишь команды ниже, он не станет версионником.

ALTER DATABASE MyDatabase
SET ALLOW_SNAPSHOT_ISOLATION ON

ALTER DATABASE MyDatabase
SET READ_COMMITTED_SNAPSHOT ON
   Nikoss
 
47 - 18.02.20 - 14:21
(39) руководства никакого не найти, правильно понимаю?
   Zombi
 
48 - 18.02.20 - 14:44
(31) Это я обманул. Оказывается все документы за 5 дней проводятся в тесте.
Всего документов: 19 581
Проведено документов: 15 977
Не проведено документов: 3 604
   Garykom
 
49 - 18.02.20 - 15:07
(0) >ssd NVMe samsung 970pro 500Гб в raid1

рэйд софтовый или аппаратный? Каким образом сделан?
   Garykom
 
50 - 18.02.20 - 15:09
Как уже написали постгрес он под винду не заточен, оно под линукс.
И требует чтобы не падала скорость настройки и обслуживания. И там на разных версиях постгрес можно сильно разные результаты получить.
   Фрэнки
 
51 - 18.02.20 - 15:58
(48) вот видишь, какой ты обманщик :-)
Тогда не нужно грустить.

Вангую, что потеря производительности накапливается на тормозах, когда "спотыкается" на документах с Отказами. Но это можно для сравнения установить такие документы, которые проведутся.
   johnnik
 
52 - 18.02.20 - 16:00
(49) Видел статьи (не одну), в которых опровергалась идея, что RAID на NVMe дисках дает какой-либо прирост. Сам лично пробовал (на самсунгах 970 ево+) RAID-0 - прироста не было вообще. Правда и рэйд у меня был на материнской плате с чипсетом Z390. Однако же, на обычных SSD (SATA) RAID-0 давал заметный прирост. Я конечно далёк от мысли размещать боевую базу на RAID-0, но все-таки...
   ansh15
 
53 - 18.02.20 - 16:01
(37) Вроде, этот патч был только для версий от Postgres Pro Начались проблемы с производительностью сервера 1С
Добавили ли его в версию от 1С, достоверных сведений не встречал. Есть мнение, что нет http://forum.infostart.ru/forum34/topic223440/message2272183/#message2272183
   Garykom
 
54 - 18.02.20 - 16:31
(52) А где взять мамку с много PCIe 3.0 x4 или m.2 NVMe разъемами? Чтобы воткнуть туда 3-4 NVMe и потестить в чередовании а не зеркале.
   Garykom
 
55 - 18.02.20 - 16:31
(54)+ Для линейного прироста не будет почти но на 4к блоках должно быть офигенно!
   Cyberhawk
 
56 - 18.02.20 - 16:38
(46) Первая команда для 1С ничего не дает, ибо она не использует хинты СНАПШОТ. А вторая команда по умолчанию в 8.3 уже из коробки, т.е. во всех типовых на УФ
   Aleksey
 
57 - 18.02.20 - 16:47
(54) А почему нельзя PCi-E порт заюзать
   Garykom
 
58 - 18.02.20 - 16:54
(57) Можно заюзать один PCie 3.0 x16 на аж 4 SSD NVMe которые x4 каждый.
Но это нужна плата концентратора PCIe которая стоит нехило 15 тыр примерно
   Garykom
 
59 - 18.02.20 - 16:55
(58)+ Для реального сервера можно, для экспериментов жаба давит
   Aleksey
 
60 - 18.02.20 - 16:55
К примеру Gigabyte AORUS Gen4 AIC за 130 тысяч https://www.dns-shop.ru/product/6904ffa83e543332/8000-gb-ssd-nakopitel-gigabyte-aorus-gen4-aic-gp-asacne6800tttda/
Это адаптер на 4 m.2 NVMe накопителя формата 2280
https://youtu.be/wa-VOrlvK64?t=270
   Zombi
 
61 - 18.02.20 - 20:11
Админ развернул базу на другом сервере: xeon 4 ядра по 3,3 ггц, 16 гигов оперативки ddr3 1333 Мгц и в первом рейде стоят 2 обычных терабайтника 7200. Постгри на линуксе. Перепроведение одного дня реализаций этот сервер выполнил за 563 секунды. Сервер из (0) сделал это за 546 секунд. Может все же не то что то? Или на Линуксе будет таки прирост?
   Йохохо
 
62 - 18.02.20 - 20:28
(61) в однопоточность упираетесь получается, меряете нагрузку в один поток, лучше многопоточные смотреть, как у рабочей нагрузки
   Фрэнки
 
63 - 18.02.20 - 20:43
(61) И это все на одном физическом сервере разгоняете?
Что в (0), что сейчас - процесс на сервере 1С, а это в однопоточном решении и плюс к нему исполнение на СУБД. Процесс СУБД выкручивается отдельно. и Йохохо верно указывает, что в однопоточность упираетесь, но даже не сервера СУБД, не СКЛ, а именно, что в однопоточность 1С:сервера приложений.

Если вынести СУБД на отдельные железяки, то вполне вероятно, что существенной разницы даже не будет, что на посгри, что на мс-сиквел - тормозить будет больше всего сам 1С сервер.
   Garykom
 
64 - 18.02.20 - 21:07
(60) Из воздуха бабло делают, PCIe концентратор с али за 15 тыр + 4 SDD сильно дешевше
   Garykom
 
65 - 18.02.20 - 21:09
   Zombi
 
66 - 18.02.20 - 21:17
Вот это с сервера в (0):

https://yadi.sk/i/HwuWFeWrGovybQ

Вроде в поток не упираемся.
 
 Рекламное место пустует
   Zombi
 
67 - 18.02.20 - 21:18
длинна очереди на диска 0,05, то есть диск свободен вообще
   Йохохо
 
68 - 18.02.20 - 21:25
(66)(67) как из картинки и 0.05 можно сделать вывод что не упираетесь если они говорят что упираетесь?!)
   Zombi
 
69 - 18.02.20 - 21:27
https://yadi.sk/i/3RTWKOGjvQWv6A

Это из Линукса. Тоже вроде не в поток уперлись.
   Zombi
 
70 - 18.02.20 - 21:59
Однопоток в 1с сервер это понятно, почему при равных условиях однопотока сиквел быстрее чем настроенный постгри? И почему при смене серверов 1с с постгри работает почти одинаков? Может проблема в том как 1с с ними работает?
   Zombi
 
71 - 18.02.20 - 22:00
https://yadi.sk/i/IPYFKqdNdX9fQw

Это работа сервера (0) на СКЛ. Загрузка примерно такая же.
   Йохохо
 
73 - 18.02.20 - 22:05
в (69) вроде top смотреть надо
мсскл быстрее потому что в чем то лучше и на первом месте для селезневки/ потому что пг справляется, боттлнек не в нем/ а может просто в том что 1с не может в такой задаче нагрузить пг?
   Zombi
 
74 - 18.02.20 - 22:37
(73) https://yadi.sk/i/JeKk1MGHfT1axw
Это с Линукса показатели.
   Фрэнки
 
75 - 18.02.20 - 22:37
(73) ну а чем ему грузить ПГ, когда тупо в однопоток молотит сам рпхост, грубо говоря?! Все правильно ты указываешь, просто однопоток.

Но здесь для чистоты эксперимента и в самом деле нужно отделить СУБД от 1С сервера и окажется, что разницы от разных СУБД в данном конкретном примере не будет.
Т.е. в однопоток запустили перепроведение документов или пусть даже не однопоток, а одно соединение с сервером, но управление перепроведением выполняется именно одним соединением.
   Фрэнки
 
76 - 18.02.20 - 22:41
(74) и видишь на первой строчке кто забрал 54% цпу - рпхост
Так что наличие СУБД тут не на первом месте увы и ах
   Фрэнки
 
79 - 18.02.20 - 22:44
(78) достал ты меня. проспись, ок?
   Zombi
 
80 - 18.02.20 - 22:56
(76) https://yadi.sk/i/DusmKuSTH65U3g

Так они меняются постоянно просто картинка так попала.
   Йохохо
 
81 - 18.02.20 - 23:04
(80) глядя на (48) я бы купил мсскуль и нормальный сервер, и думал не про пг, а про купить серебряную поддержку или золотую. на такой нагрузке нет места обучению и экспериментам
   Zombi
 
82 - 18.02.20 - 23:05
Еще для информации:
Запускали тест Гилева на этом сервере. На файловой 92 попугая. На СКЛ 43. На Постгри сейчас 30(это с настройкой, из коробки постгри 18 выдавал).
   Zombi
 
83 - 18.02.20 - 23:08
(81) На сервер из (0) с трудом руководство уломали. Щас вообще, на таком работаем, стыдно писать. А тут еще и скуль купи...
   Йохохо
 
84 - 18.02.20 - 23:13
(83) в технологическое окно укладываетесь - запускайтесь на пг, норм значит норм
   Фрэнки
 
85 - 18.02.20 - 23:20
(83) если есть время на тестирование и какие-то технические условия есть, то можно покомбинировать сочетание версий 1С платформы и СУБД. Вероятность есть, что
для указанных у тебя УТ 11.4.8.79 лучше взять и платформу не 8.3.14.1630, а другую какую-то, и Постгри взятый "из коробки" под другую версию 1С платформы тоже может оказаться лучше, чем взятый на текущих тестах.

Кстати, там выше в ветке не было упоминания на каком именно постгри тестили?
   Zombi
 
86 - 18.02.20 - 23:20
(84) Пока к этому варианту и склоняемся
   Zombi
 
87 - 18.02.20 - 23:21
(85) Постгри 11 последний с сайта 1с
   Фрэнки
 
88 - 18.02.20 - 23:22
(86) увидел, что постгри 11-ый - может все-таки понизить его версию, если платформа снижена до 8.3.14 ?
   Zombi
 
89 - 18.02.20 - 23:23
(88) Может. Возможно с переходом на новый сервер обновим платформу.
   Zombi
 
90 - 18.02.20 - 23:26
Щас тестим и на 15 платформе и на 14. Постгри тоже пробовали и 11 и 10. Результат примерно тот же.
   Йохохо
 
91 - 18.02.20 - 23:29
(86) в 10ГБ мсскл экспресс не влезаете?
   Zombi
 
92 - 18.02.20 - 23:35
(91) На днях не влезли. Поэтому и вопрос встал.
   Йохохо
 
93 - 18.02.20 - 23:41
а народу сколько? чего гипертрединг не включили на новом?
   Фрэнки
 
94 - 18.02.20 - 23:41
(92) если допилов не слишком много, то я бы еще задумался о замене релиза самой УТ на более свежий.
Глянул мельком на "проблемные ситуации и ошибки версии" - давно я в потроха УТ не заглядывал :-)
Шутки шутками, но там ошибок неисправленных действительно очень много. Может они не критичные, не знаю.

Но на производительность всего комплекта может и повлиять, что этот релиз вдруг не самый быстрый?
   Zombi
 
95 - 18.02.20 - 23:45
(93) Немного. 15 лицензий всего. Торговые представители заказы бьют. Операторы в офисе только проверяют, проводят. Ну бухи работают понемногу, закуп...
   Zombi
 
96 - 18.02.20 - 23:46
(94) Можно попробовать. Допилов не сильно много. Таких чтобы обновлению мешали вроде вообще нет.
   ansh15
 
97 - 19.02.20 - 00:18
(80) Оно у вас в swap лезет, пусть даже немного. При этом могут быть заметные тормоза.
   ansh15
 
98 - 19.02.20 - 00:59
(82) >> На Постгри сейчас 30
Это мало.
На Core i5-7600 c 64 ГБ памяти и обычном SATA SSD дает 64 балла, конфигурация теста в режиме управления блокировками "управляемый". Частота всех ядер процессора 3.9 ГГц(максимум турбобуста для всех ядер).
Совместимость тоже имеет значение, от версии платформы 8.3.14 до "не использовать" результат меньше, чем с 8.3.13.
Сервер 1С и PostgreSQL 11.5-12.1C на CentOS 7.
Так что, Core i7 9700k должен выдавать от 70-ти и выше(мне так кажется).
   Fragster
 
99 - 19.02.20 - 11:46
(97) кстати, в линуксе для минимизации влияния свопа есть классная вещь: zram https://habr.com/ru/post/172137/
у меня получалось в 3 раза увеличить использование опеативки до реального свопа.
   Fragster
 
100 - 19.02.20 - 11:46
в винде такой же штуки не нашел. стандартное сжатие оперативки в винде не работает от слова "совсем" (десяток мегабайт на гигабайт)
  1  2   

Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.