Исповедь системного администратора (многа букаф, мат)

Discussion in 'Off Topic' started by stalke, Aug 8, 2008.

  1. joyb56

    joyb56 Well-Known Member

    Joined:
    May 28, 2001
    Messages:
    6,553
    Location:
    FarSouthWestSiBEER, Kursk
    с какого хрена ты сравниваешь файловый вариант и скульный?
    для какого художества по-твоему ставится 1С сервер?

    ну прекрати уже воинствовать?
    Серверный вариант баз ГОРАЗДО УСТОЙЧИВЕЙ! блять
     
  2. fas---

    fas--- Дремучий патриархал

    Joined:
    Jun 4, 2006
    Messages:
    11,604
    Location:
    Российское Царство
    Так, уже понятнее.

    Я уточню - железка ТОЛЬКО под 1С, больше там ничего не будет. Предельный размер базы обещают не более 100 гиг. Сколько-то сожрет система. Расчетный срок эксплуатации дисковой подсистемы ссд - 3 года.

    Чем плох для данной задачи такой дисковый конфиг? Жень, я право-слово не понимаю.

    Я могу понять обсуждение по части колоть машину на виртуалки или нет. Выносить 1С-сервер на другую машину, а эту оставить только как сервер БД - тоже понимаю. Но дисковая подсистема... Это не помойка, не хранилище. Это машина-счетчик. Не более того.

    Я смотрю результаты тестов, когда 1С-сервер отдельно, БД отдельно, СХД отдельно. Результаты удручают.

    Я на самом деле переживаю, что слишком уж избыточно заложился на процы. В сумме 32 потока. Можно было обойтись 12-ти поточниками, но... они не сильно дешевле, а по частоте - тоже в пределах 2.5 ггц. (текущие - 2.4). Либо сунуть в эту мать один проц (если она так умеет), забив только один банк. Но... у меня сильные сомнения, что когда потребуется бОльшая мощность, я где-то найду второй такой же Е5, который сейчас стоит. По этому, платформа взята сразу и вся, оставлена только возможность расширения оперативки - половина слотов пустая стоит.


    Я кстати бы понял, если бы ты покрутил пальцем у виска и обкашлял рейд1, вместо рейд10 - но, я бы тут тебе сразу ответил - "я уперся в бабло".

    Короче. Дисковую подсистему мне потом сменить в любом случае проще, чем мать-камень-память.

    Корпус... х.з., просторный. 8 отсеков внешних мне хватает с запасом.

    Ну нет у меня необходимости делать из этой машины файлопомойку, для этого есть другие ресурсы. Рейд-контроллер унифицирован с уже имеющимися.

    Ну... ссд, да. Так не кингстоны же в300, а интела серверные.

    На кой ляд мне внешнее СХД для этой задачи, я не понимаю...
     
  3. fas---

    fas--- Дремучий патриархал

    Joined:
    Jun 4, 2006
    Messages:
    11,604
    Location:
    Российское Царство
    в случае с 1С - скульный вариант в идеальном случае в два раза тормознее файлового, но позволяет гораздо бОльшую нагрузку по юзерам. И не имеет ограничения на размер базы. Мы с файлового переползли в основном из-за размера файла БД.

    Файловый вариант - когда клиент толстый на рабочем месте юзера, а файлы БД - где-то в сети... не, я столько не выпью.

    Клиент и база - под терминалом. В моем случае это закрывает килотонну проблем. Я уже объяснял. Даже после перевода базы под скуль - юзера сидели И БУДУТ сидеть под терминалом. Никаких 1с-ок на рабочих местах. Это категорический императив. За это я буду драться хоть с бухами, хоть с кем. Ибо идут они нахуй стройными рядами - мне не улыбается в отсутствие домена бегать по 100 машинам, менять каждому дебилу платформу, когда ее надо будет поменять. По этому - строго сервер терминалов.



    "Сравнение" я не устраивал, я просто озвучил и специально отметил при каких условиях это делал - ерп отжирает в пять раз больше, чем бухгалтерия. Именно в файловом. Как оно в скульном варианте - Я НЕ ЗНАЮ.

    зы как на 20 лет назад попал, в какой-нибудь су.хардвер.цпу - там тоже... весело было.
     
  4. bimbom

    bimbom FH Beta Tester

    Joined:
    Jan 19, 2006
    Messages:
    7,431
    Location:
    Moscow, Russia
    Блин, что за задачи такие обсчитываются? Точнее, как?

    У меня расчёт из ~300-500 млн. исходных цен, имеющих до 5 атрибутов, которые как фильтруют цену так и меняют методику расчёта, выполняется минут 40. На выхлопе, 40 млн записей, записанные в ту же базу. Сама база больше ста гигов, а машина в разы слабее представленных.

    Зато алгоритм расчёта — мой, почти полностью заменяющий оригинальный, предложенный в недешёвом коммерческом продукте. Тот миллион цен со страшным скрипом считает, часов по пять, без гарантии результата.
     
  5. joyb56

    joyb56 Well-Known Member

    Joined:
    May 28, 2001
    Messages:
    6,553
    Location:
    FarSouthWestSiBEER, Kursk
    наших 1Сников когда начинаем тыкать носом в кривой запрос, вешающий раком скуль, они верещат что это реализация платформы и они нипричем...это у них корпоративное видимо
     
  6. Charge

    Charge Well-Known Member

    Joined:
    Sep 5, 2003
    Messages:
    24,147
    Location:
    Moscow
    Запросто, достаточно попользоваться настройками чувствительности. :znaika:
     
  7. tpak

    tpak Well-Known Member

    Joined:
    Mar 23, 2000
    Messages:
    15,504
    Location:
    Земля обетованная
    Как-то я это упустил... Ты систему и базы на один и тот же массив ставишь?
    Я бы сказал, что это несколько ошибочный подход.

    Сеня, я так и не понял. У тебя бапки есть или не нет? Да ничем, все отлично, блин.

    Смотря как "колоть" и какой гипервизор. Гипервизор на железо, виртуалки сверху? Хостовая ось на железо, далее осевой гипервизор и потом виртуалки? Как будет осуществляться доступ к дисковому пространству у виртуалок? Как они будут взаимодействовать по сети, виртуальный Switch, или контроллеры с аппаратной виртуализацией (SR-IOV)?
    Виртуалки дают гибкость, масштабируемость, удобство обслуживания. Плата за это - некоторая потеря производительности. Проценты.
    Если не Cisco UCS или не SR-IOV, то плюс к этому до 15% CPU может сжираться на обработку трафика в виртуальном свитче.
    Ну и прерываний намного больше в сервере с виртуалками, чем в обычном сервере.
    У меня при интенсивной нагрузке гипервизор показывает около 200000-240000 прерываний в секунду. На обычном БД сервере будут максимум десятки тысяч.

    Как я уже сказал, моя экспертиза в 1С около нуля. Я понятия не имею, какие ресурсы более потребны. Могу лишь сказать, что для баз (что OLTP, что OLAP) всегда бутылочным горлышком была дисковая подсистема. На втором месте память. На третьем CPU. Ну для ETL,можно CPU на второе место поставить, но дисковая подсистема все равно важнее и ETL к тебе отношения не имеет.

    В смысле - разные инстансы? Ну как бы да, тем более если гигабитная сеть, то она будет бутылочным горлышком.

    Два проца - это не только двойная производительно, но еще и fail-over, ващета.


    Ну и скажи - Трактор, иди на хуй, денег нет. Чего мусолить-то?

    Ок

    Слушай, у тебя отличная ситуация для Proof of Concept. Проверишь как оно будет и через год отпишешься. Кстати, ничего страшного, лично я, не ожидаю. Как я уже сказал ранее, диски запилить не успеешь. Скорость записи, даже если упадет в 5 раз, будет достаточной.
    Делай бэкапы, раз в неделю полный, каждый день или несколько раз в день инкрементальный. Делай бэкап лога базы. И тогда все будет ок.
     
  8. fas---

    fas--- Дремучий патриархал

    Joined:
    Jun 4, 2006
    Messages:
    11,604
    Location:
    Российское Царство
    На предприятии раза в два помельче нашего, аппарат на 4 ядра 2 ггц, винты механика, 64 гига памяти - 20 часов расчет себестоимости за месяц. Купили коре и7 - считает 8 часов. А у них просто УПП.
     
  9. fas---

    fas--- Дремучий патриархал

    Joined:
    Jun 4, 2006
    Messages:
    11,604
    Location:
    Российское Царство
    Пока - да, на тестировании все в кучу. Буду ставить по боевому - мыслил еще в массив пару ссд сунуть, под логи базы. Да в принципе можно имеющийся 2х480 поколоть, но рекомендации гласят "логи - на отдельный физический носитель". В принципе, они и так есть - 2х2 тб,
    кстати выложить файлы БД на механику я еще не пробовал...


    Этот сервер встал нам в 6 с копейками килобаксов. На железо мне в принципе пол-ляма рублей дали, но я сумму оговаривал... достаточно давно, а как до закупки дошло и бабки выделили - курс был уже "чуточку" не тот. Отсюда и такие достаточно спорные решения. Я вообще хотел рейд10 и на ссд и на механике, но... увы.


    Вот ты спросил... вариантов у меня два - Hyper-V, либо тот же самый линух-убунту, а внутри уже виртуалбокс. Я с ним хотя бы работал...

    Вариант с убунтой-хостом (и 1С-сервером), при запихивании сервера БД в виртуальную машину мной рассматривается сейчас (т.е. я его пробовать буду завтра), но оно меня смущает некоторой... уебищностью.
    Не знаю почему, но мне такой вариант не нравится. Я уж лучше оставлю
    это все в пределах одной ОС, а избыток ресурсов потрачу на виртуализацию каких-нибудь полезных мелочей.

    Короче - пока не знаю. Собсно, потому и спрашиваю тут всякое разное, странное :)

    Сетевых интерфейсов на материнке два, но напихать еще - не проблема. Т.е., если делать гипервизор и из под него пара виртуалок - каждой можно выделить по аппаратному интерфейсу. На кой это в моем случае надо (и надо ли?), я пока не решил.

    Вариант с гипервизором (гипер-в) и двумя осями, в которых кластерно запустить 1С-сервера, как-то интереснее. Запихивать сервер БД в одну из систем, или поднимать третью... х.з., не знаю.

    Доступ к диску - имхо, вариантов не так много. рав-диск не сделаешь, не тот случай. Хотя... можно ведь поднять гипервизор на массиве из механики, и систему засунуть на механику, а ссдшки оставить под файлы БД....

    А остальное на мой взгляд (возможно ошибочный) имеет небольшую разницу. Открыт для меня и вопрос - делать диски сразу на фиксированный размер, или можно делать динамические. Что-то подсказывает, что делать надо сразу фиксированные. Но, тут я могу ошибаться, ибо серваки я не виртуалил - только десктопные ОС, для тестовых задач, а это "чуточку" совсем другой случай.

    Я не могу сказать, сколько там в IOPS скорость обмена, я ориентируюсь на тест Гилева (это тестовая конфигурация для 1С), в общем по ней я в сильном отрыве от остальных именно по дисковым операциям. Писал вроде, что занимаю почетное второе место в таблице рекордов :) 1.2 гига в секунду, но я без понятия что этот "тест" в данном случае подразумевает. Я могу только сравнивать с аналогичными параметрами других серверов прошедших тест. А они ОЧЕНЬ сильно отстают... На первом месте там какая-то хитросделанная сборка, у меня ощущение что это запускали тест с RAM-disk... Он раз в двадцать быстрее моих показателей, а следующий за мной - 750 мб.с


    А 10 гигабитная ежели? Обычная гигабитка у меня файлы гоняет туда-сюда, ну... 70 мб.с., но это опять же линейное чтение. Заливка бэкапа с сервака на NAS.

    Мысль о увязывании 1С-сервера и сервера БД по 10-гигабитке у меня была...


    Это утверждение справедливо для реализации задачи на виртуалках, или в целом? Я не работал в многопроцессорных конфигурациях ВООБЩЕ, если не считать за таковые антикварную первопневую мать и трофейный сервак на паре нетбурстовых зионах - тоже музейный экспонат.

    А все предыдущие сервера что я делал (все ныне работающие на предприятии сервера - сконфигурированы и собраны лично мной, а это... 4 штуки ) - по большому счету от мощных рабочих станций отличаются незначительно. Е3 - суть тот же кор-и-7.



    Не скажу :)

    Так чего год ждать? У меня такая связка год (но, на более слабом железе -зион Е3 на 32 гигах оперативы, 2х240 ссд и при меньше нагрузке) крутится и все довольны. С этим сервером проблем ноль - меняй только 1с-движки на нем да на терминальном серваке. Абсолютно безгеморная штука, потому я его и взял за основу и смасштабировал согласно озвученным требованиям от программеров.
     
  10. -ada--

    -ada-- FH Beta Tester

    Joined:
    Jan 23, 2002
    Messages:
    1,993
    Location:
    Tyumen, Russia
    Про уебищность ты сам верно ниже написал. Дело не в виртуалбоксе, как таковом, а в применимости гипервизора второго типа к серверным нагрузкам. Они для того, чтобы тестовые виртуалки прям у себя на ноуте запускать.


    Я бы не заморачивался с SR-IOV и тому подобным, а отдал бы все сетевые интерфейсы виртуальному свичу в качестве аплинков.
    SR-IOV и т.д. нужны, когда ты точно знаешь, что твоя нагрузка капец критична к задержкам и полосе пропускания и те 2-3% CPU, что пойдут на оверхед виртуальных коммутаторов, а также трафик других ВМ убьют тебе все счастье.


    Что ты имеешь в виду под динамическими и фиксированными? Thin и thick provisioning? Если да, то вопрос тут скорее не в области производительности, т.к. разница будет минимальная, особенно в случае SSD, а в области мониторинга и поддержки. Т.е., чтоб не стало сюрпризом, что место на томе кончилось, а виртуалки об этом не знают и ложатся в suspend/корку.

    Я как-то уже в этой Санта-Барбаре забыл, ты размышляешь о том, разместить ли тебе App Server и DB Server в виртуалках на одном хосте? Если да, то серверам будет пофиг, 1Gb у тебя адаптеры или 10 Gb, они спокойно будут внутри хоста общаться, а NIC трогать не будут.
     
  11. fas---

    fas--- Дремучий патриархал

    Joined:
    Jun 4, 2006
    Messages:
    11,604
    Location:
    Российское Царство
    Не-не, это на случай если я выношу 1С-сервер на другую железку (в моем случае - пока еще занятый зион Е3). Я этот вариант вовсе не отметаю, если он в чем-то лучше ситуации, когда 1С сервер и сервер БД живут в пределах одной физической машины (без разницы - в одной системе или в двух виртуалках).

    То, что двум виртуальным машинам по барабану скорость виртуальных сетевых адаптеров - я как-то догадался :)

    Если совсем откровенно - мне сейчас ничто не мешает поднять 1С-сервер для бухгалтерии на одном из _виндовых_ серваков, только вот ключ придется совать - 1С сервер под линух умеет без ключа работать (до 12 юзеров), а вот у виндового такой халявы нет...

    Но, на период внедрения ЕРП - 12 юзеров там выше крыши. Когда она пойдет в бой, бухгалтерия так и так будет первым подразделением, кто туда уйдет.

    зы основная задача первого этапа внедрения - сделать расчет себестоимости по одной серии микросхем (140-я серия), как самая "тяжелая" в плане технологических маршрутов, задействованных работников, оборудования и т.д. Если мы сделаем это - все остальное сделаем тем более.

    зыы кстати, у 1С-сервера есть чудесная фича - это веб-морда. Вот в таком случае, на систему еще апач вешается и что там к вебу относится, без понятия. Тогда на клиентских машинах вообще нихрена не надо и терминалов не нужно, вообще ничего. Правда как оно по скорости работы, я лично не знаю - надо попинать внедренцев со стороны.
     
  12. tpak

    tpak Well-Known Member

    Joined:
    Mar 23, 2000
    Messages:
    15,504
    Location:
    Земля обетованная
    Позволю себе не согласиться.
    Я делал нагрузочное тестирование на vSwitch, VMWare 6.0, конфиг был чуть раннее. На Jumbo фреймах (9000) получил 28 гигабит. Утилизация со стороны гипервизора на CPU была между 15-20 процентов. Ни как не 2-3%.
    Но тут же и соглашусь, этот вариант дешевле, чем брать 10G 2 x NIC и switch. И вряд ли у него будут такие же нагрузки, что бы до предела утилизировать vSwitch.

    С другой стороны, на кой пенис ему виртуалки, если он может 1С поставить на linux (я не знал, что у них есть версия по linux). Тогда смысла мутить с виртуалками не особо много. Было бы два сервака, СХД, лицензия на VMWare, тогда можно было бы и DRS использовать и вообще.
     
  13. -ada--

    -ada-- FH Beta Tester

    Joined:
    Jan 23, 2002
    Messages:
    1,993
    Location:
    Tyumen, Russia
    Согласен.
    Я неверно выразился - имел в виду обычные, каждодневные нагрузки, а не стресс-тесты.
    С другой стороны, "обычные" нагрузки у всех разные, так что только тестировать и верить только тестам :)
     
  14. fas---

    fas--- Дремучий патриархал

    Joined:
    Jun 4, 2006
    Messages:
    11,604
    Location:
    Российское Царство
    Так я говорил, для чего... Эта два зиона будут бамбук курить - нагрузочный тест показывает, что машина прожует больше четырех сотен юзеров, а у меня их по расчету сотня, ну может через пару лет будет 150, да и то не уверен.

    Про распихивание 1С-сервера и сервера БД по разным виртуалкам не я придумал :) Все хором советуют, только не могут объяснить зачем, если у меня и 1С сервер и сервер БД в одной ОС крутятся.

    Я ж потому и переживаю - сервер по количеству вычислительных потоков (32 штуки) - явный оверкилл. И я бы предпочел процы с меньшим количеством ядер, но более высокой частотой.

    Увы, подходящая модель за условно-вменяемые деньги - E5-2623v3
    (3 ггц, 4 ядра+4 потока НТ), в наших палестинах почему-то редкА, плюс пиковая производительность у нее пониже, чем у 2630 (если на все потоки грузить). Хотя, она стоит на пару сотен дешевле, да.

    То, что хотелось - 2637v3 (4 ядра + 4 потока НТ) - стоит штуку баксов, что в дуальной конфигурации дает выход за бюджет долларов на восемьсот. А так, я бы получил то, что хотел - 1С-сервер критичен к скоростям на одном потоке, как мне объясняли. Т.е., там много задач которые не параллелятся.

    В результате выбор был остановлен на E5-2630v3, как оптимальном по соотношению "цена/производительность", хотя и с осознанием факта что его "производительность" в моем случае штука условная.

    А собирать сервак на однопроцессорном конфиге я не хотел принципиально, у меня их и так... в количестве.

    Так-то E5-1630 v3 - просто шикарный вариант "дешево и сердито",
    3.7/3.8 ггц, с ценником 370 баксов. Правда тдп у него аж 140 ватт
    и он не работает в многопроцессорных конфигурациях.

    Бродила у меня бредовая мысль - заказать _три_ проца. Спарку 2630
    и один вот такой... Но я от этого в результате отказался.

    Возможно, стоило взять ту платформу что взял, но проц для начала взять 1630, а по результатам тестирования - уже решать, брать спарку 2630 или нет.

    Собственно, это главный вопрос который меня терзает...

    Упд - вот кстати тоже вопрос. Заработал бы 1630 в двухпроцовой матери? Сайт супермикры ответа не дает, в сводной информашке по материнке значится только серия 2600...
     
    Last edited: Mar 24, 2016
  15. -Shai-

    -Shai- Well-Known Member

    Joined:
    Mar 13, 2000
    Messages:
    41,553
    Location:
    РФ
  16. mcgru-

    mcgru- Well-Known Member

    Joined:
    Sep 21, 2000
    Messages:
    61,276
    Location:
    Tomsk, Russia
  17. fas---

    fas--- Дремучий патриархал

    Joined:
    Jun 4, 2006
    Messages:
    11,604
    Location:
    Российское Царство
    ...а я тем временем выжал из звездолета 37 гилевских попугаев... (было 33)
     
  18. -rust-

    -rust- Well-Known Member

    Joined:
    Jan 23, 2000
    Messages:
    5,291
    Грохот разрывающихся пуканов неадекватных фанатиков-линуксоидов уже везде слышен :) ?

    Я даже боюсь на ЛОР заглядывать - представляю, что там сейчас может твориться.
     
  19. Stefan

    Stefan FH Beta Tester

    Joined:
    Feb 14, 2001
    Messages:
    22,266
    Location:
    Пивбар
    По практике. В не зависимости от процов и памяти, 2008R2 в терминальном режиме комфортно, для себя работает в не больше чем 80 пользователей.

    Тебе уже говорили что разница в разнесении ресурсов.
    Меньше хавается их в такой конфигурации. Больше остаётся на стресс. К этому конфигу дополнительно можно прикрутить что либо ещё.
     
  20. Flk

    Flk Well-Known Member

    Joined:
    Aug 21, 2002
    Messages:
    17,076
    Location:
    Izhevsk
    Пока что это выглядит как встроенный msys. И вообще странно выглядит (wine наоборот). linuxredist_2016.exe ещё не выложили? :)