Исповедь системного администратора (многа букаф, мат)

А я в этом году (в начале лета) "прошёл всю игру" - https://roadmap.sh/devops
правда, на тот момент оно немного по-другому выглядело, ну и я из одной пачки в 4-5 штук аналогов изучал всего 1-2 (хватало).
Но вот до сих пор стесняюсь "размахнись рука, раззудись плечо"

К примеру, если я б устроился в какую-нить контору, где нужно налаживать инфраструктуру, и мне выдали б чистый ноутбук, с парой паролей к корпоративным почте и к гитлабу/гитхабу - вот с чего начинать-то? за что браться?
до сих пор плохо представляю.
там где-то и ansible должен быть, и git само собой, и как-то надо ansible-vault настроить, и хранилку паролей, и бакапилку инфы на ноутбуке (а на самом ноуте всё шифрованное должно быть),
а для лазанья с рабочего ноутбука по всякому шайзу (иногда приходится) - нужно ещё и виртуалку ставить со своими снапшотами ...
и всё это как-то называется... рабочее окружение...
и это ещё до того как возмусь за всякие там почты, сентрики, логгирование, мониторинг (сборинг метрик, алёртинг и трендинг), виртуалинг, докеро-сварминг или кубернетинг... ох мля, сколько же всего перелопатил, но всё сразу в голову-то не вмещается!

а архитекторы и всякие вумники всё накидывают и накидывают новые технологии... которые, по-идее, должны быть всего лишь немного улучшенными версиями имеющегося, но нет...
из последнего - n8n и zapier .... ну ёптимама.... это как во сне снится, что проснулся...
изза однообразности конфижков уже голова кружиццо.

А всего печальнее, что сам-то понимаю, что всё это - "преддверие шаблонизации", т.е. все твои потуги - это всего лишь шаг до того, как всё это шаблонизируется и/или кем-то (хех, кем же ещё - ИИ, чтоб ты, Саша, объикался) сделается лучше и твою работу скомкают и выкинут в унитаз, а ты - "дальше учись" ... (за зарплату джуна или миддла)

p.s.
вот тут тоже чуть по-другому нарисовано
https://github.com/milanm/DevOps-Roadmap
из всего этого добра только освоением п11 не могу похвастаться. aws когда-то изучал, но забыл, а до полноценного пользования яндекс-клаудом как-то всё руки не доходят поизучать.
да и чего там изучать... iam и политики, через cli json-/yaml- конфижки впихивать да учётками/сертификатами рулить

 

О! Ваня спасибо, буду вкуривать, а то и в самом деле одна из главных проблем это за что браться сначала ) Сразу вопрос - там в языках Питон, Го и ДжаваСкрипт. А просто JAVA типа не катит? По идее кроссплатформенность есть, библиотек полно.. why not?

 

катит, конечно. ява - это оверкилл. питухон и гошечка - это ж из разряда простенького.
но то роадмап - для девопсера, а не для техдира
ты там другие посмотри роадмапы...

 

Дело в том, что "просто Java" это очень не просто Это огромная экосистема с тоннами спецификаций. Небольшие или одноразовые утилиты разумнее писать на скриптовых языках.

 

С JAVA я просто хоть как-то знаком )

Сейчас вот ситуация на работе. Обстоятельства сложились так что пришлось виндовый сервак 1С с базами перетаскивать из одной серверной в другую. Серверные в разных вланах и чтобы айпишник у сервака не поменялся мы там нашли пару свободных проводов которые шли из серверной#2 в серверную#1. Сетевеки мне сказали что пихать старый адресс в другой влан будет мягко говоря странно, а админ и программисты 1С мне ничего не смогли сказать о том как у нас другие сервисы взаимодействуют с 1С. Ну типа телефония, почта, web делают они это по ip адресу или доменному имени непонятно. Короче решили воткнуться в тот-же порт где он и был, с тем же айпишником, но уже по ~60 метровому кабелю.

На следующее утро все взвыли что 1С тупит. Начал смотреть и понял что бэкапы не успевают ходить за ночь. То, что там настроено было в принципе через жопу, это другой вопрос. Смысл в том что новый линк поднялся на 100 мегабитах. Попробовал второй провод, та-же херня.

В серваке 4 сетевухи, без пулла, просто 4 штуки стоят. Воткнул еще одну уже в той серверной где и сервак, всё норм цепанулось в гигабитный канал. С бэкапами проблема ушла. Но теперь ночами стало выкидывать людей из 1С ) Долго выясняли почему, смотрели журналы вместе с админом и программистами... нихера не нашли. В итоге я ничего лучше придумать не смог как поставить анализатор пакетов на тачку которую выкидывает из сессии, и уже там посмотреть когда по времени клиент с сервером перестают общаться. Вычислил временной слот 15 минут когда это происходит. Нашёл в журнале предупреждение винды что у неё на интерфейсе куда подключён длинный провод в другую серверную падает временами аплинк.

Ок, говорю... давайте отрубим этот 100 мегабитный интерфейс, но с правильным айпишником. И пропишем в DNS другой айпишник который висит на гигабитном интерфейсе, потом проверим все ли компоненты 1С ведут себя адекватно или нет. Спрашиваю админа сможет ли он на 30-60 минут вечером задержаться чтобы всё это сделать. Он говорит "-Нежелательно, у меня планы... Давай днём бахнем когда народ на обед пойдёт там делов на пару минут. Никто даже ничего не заметит..."

Настаёт час Х.... Я в принципе понимаю чего нужно сделать, но я бы делал это вечером просто потому что делал бы это в первый раз. Короче админ у руля.... Говорит "-Ща вообще безшовно бахнем..." Запускаем 1С для проверки.
Заходит на сервак, долго смотрит на те 2 интерфейса которые активны. 10 раз уточняет какой надо отключить, делает ПКМ - отключить... Естественно у него сразу 1С подвисает, он его закрывает через диспетчера задач... И тут же запускает его обратно коннектиться по имени хоста... Уй блядь

"- Чел у тебя в DNS адрес который ты только что отключил, ты ничего поменять не хочешь?"

Админ лезет на сервак где DNS крутится, тыркает в "зона обратного просмотра" и видно что сука зависает потому что неврубается что там адреса подсетей в обратном порядке записаны. Помогаю ему найти нужную запись в зоне прямого просмотра. Говорю "Ну меняй айпишник то".... Он тупит "-А чёто всё не так было" видимо вспоминая какой то флэшбэк со старой работы... Меняет адресс, но собственно нихуя не меняется. По доменному имени всё еще направляет пинги по старому айпишнику.

Я подумал про кэш, но как оно работает на серверной стороне я хз. Поэтому пошёл к себе в кабинет чтобы от себя попинговать и заодно очистить кэш DNS, вдруг поможет. Но там какая-то странная картина hostname.local идёт на старый айпишник, а hostname,domain.local идёт уже на новый. Возвращаюсь к админу в тот момент когда он сидит на серваке DHCP и добавляет туда новый пулл адресов..... Уй блядь

"-Ты какого хуя делаешь на DHCP?".... "-Ну тут вообще нет нужных нам адресов" - говорит мне админ... Уй блядь

Ладно говорю, возвращай всё в зад. Уже 20 минут прошло из тех 15 которые я объявил сотрудникам как сервисные работы. Думаю вечером сам всё сделаю.

Но это еще блядь не всё. Чтобы сделать всё вечером и потом потестить иду проконсультироваться у главного по 1С с вопросом "-Покажи мне пожалуйста как проверить весь функционал 1С после смены адреса." И сука как я заебался тут с этого взгляда на 1000 ярдов в глазах людей которым я задаю вопросы по той теме в которой они вроде как специалисты. Оно вообще не понимает чего я от него хочу. Пытаюсь объяснять "меняем адресс, связанность сервисов, надо проверить"... На что получаю ответ "-Если у сервера есть соединение tcp/ip то всё должно работать независимо не от чего. 1С искра бога и все серваки по умолчанию знают как с ней связаться"... Уй блядь Ору просто с этой хуйни

 

Людей из 1С может выкидывать во время бэкапа, если бэкап идет в DT - это требует монопольного доступа и для разгона юзеров ставят автомат. Я х.з. как работают бэкапы в мскуле (не юзал никогда, исключая экспресс в какой-то левоватой
полусамопальной софтине совсем на другую тему). Может и на ходу, но в 1С есть один бэкап валидный - это выливание DT. Бэкапить просто БД - такое себе занятие.

Далее (точнее ранее). Если сервисы 1С работают с именем ресурса, то по большому счету похер на влан (лишь бы рутинг был по подсетям), а днс отресолвит обращение. Другой вопрос, что если делалось через жопу, то есть на жестких
адресных IP ссылках - то заманаешься ты вылавливать кто, где и куда эти ссылки запихивал.

Вообще, 1С в технической части - это тот еще армагеддец. Надо хорошо понимать в т.ч., что ты и зачем крутишь в настройках БД. Нет, если там мскуль - то я х.з., я по жизни на постгри, а там свои погремушки.

Агрегация линков на вин-серваке, это забавная херобула, которая в 2019 в свое время работала через жопу (хотя в 2016 работала адекватно).

10 гбит рулят в ядре и возле него, в подсети где живут сервера, в т.ч. бэкаповские.

Телодвижения по миграциям и т.д., в рабочее время - это нонсенс. Такие вещи делаются в ночь с пятницы на понедельник. И похеру какие там у админа планы. Хуже, когда 24/7 и сервисной дырки просто нет.

 

Кстати расскажи за особенности, что знаешь.

Мы на нее переползаем. В небольших проектах проблем нет. Но интересно что может вылезти на большом и под нагрузкой.

 

А нахера тогда вообще рабочее время? Не, если в контракте прям жестко прописан ненормированный рабочий день с соответствующей з\п за переработку, то желающие могут покрасноглазить и в свое личное время, но лучше не стоит.

 

Когда-то давно была приколюха, что в постгри другая сортировка, предположительно по внутренним ИД таблиц, и 1С запросы с сортировкой по умолчанию выдавали неожиданное. Мы тогда продавили начальничью жабу и остались на МС. 15 лет назад. Чо ща не знаю. Упрынципе, как 1С прогеру мне похер, чо оно там унутре. Работает и работает. 1С запросы транслируются в сцульные через жопу и это надо просто знать и с этим жить. В 1С 7.7 умельцы работяют прямыми запросами к скуль, но это уже не 1С а хрен пойми чо. Но быстро.

 

Вопрос "проверить весь функционал 1С" любого поставит в ступор. Это как? Там дохуя всего и ты это не проверишь по определению.
Однако, если оставаться в контексте задачи переноса, то тупо запустить базу и усё.
Если у базы задействованы механизмы общения с внешним миром, типа отправки почты и коннекта к внешним сервисам, типа зайти по IP и пообщаться с каким нить API с сайтом, то это вопрос конкретики, и с ходу такое не всегда можно вспомнить.
Опять таки, есть Сервер 1С и есть сервер Скуль и они не обязаны совпадать. А значит сервер 1С должен видеть Скуль по указанным адресам. Ну и с правами юзверя USR1C который по ним ходит должно быть всё хорошо.
Тестится, как указано выше - фактом успешного запуска базы.
Как-то так. Про COM коннектор говорить смысла не вижу, раз вы железяку целиком тащите.

 

ИМХО. С одной стороны есть ТК и Санпин. С другой есть специфика. Истина, как обычно, посередине и чел предупреждается заранее и события не происходят чаще чем, например, раза 3 в год. Или ну его нахер. В 20лет без семьи и детей похуй, но в зрелом возрасте с обременениями, есть кое что поважнее. ИМХО.
А нащёт отсутствия сервисной дырки, так это заранее продумывать надо. На этапе проектирования и масштабирования системы. Так-то сервисная дырка есть всегда. Просто если её нет добровольной, она происходит принудительно.

 

Работа сисадминов заключается в обеспечении бесперебойной работы бизнеса. Поэтому иногда выйти в ночь или в выходной - это норма. Тем более оплачиваемая.
Год назад мы переходили на новую информационную систему, пришлось два выходных поработать над переносом огромного количества данных. Под это дело банк даже работу приостанавливал. Ничего, не растаял Ну и работу оплатили в двойном размере естественно.

 

Совсем жируют... Еще и оплачиваемая.
Перевозили тут одного газетного магната, самый богатенький печатный буратино города. Был.
Херачили до 2 часов ночи, и хоть бы хер, ни копейки

 

если речь о бакапе, то всё хорошо.
про логическое реплицирование путём распараллеливания sql-запросов я не знаю почти ничего (не умею готовить), а вот с физической репликацией - немного повозился, освоил.
потоковая репликация, бакап через walg (и в s3, и по ssh на бакап-сервер).

у нас свои скриптики, но есть и ентерпрайзнутые, и даже бесплатные, кажется:
https://www.percona.com/postgresql/software/postgresql-distribution
Percona, pgBackRest, Patroni

 

ну дык это плановое мероприятие, а не "я седня решил устроить всем праздник, поэтому ночуем на работе". Организовать бесперебойгую работу можно, например, резервированием. Это просто стоит денег. Для ясности, ТО в нерабочее время это специфика, да. Но она должна быть исключением, а не нормой. У сисадмина такое же право съездить на 2 недели в тай, как и у бухгалтера. И одна из моих задач, как начальника организовать работу так, чтобы у него эта возможность была. Я так вижу.

 

обычно такая работа обговариваецца на берегу и оплачиваеццо соответственно.
вы реально не цените собственный труд?!

 

мы реально понимаем, что если скажем "нет", то пошли мы нахуй.
если ты этого НЕ понимаешь, то у меня для тебя еще раз плохие новости.

 

Ну, когда бизнес должен работать 24/7, админ должен быть наготове. И их должно быть больше одного. Во вне рабочее время один дежурный, остальные в Тае, баре, караоке.
На примере банка: вне времени работы офисов всё прекрасно работает на автопилоте, без вмешательства сотрудников. В течение ночи отрабатывают сотни процессов. Если даже какие-то не отработают - утром кто надо получит отчёт. Так чтобы подрываться по ночам - явление крайне редкое.

 

Требуется настройка самого постгри, ибо "из коробки" можно огрести бешеную производительность в 7-8 попугаев по Гилеву. Методичка есть, сам составлял согласно практических результатов.
Из геморного вспомню только одиночный случай, когда какая-то таблица становилась раком и пришлось пилить какую-то "тонкую" настройку, но уже по чужой методичке.

С постгри нет такого как с мс - "поставил, работает". Там во первых надо понимать минимально нутрянку линуха и курить маны. И да, бывает что конфа заточенная на мс, на постгри ведет себя "не так", как задумывалось,
по этому прогеры этот момент при разработке должны учитывать - клиент на постгри, и ты на постгри.

А так - специфичная настройка заключается в настройке выделения памяти (что в постгри, что в самой системе, речь само-собой идет о линухах, под виндами постгри - как-то не встречал ни разу). Настройка дисковой
подсистемы в постгри опять же. Ну и так, в целом по мелочи.

Гемор постоянный с прикручиванием дров аппаратных ключей самого сервера 1С. Ну и 1С постгри - это отдельная погремушка. "Обычный" говорят можно подрихтовать, но заморочно. Я не занимался - брал сборки 1С
и ПостгриПро.