Один месяц 2012-го ( Сказ о том, как я провёл месяц осенью 2012-го. )

Я уж писал здесь и здесь о том, что время от времени пытаюсь разнообразить бытие, подрабатывая в сторонних организациях, предпочтительно в иных от Павлодара городах. Семь лет службы делу на одном месте утомляет мою натуру до уровня проявляющегося чаще и чаще желания бросить всё и ударится в приключения любого рода. Не так всё экстремально, конечно, но раз в полгода я устраиваю рассылку резюме компаниям, объемы работ и фронты деятельности которых потенциально существенно больше или интереснее имеющихся у меня. Так случилось и этой осенью. Просто так, поддавшись импульсу, зашёл на сайт headhunter.ru и разослал болтающееся там не первый год резюме первому десятку работодателей, показанных первыми в результатах поиска по ряду интересовавших меня критериев. Уже на следующий день, после трёх телефонных собеседований, я ехал в Астану, на личную встречу с одним из возможных будущих непосредственных руководителей. Входные профессиональные требования к кандидату впечатляли, условно на треть превышая мои знания и умения, как-раз настолько, чтобы предвкушать форсированное повышение квалификации. Уровень заработной платы меня не интересовал практически совсем, главное, чтобы на начальном этапе она обеспечивала приемлемый бытовой уровень (жильё, питание, представительство и связь); в любом случае, я не собирался никому отдаваться в полном объёме, до степени финансовой зависимости.

Итак, прошёл почти ровно месяц с того дня, как я написал заявление о трудоустройстве в коммунальное государственное предприятие, обеспечивающее работу вычислительной и сетевой инфраструктуры одного из министерств Республики Казахстан в Астане, на роль главного специалиста отдела коммуникаций и связи департамента системно-технического обеспечения. Забавно не сочетались мои представления об обязанностях профессионала, ответственного за разветвлённую сегментированную географически разнесённую сетевую инфраструктуру, включающую под сотню единиц разномастного управляемого оборудования самого разного уровня, от дешёвки до "прединтерпрайза" (D-Link, Dell, Cisco, Juniper), с обрисованными трудовыми горизонтами, где на переднем фронте виднелись всё больше плинтуса, по которым предстояло тянуть кабели от разбросанных по углам коммутаторов - ну да ладно, испытательный срок так называется именно потому, что во время оного испытываются чувства взаимные.

Время испытаний прошло насыщено; погрузимся в воспоминания.


Что бывает, когда новый человек приходит на смену другому специалисту, который не пропал без вести, а просто сменил должность, уйдя на повышение? Передача дел, верно? Новому сотруднику передаются рабочие материалы, сопроводительная документация, исполнительные схемы, реквизиты доступа, контакты разного рода. Передача дел в нашем случае заключалась в том, что мне по телефону продиктовали три пароля, которые подходят ко всему активному оборудованию и вспомогательным серверам. Ах, да, ещё дали две картинки, отображающие так называемую "схему сети", данные которых на треть устарели, но давали представление об абсурдности структуры связей. Никакого вменяемого перечня оборудования, сопоставляющего нарисованные на картинках иконки с реальной ситуацией не было. Первые пару дней я потратил на сканирование сегментов сети, представление о принципах работы которых требовалось получить в первую очередь, идентификацию обнаруженного оборудования и попытки получения доступа к таковому.

Потихоньку становилось понятно, что состояние сегмента сети офиса (общее количество пользователей составляет около ста человек), в которой я работаю, оставляет желать лучшего. Временами связь пропадала. Просто пропадала и всё. Сопровожденцы офиса сказали, что это обычное явление - просто нужно перезагрузить "циску". Ну что-же, я "сетевик" - займёмся этим сегментом в первую очередь. Вникаю в ситуацию и вижу, что сеть построена, если можно так выразится, на шести коммутаторах: "Cisco Catalyst 2960", трёх "D-Link DES-1252", умирающем "Nortel Networks BayStack 60-24T" и "Dell PowerConnect 3448", пристроившемся в кабинете бухгалтеров, дополняя недостающие порты. В качестве маршрутизатора сегмента, связующего его с ядром сети в "доме министерств", используется обычный старенький персональный компьютер с установленной на нём "FreeBSD 7". Роль защитного экрана исполняет аналогичная по усталости и наполнению машина. Всё это хозяйство соединено вводящими в дрожь своим видом лохмами проводов, с периодически отваливающимся то там, то тут коннекторами. Ах да, на сладкое - все коммутаторы никак не настроены, работая как примитивные "хабы", не доступные для централизованного управления, лишая администратора возможности локализовать проблему иными способами, кроме как физическим переключением проводов и перезапуском устройств поочерёдно.

Сети в её нынешнем положении не поможешь. Нужно просто заменить всё, попутно настраивая должным образом.

Необходимо было изыскать парочку нормальных управляемых коммутаторов и маршрутизатор, "Cisco" или "Juniper", чтобы избавить сеть от капризов, позволяя её само-восстанавливаться после сбоя подачи электроэнергии и не зависеть от работоспособности стареньких компьютеров, на которых сейчас построена её логика. День-другой прошёл в поисках необходимого оборудования. Выяснилось, что если сильно хочется, то можно купить что-то даже минуя обычные процедуры "государственных закупок". В итоге, не прошло и недели, как я получил на руки бывшие в употреблении коммутатор "Cisco Catalyst 3750", маршрутизатор "Cisco 2811" и защитный экран "Cisco PIX 525". Правда, после полудня возни с "фаерволом" оказалось, что он неисправен, но поставщик сразу-же обменял его на аналогичный.

Имея на руках соответствующее задачам оборудование, я приступил к переводу сети на новый уровень. Обновил и настроил программное обеспечение, установил аппаратуру в коммуникационные шкафы, и тёмной ночью, с помощью коллег по офису, перевёл пользователей одного из двух этажей в новую инфраструктуру. Не считая обнаружившихся в процессе проблем с "фаерволом", всё прошло гладко.

Приближались выходные, во время которых я решил реорганизовать инфраструктуру второго этажа, настроив установленные там коммутаторы "D-Link DES-1252", соединив их агрегированным линком, подключив таким-же линком к стеку коммутаторов первого этажа, обеспечив их доступность для управления и оптимизировав подключения пользователей, разведя их по VLAN-ам. Процедура тривиальная, и я в безоблачном настроении принялся за работу. Создаю VLAN и теряю управление коммутатором. Пытаюсь получить доступ, так и эдак. Не нахожу иного способа, кроме как перезапустить устройство. Пробую раз, ещё раз - ничего не выходит. Скачиваю с сайта производителя свежайшую "прошивку", пытаюсь обновить ею коммутатор - снова полный неуспех. Думаю, что пришло в негодность что-то имеющее отношение к ПЗУ, в результате чего стало невозможным сохранять конфигурацию и устройство по сути стало обычным неуправляемым "свичом". Нда, с напрыгу эту сетку не возьмёшь. Второй выходной день трачу на установку сервера VPN, обеспечивающего доступ к сети удалённым разработчикам и администраторам.

В понедельник роюсь по шкафам и обнаруживаю валяющийся под кучей проводов и бумажного хлама коммутатор "Cisco Catalyst 2960". Полностью исправный, он пылился там в то время, как сеть прогиналась на полумёртвых "D-Link DES-1252". Я вспоминаю предыдущего администратора. Кстати, он так и не передал мне ничего, кроме пресловутых трёх паролей. Как я ни просил у него контакты сотрудников провайдеров, с которыми связана вверенная мне инфраструктура (штук пять разных провайдеров) - ничего не дождался. Жизнь становится веселее, с обнаруженным коммутатором можно уже как-то оптимизировать схему. Вспоминаю, что в "доме министерств" у рабочего места прежнего администратора я видел коммутатор "Dell PowerConnect 3448", никак не задействованный. Подаю мысль изъять его от-туда и применить в нашей сети. Оставшаяся половина дня посвящена транспортировке оборудования, с абсурдными согласованиями в процессе. На следующий день разбираюсь с новым для меня оборудованием, настраиваю коммутатор, устанавливаю его в коммуникационный шкаф, переключаю на него часть пользователей, старый "D-Link DES-1252" меняю на бывший у бухгалтеров в употреблении аналогичный "Dell", настраиваю таковой, устанавливаю в шкаф и переключаю на него оставшуюся часть пользователей.

Уф, с офисом почти закончено, осталось только расшить кроссы нормальными полуметровыми "патчкордами", вместо используемых самодельных лохм. Как только таковые появятся - можно будет сделать это, а пока просто приятно осознавать, что сеть под контролем и сбои связи пропали как событийный класс. Кроме того, в результате преобразований высвободились три убогих коммутатора "D-Link DES-1252", которые можно отдать врагу.

Пока я возился с сетью офиса, подоспела задача - подключение нового сегмента сети, который нужно запустить в течение двух дней. Новый сегмент будет располагаться на двух этажах одного из подъездов "дома министерств", причём две его части расположены на расстоянии более ста метров друг от друга, а оборудование провайдера, который предоставляет транспортную среду для связи находится в отдельном коммуникационном помещении, удалённом от частей сегмента сети как таковой. В общем, нужно разместить маршрутизатор сегмента в одном коммуникационном узле, по одному коммутатору в двух других узлах, и раскидать штук пять коммутаторов по кабинетам, разведя провода к пользователям по плинтусам. В качестве коммутаторов, устанавливаемых в "кроссовых" решили временно использовать "Cisco Catalyst 2960G, 48 ports", дорогостоящие, мощные железки, которые до этого просто пылились на складе, в то время как ядро сети работало на обычных низко-скоростных коммутаторах. Я снова, как много-много раз до этого, вспоминаю предыдущего администратора. Если-бы человеку и вправду икалось, когда о нём нехорошо думают, то кое-кто наверное не выжил-бы.

В процессе проработки схемы новой сети выясняется, что в "доме министерств" нет горизонтальных и вертикальных связей между "кроссовыми", обеспечивающими работу оконечных пользователей. Надо полагать, изначально планировалось, что здание будет обслуживать единый оператор, который обеспечит связность "кроссовых" с помощью какого-нибудь высокоскоростного магистрального оборудования, как оно и должно быть, по идее. Однако, борьба мелочных "бастыков" за контроль над ресурсами разрушила задумку и теперь каждый арендатор "дома министерств" вынужден самостоятельно прокладывать связующие проводники. В общем-то, это не моё дело, провода тянуть - я занялся устройством канала связи. День ушёл на освоение нового для меня оборудования, до этого с "Juniper" дела иметь не приходилось. Читаю документацию и к вечеру на моём столе уже работает тестовая схема, эмулирующая подключение сегмента. Половина следующего дня ушла на ожидание на проходной в здание "дома министерств" во время согласования разрешения пронести "нетбук" для настройки устанавливаемого оборудования. Ещё полдня прошли в попытках согласовать подключения с провайдером. Учитывая то, что до сих пор я имел весьма смутное представление о логических связях вверенной мне сетевой структуры, понятия не имел о задействованных диапазонах адресов, методах и принципах трансляции адресов на границах сетей, беседы со специалистами оператора связи были для меня весьма познавательными. Я открыл для себя многое о полученной в управление инфраструктуре. В течение пары-тройки часов канал связи был налажен, в нём, по опорным точкам провайдера проложен виртуальный туннель, который впоследствии должен быть зашифрован для пущей безопасности.

В процессе настройки канала передачи выплыла забавная проблема. Как я упоминал выше, перед выходом на объект я собрал тестовую схему на своём рабочем столе, где удостоверился в корректности конфигурации незнакомого мне доселе оборудования. Так вот, оборудование установлено, канал работает, туннель активен, трафик по нему ходит, а вот потом, где-то в маршрутизаторах ядра сети теряется. Их настраивал не я, а просмотр конфигурации таковых внушает некое чувство, эффективнее всего выражаемое с помощью обсценной лексики. Часа два ковыряния и выясняется, что диапазон адресов, который я выбрал для нового сегмента, ранее использовался, для него на одном из маршрутизаторов был адресован интерфейс, который потом перестали использовать, но забыли отключить, и протокол OSPF, запущенный в ядре, помнил про него, заворачивая обратный трафик не в туннель, а в интерфейс, дистанционно более близкий ему.

Кстати о туннелировании и шифровании. Когда я читал перечень технологий, якобы задействованных в сети, которую мне вверяли, там было много чего о IPSec, "туннелировании", "агрегировании", "транках", QoS и тому подобных нормальных, даже базовых, я бы сказал, понятиях и умениях специалиста "сетевика". Так вот, ничего из этого не применялось в действительности. Например, связь с филиалами, в которых установлены очень и очень хорошие маршрутизаторы "Juniper Networks SRX-240" осуществляется путём маршрутизации трафика на стороне провайдера. Никаких туннелей не используется, трафик просто выбрасывается провайдеру, а тот уже рулит его на уровне республики в тот или иной филиал. Подключение каждого нового сегмента сети сопровождается письмами провайдеру, с просьбой ввести в таблицу маршрутизацию новый диапазон. Естественно, ничего не шифруется. Да что там о каналах, даже почтовые сервера не поддерживают SSL или TLS соединения. Нет даже возможности защитить передаваемый пароль, который принимается только открытым текстом. Агрегатирование? Протянут между этажами "дома министерств" веер одиноких проводов, как попало "обжаты" коннекторы (так, что они держатся на проводниках, а не за изоляцию кабеля), сервера и активное оборудование соединено этим проводками; в случае чего можно пробежаться и подёргать кабели. QoS и высокоскоростная магистраль, по которой ходит "тегированный" трафик тоже в фантазиях, при том, что сеть связывает между собой десятки стоек с мощнейшими серверами и много-много-терабайтными дисковыми массивами.

Вообще, работа доставляла мне определённое удовольствие сюрпризами, практически ежедневными. Например, в один прекрасный момент я узнал о том, что в придачу к маршрутизаторам "Juniper Networks SRX-240", которые в регионах использовались в качестве вульгарных "терминаторов" между сетью пользователя и провайдером, на складах не первый год валяется с пару десятков маршрутизаторов "Cisco 2811". Это запас на случай чего-то эдакого, наверное.

Счастливым образом миновав этап разбрасывания коммутаторов по углам кабинетов в новом сегменте сети я был обременён очередной проблемой - потерей пакетов на канале передачи данных. Некоторое время на локализацию проблемы и вот, зафиксирован факт 20% перманентных потерь на стороне провайдера. К этому времени я уже сам нашёл всех нужных мне специалистов, к которым и обратился за объяснениями. Опасался, что услышу обычное: "У нас всё нормально, ищите проблему на своей стороне" - но нет, мне честно сообщили, что оборудование моего нового сегмента борется за доставку пакетов с несколькими (!!!) другими министерствами на одном "линке" пропускной способностью в 10Mbps. Тут уж ничего не поделаешь, как говорится, остаётся ждать, пока провайдер созреет до расширения возможностей канала.

Пока разбирался с потерями, очередная задача, как всегда "нужно было ещё вчера", подоспела. С нового сегмента необходимо обеспечить доступ к ряду узлов так называемой "ЕМТС ГО" РК. Звоню провайдеру и выясняю, что, оказывается, для обеспечения доступа мне нужно согласовать с ними используемый мною частный диапазон адресов. Нельзя, видите-ли, просто так адресовать свою собственную сеть, а наружу высунуть адреса по типу "белых", которые самостоятельно транслировать в свои, а нужно таки согласовать адресацию с другими участниками "ЕМТС". То есть, я могу, конечно, самостоятельно транслировать адреса на границе сетей, но в шаткой непознанной ещё инфраструктуре мне делать это "не с руки". Тут-же выясняется, что диапазон адресов, выбранный мною для нового сегмента, уже используется в "ЕМТС ГО" РК, да не где попало, а аж на супер важной задаче, конфликт с которой повлечёт сбой работы нескольких подъездов "дома министерств". Покорно соглашаюсь на смену адресации своей подсети, с вялым уже возмущением вспоминая предыдущего администратора, у которого я настойчиво выспрашивал IP-план инфраструктуры.

Само собой, вознёй с каналами деятельность не ограничивалась. Параллельно принимались звонки пользователей, которые, например, не могли отправить почту, потому, что зачем-то отключили интерфейсный Ethernet-кабель, или потому, что зачем-то сменили IP-адресацию, или потому, что накачали "порнухи", с вирусами которой не справился антивирус. Писались спецификации к оборудованию и услугам, планируемым к закупкам. Иной раз день уходит на то, чтобы понять, что требуется, разобраться в деталях и оформить это соответствующим образом. В общем, типичная профессиональная деятельность, про которую часто говорят: "работа наша невидима и трудна".

Так я развлекался почти месяц. Первоначальное удивление царившим повсюду бардаком переросло в перманентное раздражение, временами прорывавшееся вспышками бессильного гнева; ближе к концу месяца я вроде как освоился, уже просто с болезненным любопытством наблюдая за "прикольными" эпизодами. Узнал о том, что ожидаемые двадцать коммутаторов "HP ProCurve", которыми мы намеревались заменить приходящие в негодность "D-Link DES-1252" не будут получены, потому, что отдел государственных закупок забыл выложить спецификацию оборудования в объявление на сайте и вместо них поставили примитивнейшие и неприменимые в наших условиях "D-Link DES-1024". Узнал о том, что вместо того, чтобы расширить существующие СКС добавлением новых портов, закупили разветвители для "RG-45", с помощью которых будут пускать по одному кабелю двух пользователей. Под занавес узнал о приобретении коммутаторов "Tenda S8", с помощью которых также собираются, надо полагать, решать проблему недостающих портов. Понаблюдал, как десятикиловатный кабель (с соответствующей номиналу пульсирующей нагрузкой) протягивают по лоткам с пучками Ethernet-кабелей. Безуспешно подискутировал со "специалистами" о концепции разделения потребителей электрической энергии, распределительных устройств, недопустимости транзита энергии через потребителя другому потребителю не используя, к тому-же, разъединители на линии. Потерпел "поражение" при выборе оптимальной конфигурации сервиса, утверждая, что для приобретённого сорока-ядерного сервера "HP PL DL980 G7" со 128-ю Гигабайтами ОЗУ, в задачи которого будет входить поддержка контроллера "Active Directory" и почтового сервера на тысячу региональных пользователей (задачи впечатляют, не так-ли?), скорость доступа к дисковому массиву приоритетнее объёма такового (грубо говоря RAID10 vs RAID5) при прочих равных условиях. Насладился сравнением принципов соблюдения лицензионной чистоты и понятий вроде "не укради" с маструбацией. Узнал, что в реальной жизни "похуй нормативы" (цитата из уст непосредственного руководителя). Узнал, что за те бешеные деньги (которых как раз хватает на аренду жилья и питание), что мне платят, работать нужно заметно, бегая и дёргая за коннекторы, а не сидеть смирно, "пингуя" чего-то там.

Вот как-то так провёл я месяц осенью 2012-ого года в Астане.