Как стать автором
Обновить
При поддержке
22.76

Разработка публичных облаков *

Про публичные облака на языке их создателей

Сначала показывать
Порог рейтинга
Уровень сложности

Покоряем сетевой стек Linux: декапсулируем пакеты с помощью eBPF на скорости 6Mpps+

Время на прочтение15 мин
Количество просмотров7.5K

Когда переход на VXLAN в облачных сетях грозил нарушить работу системы анализа трафика, нам нужно было найти решение, позволяющее сохранить точный сбор статистики при экстремальных нагрузках и измененной структуре заголовков пакетов. Я — Александр Шишебаров, старший разработчик в команде сетевых функций облака Selectel. Разрабатываю все, что связано с сетью: балансировщики, виртуальные роутеры, сети, глобальный роутер и так далее.

В этой статье рассказываю о том, как мы использовали eBPF для перехвата и декапсуляции VXLAN-пакетов прямо в ядре, обеспечив корректный сбор статистики без значительных изменений в архитектуре системы. Разберем, какие требования привели нас к этому решению, как его внедряли и каких результатов удалось достичь. Также расскажу, что такое eBPF, как работает технология, как начать с ней работать и на каких этапах сетевого стека Linux можно перехватывать пакеты с ее помощью. Подробности под катом!
Читать дальше →

Новости

Декларативный API, деревья поведений и реконсиляция: как мы в MWS строим сервис Compute

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров464

Приветствую всех! На связи Родион Цалкин, Tech Product IaaS в MWS. 

В этой статье расскажу, из каких решений на верхнем уровне состоит сердце MWS — сервис вычислительных ресурсов Compute — и как знания из разных областей помогают найти элегантные решения для возникающих проблем при его создании. Здесь не будет технического deep-dive’а (ждите в следующих статьях), поэтому статья будет интересна широкому кругу читателей.

Читать далее

Куб всему голова: строим внутреннюю Kubernetes-платформу на BareMetal в MWS

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров2.4K

Всем привет! Меня зовут Иван Гулаков, и последние несколько лет я занимаюсь построением и поддержкой платформы по предоставлению Kubernetes-кластеров для внутренних команд разработки в MWS. Эта статья — пересказ моего доклада с DevOps Conf 2024 о том, как мы наливаем железки и превращаем их в k8s-кластеры по всем канонам IaC.

За прошлый год наши подходы к наливке изменились. Тем не менее, это был важный шаг для становления нашей внутренней платформы Piñata.

Читать далее

Как мы работаем с реконсиляцией ресурсов в облаке MWS

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров1K

Привет! Я Сергей Самойлов — техлид направления слоя Control Plane для блочных устройств. В этой статье рассмотрим модель реконсиляции ресурсов в облаке на примере блочных устройств. Мы рассмотрим, что такое реконсиляция, когда она применяется и как это всё выглядит в MWS.

Читать далее

Истории

Тренды развития сетевой телеметрии и подход MWS к её внедрению

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров679

Привет, я Борис Хасанов, и это заключительная часть цикла статей про сетевую телеметрию. В первой и второй частях рассказал про основы и базовые протоколы. Сегодня расскажу, как мы подошли к работе с телеметрией в облаке MWS и рассмотрю тренды развития сетевой телеметрии на ближайшее время.

Читать далее

Архитектура сетевой телеметрии: базовые компоненты и протоколы

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров2.3K

Привет! Я — Борис Хасанов, ведущий сетевой архитектор в MWS, а это продолжение моей статьи о телеметрии, начало можно изучить здесь. В этой части разберём основы сетевой телеметрии, её виды, протоколы и модели.

Читать далее

OAM и основы сетевой телеметрии

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров1.9K

Привет! Меня зовут Борис Хасанов — ведущий сетевой архитектор в MWS. Работаю с сетями уже много лет, а последнее время занимаюсь сетевой телеметрией. Она помогет мониторить состояние сети облака в моменте.

Это первая статья из цикла о трендах в развитии сетевой телеметрии и её имплементации в облаке MWS. Идея цикла появилась из моего несостоявшегося доклада на сетевой конференции «Яндекс nexthop 2024». Хочу поблагодарить Антона Корнелюка, Евгения Зобницева, коллег из MWS, а ещё коллег из IETF за идеи для этого цикла статей.

Сегодня расскажу о фреймворке ОАМ, его механизмах и протоколах и как он помогает следить за сетью. Итак — начинаем.

Читать далее

Автоматизировать управление инфраструктурой в облаке: почему мы решили разрабатывать свое решение

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров2K

Привет, Хабр! Меня зовут Захар Пикуль, я руковожу в СберТехе отделом сопровождения инфраструктуры тестовых сред. Созданием и внедрением ИТ‑решений в компаниях различного размера и уровня я занимаюсь уже более 15 лет.

Облачные решения стали неотъемлемой частью жизни современной компании. А с ростом числа виртуальных машин, развёрнутых в облаке, возникает всё больше ситуаций, которые требуют комплексного подхода к управлению. Мы планируем цикл статей, в которых поделимся нашими текущими и перспективными наработками по решению этих задач, основанными на нашем видении и накопленном практическом опыте автоматизации взаимодействия с облачной инфраструктурой.

Эта статья — вводная. В ней мы разберём вызовы, с которыми может столкнуться компания в процессе переезда в облако, и возможные способы их решения.

Читать далее

Безопасность CI/CD — базовая гигиена и реализация в разработке облака MWS

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров3.6K

Привет, Хабр! Меня зовут Алексей Федулаев, я руководитель направления Cloud Native Security в МТС Web Services. С этой статьёй мне помогал Андрей Моисеев — DevSecOps из моей команды, и Иван Орлов — Tech Lead из команды Development Platform. Сегодня мы поговорим об основах DevSecOps на примерах GitLab CI/CD. Расскажем о простых методах, которые помогут улучшить безопасность вашего сервиса или продукта.

Читать далее

Что нужно учесть на старте, чтобы сделать облако безопасным

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров1.9K

Привет! Я Виктор Бобыльков — CISO MWS. В этой статье расскажу, как обезопасить облако физически и инфраструктурно, как правильно использовать Red Teaming, чтобы натренировать Security Operation Center, и спасти клиентов от кибератак.

Читать далее

Изобретаем IAM для облака MWS: знакомство и ресурсная модель

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров1.6K

Мы с ребятами решили сделать облако. Не такое облако, которое «переносите свои файлы в облако», и даже не такое, которое «разверните сайт у нас на CMS, домен — в подарок». А то, что приходит в голову при использовании слова «гиперскейлер».

Я, Андрей Халиуллин, отвечаю за разработку сервиса IAM (Identity and Access Management) новой облачной платформы MWS. Поскольку мы хотим вести по возможности открытый диалог с рынком и комьюнити, в какой-то момент я получил задачу перестать писать IAM и начать писать статью про то, как мы пишем IAM. Мне есть что рассказать про исследование рынка облачных провайдеров, reverse engineering продуктовых и технологических решений, про технические вызовы в части надёжности, масштабируемости и обуздания продуктовой сложности сервисов и даже про попытки осознать «А что такое IAM?».

После нескольких подходов к этой статье мне удалось немного пройтись по поверхности темы управления ресурсами в облаке — и так статья превратилась в идею цикла статей о разработке IAM. 

Конкретно в этом тексте я сделаю некоторую подводку о том, зачем нужен IAM, и затем расскажу об уровнях ресурсной модели абстрактного облачного провайдера с комментариями, зачем каждый уровень нужен и что мы про это думаем в MWS. А дальше — следите за нашим хабом.

Читать далее

Проектирование облачной сети MWS: выбор технологий и решений

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров2.7K

Привет! Меня зовут Яков Жданов, я руковожу командой, которая разрабатывает облачную сеть и сетевые сервисы в MWS. Наша основная задача — обеспечить связность облачных ресурсов. Мы делаем так, чтобы виртуальные машины могли общаться друг с другом, выходить в интернет и принимать обратные соединения. В этой статье расскажу, какие подходы и решения мы выбрали для построения нашей сети.

Читать далее

Как мы строим публичное облако с нуля: опыт MWS

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров5.2K

Привет, Хабр! Меня зовут Данила Дюгуров, я CTO MWS. Сегодня расскажу, как наша команда создаёт облако MWS, и на его примере разберу ключевые концепции, которые лежат в основе построения облаков в целом: от аппаратного обеспечения и выбора сетевой архитектуры до организации работы в инфраструктурной команде. А ещё порассуждаю о том, что лучше для облачного провайдера — вендорский софт или OpenStack — и что в итоге выбрали мы. Спойлер: ни то ни другое.

Читать далее

Ближайшие события

19 марта – 28 апреля
Экспедиция «Рэйдикс»
Нижний НовгородЕкатеринбургНовосибирскВладивостокИжевскКазаньТюменьУфаИркутскЧелябинскСамараХабаровскКрасноярскОмск
22 апреля
VK Видео Meetup 2025
МоскваОнлайн
23 апреля
Meetup DevOps 43Tech
Санкт-ПетербургОнлайн
24 апреля
VK Go Meetup 2025
Санкт-ПетербургОнлайн
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань
14 мая
LinkMeetup
Москва
5 июня
Конференция TechRec AI&HR 2025
МоскваОнлайн
20 – 22 июня
Летняя айти-тусовка Summer Merge
Ульяновская область