Как стать автором
Обновить
80.34
ITSumma
Эксперты в производительности
Сначала показывать

Инхаус и аутсорс DevOps. Плюсы, минусы, подводные камни

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров3K


Несмотря на то, что я почти десять лет работаю в сфере Ops и DevOps аутсорса, моё отношение к этому остаётся неоднозначным. На старте я искренне горела этим и гордилась результатами компании. Но со временам мне начало казаться, что направление зашло в тупик.
Своего пика мой личный кризис достиг после изучения паттернов и антипаттернов DevOps топологий в компаниях. Кажется, что всё просто и наглядно: только в модели инхаус DevOps может работать так, как оно задумывалось.

Ниже хочу порассуждать о жизнеспособности разных моделей DevOps в текущих реалиях.

Инхаус – бестпрактиc в DevOps?


У инхауса много очевидных плюсов: только один проект в фокусе человека, что, в свою очередь, повышает вовлечённость и позволяет всегда оставаться в контексте. Со временем команда DevOps может выучить буквально каждую запятую в коде. Инхаус — это всегда про скорость взаимодействия: поставить задачу, сменить приоритет, получить статус — всё решается одним сообщением в корпоративном чате и не проходит через целую цепь людей или, господи, электронную почту и череду заявок.
Читать дальше →

Как построить эффективную стратегию мониторинга с высокой наблюдаемостью

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров9.8K


Давайте сразу определимся: самым важным в разработке сейчас является производительность и надежность вашей инфраструктуры, потому что если ваш проект лагает или работает через раз, вас не спасут никакие фичи. Клиент просто уйдет к конкурентам.

Исходя из постулата выше, роль мониторинга систем в последние годы резко возросла. Наши системы перешли от технологических новшеств к статусу критической инфраструктуры, без которой повседневная жизнедеятельность просто невозможна. Однако существует зияющая пропасть между формальным мониторингом и мониторингом, который будет соответствовать сложности и глубине современных систем.
Читать дальше →

Соединяя лучшее из двух миров: как мы построили мост между Spark и Greenplum в ITSumma

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров3.2K

В этой статье ведущий администратор баз данных ITSumma Алексей Пономаревский расскажет о том, как мы интегрировали популярный фреймворк для распределенной обработки данных Apache Spark с мощной массивно-параллельной базой данных Greenplum.

Текст будет полезен для разработчиков, решающих схожие задачи по интеграции распределенных фреймворков обработки с реляционными БД, использующих параллельные вычисления.

Читать далее

Мы шутили над «опытными пользователями ПК», а ведь они вымирают

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров90K


Пока в Лас-Вегасе проводят киберспортивные турниры по Excel, где сверхлюди уверенно соревнуются в скоростном решении абсурдно сложных рабочих задач при помощи самого универсального офисного софта, весь остальной мир так же уверенно в вопросе офисных задач деградирует. Двадцать лет назад гики и энтузиасты компьютерной техники шутили, что «отбери у современного пользователя компьютерную мышь и он будет беспомощен», и в чем-то они были правы. Когда-то ненавистные многим графические операционные системы «извратили» работу за ПК, превратив ее из ввода-вывода информации с помощью клавиатуры в тыканье курсором мыши по экрану. Нелюбовь к мыши, кстати говоря, через года пронесли многие: есть огромный массив рабочих задач, где использование мыши избыточно. То, что можно было сделать за две секунды, делается мышью минуту.

Но если я скажу вам, что для того, чтобы ввести в ступор молодого пользователя сейчас, ему достаточно открыть на ПК гугл-таблицу? Или даже просто показать персональный компьютер? Отберите у молодого человека смартфон, дайте ему компьютер и наблюдайте за тем, как он впадает в отчаянье. Сейчас та самая Марьивановна из бухгалтерии на фоне людей, выросших со смартфоном в руках, кажется просто гениальным хакером. И это не брюзжание старика про «раньше было лучше». Это реальная проблема, к которой мы не просто летим на сверхзвуке, мы уже в ней по самые уши. Людей, умеющих пользоваться компьютером даже на уровне тыканья курсором мыши по иконкам все меньше и меньше, хотя вычислительной техники вокруг все больше и больше.
Читать дальше →

Сборник советов, как упростить работу с YAML-файлами

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров20K

YAML (.yml) — популярный язык для конфигурационных файлов, широко используемый DevOps в подходе «Инфраструктура как Код» (IaC). Несмотря на то, что работать с ним бывает проще, чем с тем же JSON (особенно в контексте взаимодействия с большими объемами данных), иногда использовать его бывает трудно. В этой статье мы рассмотрим несколько советов, которые помогут упростить процесс создания и редактирования yml-файлов.

Читать далее

Вакуумируй это: сбор и удаление мусора в базе данных Greenplum

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров3K

Всем привет! ITSumma на связи! Недавно — 8 февраля мы провели вебинар о мониторинге и обслуживании реляционной базы данных Greenplum. 

При всех своих достоинствах у Greenplum есть подводные камни, о которых стоит знать разработчикам и администраторам. Один из таких потенциально опасных моментов — процедура сбора и удаления мусора, её ещё называют вакуумирование, потому что она инициируется командой Vacuum. Работать с вакуумированием нужно деликатно, иначе велик риск надолго нарушить работу всей системы. Как раз о том, как этого избежать, правильно мониторить и очищать таблицы, мы и рассказывали на вебинаре.

Это статья — выжимка нашего мероприятия. Вот что вы из неё узнаете:

Читать далее

Как проводят оценку качества данных в Airbnb

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров2.9K


Сегодня, когда объем собираемых компаниями данных растет в геометрической прогрессии, мы понимаем, что больше данных — не всегда лучше. На самом деле слишком большой объем информации, особенно если вы не можете гарантировать ее качество, может помешать компании и замедлить процесс принятия решений. Или это приведет к принятию неправильных решений.

Рост показателей Airbnb до 1,4 миллиарда гостей на конец 2022 года привел нас в точку, когда снижение качества данных стало мешать нашим специалистам по работе с этими самыми данными. Еженедельные отчеты по метрикам стало сложно предоставлять вовремя, такие базовые показатели как «Активные объявления» стали иметь целую паутину зависимостей. Для полноценной работы с данными стали требоваться значительные институциональные знания, просто чтобы преодолеть все «подводные камни» в нашем информационном потоке.

Чтобы решить эту проблему, мы внедрили процесс под кодовым названием «Мидас» (Midas), который предназначался для сертификации наших данных. Начиная с 2020 года, процесс Midas, а также работа по реорганизации наших наиболее важных моделей позволили значительно повысить качество и оперативность получения важнейших данных Airbnb. Однако достижение всех критериев качества данных требует значительных межфункциональных инвестиций в такие вещи как проектирование, разработка, проверка и поддержка необходимых информационных ассетов и документации.
Читать дальше →

Создание сквозного конвейера MLOps с помощью Open-source инструментов

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров2.9K
MLOps с открытым исходным кодом: TL;DR
Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения традиционных систем ML и познакомим вас с основными инструментами с открытым исходным кодом, которые помогут вам создать более надежную, масштабируемую и поддерживаемую систему ML.

Среди обсуждаемых инструментов — Feast для управления функциями, MLflow для отслеживания и версионирования моделей, Seldon для развертывания моделей, Evidently для мониторинга в реальном времени и Kubeflow для оркестровки рабочих процессов.

Введение


Ландшафт машинного обучения постоянно меняется, и переход от разработки моделей к их внедрению в производство сопряжен с рядом трудностей. Хотя блокноты Jupyter и изолированные скрипты полезны для экспериментов, им часто не хватает функций, необходимых для системы производственного уровня. Эта статья призвана помочь вам справиться с этими проблемами, познакомив с концепцией MLOps и набором инструментов с открытым исходным кодом, которые могут облегчить создание готового к производству ML-конвейера.

Независимо от того, являетесь ли вы специалистом по исследованию данных, желающим перейти к производственной деятельности, или инженером ML, стремящимся оптимизировать существующие рабочие процессы, эта статья призвана дать целенаправленный обзор основных практик и инструментов MLOps.
Читать дальше →

Переход с ETL на ELT

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров7.4K


ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области дата-инжиниринга, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных.

В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT.

Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга


Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.
Читать дальше →

Почему OpenAI уволило Альтмана и что будет дальше с GPT

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров49K


Последние дни сеть сотрясает новость об увольнении Сэма Альтмана, руководителя коммерческого подразделения OpenAI. Спикеры наперебой упражняются в красноречии и нагоняют тумана, чтобы собирать трафик и по десять раз перепечатывать одни и те же новости под видом новых публикаций. Почему уволили Альтмана? Что за конфликты внутри OpenAI? Что происходит?

Человек, который не следил за этим увольнением с самого начала, справедливо подумает, что в рядах разработчиков произошел внутренний переворот, но на самом деле все немного проще и очевиднее, если знать один факт: OpenAI, компания-разработчик GPT, которая получила 13 млрд инвестиций только от Microsoft и которая продает подписку на ChatGPT за 20$ в месяц, формально до сих пор является частью некоммерческой организации. И из этого факта проистекают все проблемы, с которыми столкнулся Альтман. А дальше давайте разбираться вместе.
Читать дальше →

Главные проблемы сайта, которые показывает нагрузочное тестирование

Время на прочтение9 мин
Количество просмотров4.5K

Всем привет! На связи ITSumma.За 15 лет, что мы делаем нагрузочное тестирование, у нас накопился список самых распространенных ошибок, которые совершают, когда строят и отлаживают инфраструктуру.

Ну список и список скажете вы, но в этой статье мы хотим поделиться не только самими ошибками, но и инструкциями, как их найти. Так что не будем затягивать предисловие и сразу перейдем к делу.

Читать далее

Потоковая обработка данных: анализ альтернативных решений

Время на прочтение8 мин
Количество просмотров4.3K

Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.

Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональный плагин для Spark, на его основе инженеры могут строить ETL-решения и анализировать данные in-memory.

Изначально мы разработали его, как часть клиентской платформы потоковой обработки данных. Но со временем он прирос одной интересной функциональностью, которая недоступна сейчас в других подобных решениях. В этой статья я хочу сделать краткое сравнение между двумя opensource-продуктами Apache Spark и Flink, а также рассказать об одной интересной особенности Spark, которую мы реализовали в коннекторе.

Читать далее

Как мы перевезли на новый сайт 700 тысяч рецептов и 6 миллионов фото пирогов, сырников и овсяноблинов

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров3.2K


На рынке частой историей является поглощение глобальными игроками локальных интернет-сервисов и ресурсов, которые дублируют их функции. Так произошло в 2017 году и с парой «Овкусе» и Cookpad, когда последний решил зайти в русскоязычный сегмент. Тогда слияние произошло успешно: российский проект был куплен и органично влился в инфраструктуру кулинарного ресурса японского происхождения, где активно развивался все эти годы. Ровно до момента, пока головной офис не принял решение уйти из региона, полностью удалив русскоязычную часть Cookpad вместе со всем имеющимся контентом.

Сегодня мы расскажем о том, как нашей команде пришлось переносить данные целого проекта на новую платформу и с чем нам пришлось столкнуться при переезде 6 миллионов фото блюд из 700 тысяч рецептов, которые создали пользователи платформы за 15 лет.
Читать дальше →

Как не превратить облако в денежную дыру

Время на прочтение5 мин
Количество просмотров3.7K

Если сейчас запускать проект, то другие идеи, кроме того, чтобы разместиться в облаке не приходят. Облачная инфраструктура дает много преимуществ, но есть проблема — легко не уследить за тратами, забыв про выделенные ресурсы, закупив мощности больше необходимых или используя не самые эффективные решения.

Поэтому мы хотим поделиться советами, как сократить расходы в облаке, они помогут не наступить на грабли тем, кто сейчас в облако переходит и тем, кто уже работает с облачной инфраструктурой. Рекомендации, которые приведены ниже, мы даем нашим клиентам, основываясь на большом опыте работы со множеством облачных провайдеров. Поэтому эти советы вполне можно назвать универсальными.

Читать далее

Data больше не Big: как данные перестали быть большими и почему это полезно для бизнеса

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров11K

Большие данные мертвы. В той их части, которая характеризуется как “большие”. Так считает Джордан Тигани, инженер-основатель Google BigQuery, человек, который больше 10 лет рассказывал всем о пользе big data. Что он имеет в виду и что это значит для бизнеса? Давайте разбираться.

Читать далее

Как перевезти интернет-магазин на Spree и RoR в облако и улучшить стабильность сайта в 4 раза?

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров2.5K

Всем привет! Меня зовут Сергей Спорышев, я директор направления DevOps-продуктов в ITSumma. В этом тексте я хочу рассказать, как задача по переносу в облако простого на первый взгляд проекта оказалась не такой уж простой и превратилась в целый квест.

Читать далее

Переход в SRE — лучший способ сохранить работу в условиях рецессии для DevOps-инженера

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров4.5K


В ноябре прошлого года мы публиковали статью с мнением о том, что сокращения в Twitter — первая ласточка грядущего схлопывания рынка труда в IT. Тогда мнения аудитории разделились: одни соглашались с тем, что сектор вот-вот провалится в глобальную рецессию наравне с прочими сферами деятельности, другие замечали, что инженерам ничего не грозит.

Спустя пять месяцев можно подвести промежуточный итог: как это ни печально, но скептики (и мы в их числе) оказались правы. Рынок труда в IT-сегменте по всему миру начал если не схлопываться, то серьезно сжиматься.

Пока весь мир обсуждает, что отрицательный рост Sillcon Valley Bank не обрушит мировую банковскую систему и является локальной проблемой, IT-сегменту стоит все же напрячься. Напомним, еще в мае 2022 года Y Combinator рассылал своим участникам письма о том, что инвестиций в стартапы без 100% гарантий окупаемости, де-факто, больше не будет.
Читать дальше →

Как нагрузочное тестирование помогло Fix Price переехать на собственную платформу

Время на прочтение4 мин
Количество просмотров4.6K


В IT-среде до сих пор живуч стереотип, что нагрузочное тестирование нужно исключительно, чтобы узнать максимальную пропускную способность инфраструктуры. И что нагрузочное делается либо перед масштабной акцией типа Чёрной пятницы, либо после того, как сайт всё-таки не выдержал и упал — чтобы узнать, при каком RPS это произошло.

Однако само по себе знание текущего предельного RPS не даст вам ничего. Да и смысл проводить нагрузочное тестирование ПОСЛЕ аварии, конечно, есть, но гораздо рациональнее сделать его ДО неё. Чтобы она даже не случилась. А уж когда речь идёт не просто об ожидаемой лавине трафика, а о том, что эта лавина хлынет на новую инфраструктуру… Словом, вот в меру захватывающая история о том, как нагрузочное тестирование помогло одному из крупнейших ритейлеров, компании Fix Price, переехать без боли, пожара и бессонных ночей.

Для начала несколько слов про саму компанию. У неё почти 5,5 тысячи розничных магазинов в России и странах СНГ, так что название и логотип знакомы, без преувеличения, каждому читателю этой статьи. Но помимо оффлайновой сети есть сайт с доставкой, личным кабинетом пользователя и электронным каталогом. До недавнего момента основная нагрузка лежала на платформе Битрикс (fix-price.ru), но в 2020 году начались работы по созданию собственной платформы fix-price.com.
Читать дальше →

Как решить техническую проблему у медицинской компании за несколько часов с перерывом на кофе

Время на прочтение5 мин
Количество просмотров3.8K


Недавно у нас случился медицинский детектив. Технико-медицинский. Почти в духе доктора Хауса. К нам обратилась компания, которая разрабатывает ПО для автоматизации процессов в медицинских учреждениях — радиологические информационные системы. В частности, софт для лучевой диагностики. Эти системы могут использовать как отдельные медицинские организации, так и целые регионы.

На одном из таких объектов, где работала система, регулярно возникали проблемы с быстродействием, особенно в часы пиковой нагрузки. При этом на других аналогичных объектах, где было установлено такое же ПО и была схожая нагрузка, этих проблем не было.

«Изначально клиент пришел с запросом на нагрузочное тестирование. Но мы предложили сначала провести аудит и починить проблемы со скоростью работы, а после уже — сделать нагрузочное (если потребуется)».
Алексей Алексеенко, главный системный администратор ITSumma.

И вот как мы ставили диагноз…
Читать дальше →

Как мы в 3 раза снизили время, которое менеджеры тратили на рутинные задачи

Время на прочтение5 мин
Количество просмотров8.1K

Для бизнеса, который планирует развиваться и расти, а не извлекать сиюминутную выгоду, система аналитики практически мастхэв. Она помогает строить бизнес-планы, дает более реальное представление о том, как чувствует себя компания; с её помощью можно принимать решение, основываясь на фактах, а не на догадках. В этой статье мы рассказываем о своем опыте внедрения системы аналитики и той пользе, которую она приносит.

Началось все с того, что мы стали собирать данные из разных источников...

Читать далее
1
23 ...

Информация

Сайт
www.itsumma.ru
Дата регистрации
Дата основания
Численность
101–200 человек
Местоположение
Россия
Представитель
ITSumma