Выпустили три статьи по Greenplum и рассказали о рекурсии, наследовании и уникальных индексах для таблиц AO/CO

10 февраля, в субботу, мы проведем онлайн One Day Offer в Sportmaster Lab, в рамках которого будем искать Data Engineer и DWH developer в нашу команду.

Как всё будет проходить

- Сбор заявок до 6 февраля.
- Предварительный этап — с вами свяжется hr для уточнений.
- Подготовка к собеседованию — попробуйте свои силы в тестирование по DE или DWH. Тестирование не является обязательным, но темы, которые вы встретите в процессе прохождения, будут также затронуты на собеседовании.
- Техническое интервью. Заранее назначим время технического интервью и отправим ссылку на комнату MS Teams, в которую подключится интервьюер. Длительность собеседования — полтора часа.
- Оффер. Презентация оффера 10 февраля.

Как принять участие

Просто отправьте заявку. Важно — сделать это надо до 6 февраля.

На днях состоялась публикация новый выпуск нашего уже традиционного исследования российских BI-решений. Готовили мы его долго, так что, смеем надеяться, что он стал лучше, удобнее, нагляднее и информативнее – в том числе за счет того, что произошел ряд изменений в самой структуре работы над ним.

Мы все прекрасно знаем, какова сейчас ситуация с представленностью на российском рынке зарубежных IT-компаний. BI-сегмент не исключение, что делает информацию в нашем исследовании максимально актуальной. И фраза о том, что сейчас наблюдается колоссальный рост интереса к сегменту российских BI-решений у отечественного пользователя, уже перестала быть преувеличением.  

Бизнес сейчас оказался в ситуации, когда он вынужден не просто повторить то, что было реализовано, а найти решение, которое быстро закроет оперативные задачи, поможет улучшить качество принятий решений и бесшовно впишется в IT-архитектуру. Так что выбор это нелегкий. Но мы надеемся, что наш анализ российских BI-продуктов поможет его сделать обосновано и правильно.

В общий обзор вошли порядка 40 платформ. Среди них – Visiology, Modus BI, Luxms BI, «Форсайт. Аналитическая платформа», «Триафлай», DataLens, «Криста BI», PolyAnalyst, N3.Аналитика, «Аналитическая платформа Polymatica», Alpha BI, Analytic Workspace, Almaz BI, Cubisio, Visary BI, «1С:Аналитика», «Пульс Дела/Пульс Региона», Dataplan, Storm и многие другие.

Southbridge приглашает на вебинар «Построение DWH на основе Greenplum. Практический опыт» 29 апреля в 19:00.

На вебинаре рассмотрим особенности использования Greenplum в построении DWH (Data Warehouse), поговорим о проблемах, которые могут возникнуть, и способах их решения.

Ситимобил каждый месяц проводит митапы о применении Data science в городских и геосервисах, логистике и технологиях умных городов.

На митапе мы рассмотрим разные особенности применения современных технологий в геосервисах. Поговорим и о классическом data science в задачах прогнозирования времени прибытия, о проектирование data warehouse (DWH), чтобы можно было эффективно применять методы машинного обучения и строить дэшборды. А также продолжим говорить о Switchback-экспериментах (у нас уже был доклад об этом не первом митапе), которые часто просто незаменимы в геосервисах.
В этот раз в гости к Ситимобил придут коллеги из Самоката.

Ждём вас 28 октября в 18:00.  Регистрация

• Как устроен Greenplum и для каких задач лучше использовать эту современную массивно-параллельную, изначально кластерную СУБД
• Преимущества Greenplum в облаке по сравнению с BareMetal
• Какие бизнес-задачи можно решать с помощью DWH, в основе которого лежит Greenplum
• Как настроить и запустить Arenadata DB Cloud на базе Greenplum в облаке Mail.ru Group за пару минут

Meetup для интересующихся и использующих DBT

Привет. Приглашаем провести вечер 14 декабря с коллегами на митапе по DBT. Для вас подготовлены 4 доклада разного уровня - от введения в инструмент и его использования в облаках, до стандартизации метрик компании в нем и технических подробностей работы.

19 сентября стартует курс по GreenPlum от Ивана Чувашова, администратора баз данных в Southbridge, ведущего инженера компании Okko и автор курса по PostgreSQL. Вы узнаете, что такое DWH и СУБД GreenPlum, а также научитесь администрировать GreenPlum: настраивать ресурсные группы, обеспечивать отказоустойчивость сегментов и мастер-ноды, делать балансировку данных между нодами, выбирать оптимальные конфигурационные параметры GreenPlum.

Привет! 16 апреля в 18:00 Data People by GlowByte приглашает тебя на пикантный митап про данные!

Наши друзья, занимающие руководящие позиции в Data-подразделениях крупнейших российских ФинТех-компаний, поделятся опытом реализации проектов по миграции платформ данных.

GreenPlum помогает компаниям с разными объёмами бизнеса извлекать реальную пользу из накопленных данных. Благодаря масштабируемости и скорости работы с данными он позволяет быстрее принимать бизнес-решения и повышает их качество.

19 сентября у нас стартует «DWH на основе GreenPlum» — авторский курс Ивана Чувашова, администратора баз данных в Southbridge и ведущего инженера компании Data Driven Lab. На нём Иван поделится знаниями в области хранилищ данных, которые собирал на протяжении 10 лет. Мы разберём основы устройства DWH и углубимся в GreenPlum — поломаем и починим его. А ещё поговорим об архитектуре и способах хранения данных, оптимизации запросов.

Сегодня стартовал первый поток «DWH на основе GreenPlum». Для тех, кто хотел, но не успел присоединиться, хорошие новости. Вы можете купить его в формате видеокурса с доступом к урокам на 2 года. 

«DWH на основе GreenPlum» — полностью авторский курс. Мы подготовили его по инициативе спикера Ивана Чувашова, администратора баз данных Southbridge и ведущего инженера Data Driven Lab. Все материалы он собирал на протяжении 10 лет, мы просто доработали их с методистом и подготовили стенды под практические задания.  

Видеокурс «DWH на основе GreenPlum» с 3 АМА-сессиями от Ивана Чувашова, администратора баз данных в Southbridge и ведущего инженера компании Data Driven Lab.

На курсе вы узнаете, что такое DWH, СУБД GreenPlum и научитесь администрировать его: настраивать ресурсные группы, обеспечивать отказоустойчивость сегментов и мастер-ноды, делать балансировку данных между нодами и выбирать оптимальные конфигурационные параметры.

Эпоха современных хранилищ данных началась с появления реляционных баз данных (далее БД). С появлением бизнес‑аналитики следствием развития БД стала концепция Data Warehouse (корпоративное хранилище данных, DWH).

Дальнейший рост объемов данных, введение термина «большие данные» и разнообразие требований к обработке привели к эволюции архитектур данных.

Рассмотрим этапы эволюции архитектуры данных: чем отличаются концепции, какие у них преимущества и недостатки, для каких задач в работе с данными подходят.

Привет. Меня зовут Евгений Вилков. Я занимаюсь системами управления и интеграции данных с 2002 г., а конкретно системами анализа и обработки данных — с 2007 г. Технологии, с которыми я имел дело на протяжении моего профессионального пути, стремительно развивались. Начиная с решений, основанных на стеке традиционных СУБД, таких как Oracle, MS SQL Server, Postgres, постепенно эволюционируя в ставшие уже классическими (а некоторые даже и закрытыми) MPP-системы, такие как Teradata, GreenPlum, Netezza, Vertica, IQ, HANA, Exadata, ClickHouse, в различные решения на базе экосистемы Hadoop, облачные сервисы и платформы. Меняется мир, меняются технологии, меняются подходы к проектированию, меняются и требования к задачам аналитического ландшафта данных.

Уверен, что многие, кто уже знаком с терминами Data Mesh и Data Lakehouse, задаются вопросом: что может предложить рынок аналитических систем в этих методологиях проектирования и архитектурных подходах. Я хочу рассказать об аналитической платформе данных Data Ocean Nova, владельцем и технологическим идеологом которой я являюсь.

При загрузке данных из 1С во внешнюю BI‑платформу обычно возникают трудности. 1C — закрытая проприетарная система, подключиться к которой напрямую и просто выгрузить данные без нарушения лицензионной политики нельзя.

Как решить эту проблему?

Рассматриваем 7 самых популярных способов извлечения данных из 1С для бизнес‑аналитики, их плюсы и минусы.

Привет! Продолжаю рассказ про интеграционную платформу на базе Apache Kafka и про то, как мы постарались гармонично вписать ее в непростую ИТ инфраструктуру группы НЛМК.

Напомню, что в первой части статьи были описаны соглашения об именовании топиков, подход к реализации ролевой модели и соглашение по базовой схеме данных. Здесь расскажу, как сделали универсальное охлаждение для всех данных из Kafka в корпоративное хранилище на базе Hadoop, про сервис доставки сообщений в ИС и про разработанные сервисы, доступные на нашем Self-Service портале.

Привет, друзья!

Продолжаем нашу серию статей о создании BI-системы в компании Sminex. Расскажем о наших дальнейших шагах по построению хранилища с якорной моделью.

Data Vault 2.0 остаётся одним из самых популярных методов моделирования данных. Его выбирают за гибкость, масштабируемость и устойчивость к изменениям. Этот разработанный Дэном Линстедом подход помогает организациям быстро адаптироваться к новым бизнес-требованиям, легко интегрировать новые источники данных и надёжно хранить исторические данные.

Эта статья будет полезна дата-инженерам, аналитикам данных, архитекторам данных и бизнес-аналитикам. Она поможет усовершенствовать умения в моделировании данных. Мы рассмотрим ключевые принципы Data Vault 2.0 и на практическом примере покажем, как разложить сырые данные по Data Vault 2.0.