Хочу рассказать, как спроектированы распределённые вычисления в ClickHouse. Вы узнаете, на что влияет схема кластера (и на что не влияет). Расскажу, как можно на ровном месте создать себе проблему при помощи всего одной таблицы Kafka и нескольких матвьюх. Поделюсь опытом про дебаг и оптимизацию SELECT-запросов к Distributed таблицам: поизучаем планы выполнения и поэксперементируем с настройками в блоке SETTINGS.
Привет! Я Настя — лид A/B Платформы в Wildberries. На протяжении всего карьерного пути меня интересует тема оценки эффектов. Для этого существуют различные инструменты, в числе которых как A/B-тестирование, так и альтернативные способы, например, различные вариации Causal Inference.
В этой статье я хочу поделиться примером проведения двух квази‑тестов в Wildberries с использованием Синтетического контроля (Synthetic Control), когда не получалось провести A/B‑тест, но все равно хотелось оценить эффект от изменений.
Привет, Хабр! Меня зовут Миша Климушкин, я руковожу аналитикой Рекомендаций и Data Science в Wildberries: отвечаю за метрики, цели и точки роста рекомендательных и других ML-решений.
В статье расскажу про Аналитику в компании: в каких командах она нужна и с какими задачами сталкивается.
31 января состоялось первое мероприятие от Wildberries, посвящённое вопросам приватности и защиты персональных данных, — Wildberries Privacy Day.
Это был трёхчасовой марафон выступлений, дискуссий и обмена опытом, который вышел за рамки привычных сообществу тем — таких как ужесточение ответственности за утечки данных и проблемы бизнеса, вызванные отсутствием гармонизации законодательства на международном уровне.
Спикеры из WB, OZON, Сбера, Яндекса, независимые эксперты, в том числе из RPPA и Privacy Advocates встретились, чтобы обсудить основные вызовы сферы и поделиться лучшими практиками. В этой статье поделимся тезисами с конференции.
Срочные баги, горящие задачи, стратегическое планирование, синки с командой — как не сойти с ума?
Часто сталкиваюсь с тем, что начинающие тимлиды берут на себя много ответственности, быстро выгорают, упускают важные метрики или в принципе не знают о них. В этой статье расскажу, как этого избежать.
Привет! Меня зовут Павел Саликов, я Senior ML-инженер в команде Дубликатов Товаров Wildberries. В этой статье расскажу про наше решение матчинга товаров на маркетплейсе и про то, как удалось сделать его быстрым.
Привет, меня зовут Коновалов Андрей, я Data Scientist персональных рекомендаций Wildberries. В этой статье разберем, как можно тюнингом TF-IDF побить BERT4Rec в ретро-тесте рекомендательной системы.
В октябре 2024 стартует два потока Техношколы Wildberries: «Data Science» и «Аналитика». Это несколько месяцев погружения в работу крупнейшего маркетплейса России. Курсы пройдут в онлайн-формате с наставниками и реальными бизнес-задачами.
Room (абстракция над SQLite) — одна из основных технологий, используемая почти во всех Android-приложениях для кэширования данных, оффлайновости, как cross-process хранилище данных и тому подобное.
При этом скорость работы приложения обычно напрямую зависит от скорости работы с БД, особенно если речь идет о холодном старте, когда все данные хранятся в кэше (в БД).
Встает вопрос: “А не является ли сама работа с БД узким местом скорости старта приложения?”
В Wildberries это особенно актуально, так как приложение построено на парадигме offline-first, когда почти вся информация кэшируется в БД, чтобы приложение работало даже с медленным интернетом или без него.
Для ответа на этот вопрос в статье разберем рантайм реализацию автоматического трекинга скорости выполнения запросов и транзакций в Room Database на основе Java Dynamic Proxy.
Привет, меня зовут Андрей Богомолов, я Android-разработчик в команде Performance приложения Wildberries.
Однажды, работая с кодом, я обратил внимание на использование UUID в UI и задумался об его влиянии на производительность. Тесты показали, что собственное решение может быть значительно быстрее стандартной реализации UUID в Java.
В этой статье мы рассмотрим разные подходы к генерации уникальных идентификаторов, сравним их производительность и напишем своё оптимизированное решение для мобильных приложений.
11 сентября в 18:00 пройдет первый ML Meetup Wildberries в московском офисе компании. Спикеры расскажут про ML-решения в продуктах и процессах WB, а также поделятся интересными решениями в Рекомендациях и Поиске.
Регистрируйтесь и обязательно дождитесь подтверждения участия. Количество мест ограничено!
На связи команда Безопасности Wildberries — сегодня расскажем, как построить PAM на основе Teleport. Эту статью по мотивам нашего доклада на PHDays для вас подготовили руководитель департамента информационной безопасности и противодействия мошенничеству Wildberries Антон Жаболенко и руководитель направления безопасности инфраструктуры Павел Пархомец. В материале рассмотрим критерии идеального PAM, опыт его внедрения в Wildberries, разные подходы и наши результаты.
Всем привет! Меня зовут Александр Тришин, я работаю DS в команде персональных рекомендаций Wildberries и занимаюсь графовыми нейросетями.
Это был мой первый опыт работы с графовыми сетями, и мне пришлось погрузиться в изучение статей и проведение собственных экспериментов. В процессе я нашел много интересного и полезного, поэтому решил поделиться своими находками с вами. В результате графовая нейросеть используется в качестве кандидатной модели для увеличения exploration.
В этой публикации я расскажу вам о LightGCN и не только. Вспомним, что такое сверточные графовые сети, их основные компоненты и принципы работы: подробно разберем модель на user-item графе, после перейдём к item-item графу. Затем познакомимся с моделью LightGCN: рассмотрим архитектуру, процесс обучения, недостатки (медленная сходимость и смещение в популярное) и варианты их устранения. А в конце посмотрим, как это всё применять на практике: обучим сетку на датасете Movielens-25m, замерим метрики, столкнёмся с проблемами LightGCN и вместе их решим! Ноутбук прилагается 🤓
Привет, Хабр! Меня зовут Артемий Кравцов, я работаю инженером в Wildberries. Сегодня расскажу про то, что люблю – про ClickHouse. Моя цель – осветить некоторые ключевые особенности в архитектуре ClickHouse и в том, как он хранит данные.
Что такое куски и слияния? Как быть с частыми вставками? Как обновлять значения в строках? Что не так с точечными чтениями? Как сделать тяжёлый JOIN?
Статья рассчитана на тех, кто только знакомится с ClickHouse.
Всем привет! Меня зовут Иван Дьячков, я руководитель центра мониторинга информационной безопасности в Wildberries и сегодня хочу рассказать о профессии аналитика SOC, поделиться своим опытом развития. Карьерный путь я начинал с классического сисадмина, а в направлении SOC поработал как со стороны вендора, так и в формате in-house внутри компаний. Что самое важное в профессии? Как преуспеть и сделать карьеру? И главное — где точка входа в SOC?
Привет, Хабр! Меня зовут Никита Догаев, я Backend Team Lead в команде Контента на портале поставщиков Wildberries. Мы отвечаем за карточки, которые каждый день испытывают на прочность сотни тысяч продавцов из разных стран.
В статье поделюсь своим опытом применения фаззинга для нагрузочных и интеграционных тестирований. Расскажу про генерацию текстов на армянском языке, тестирование SQL-запросов, а также можно ли использовать фаззер и unit-тестирование бок о бок, и какие баги нам удалось найти.
Известно, что с контейнерами бывает огромное количество разнообразных проблем, в том числе, связанных с информационной безопасностью. Как их избежать и не дать взломщику лазеек в ваш сервис — разбираемся в этой статье.
Привет, Хабр! Это Алексей Федулаев и Антон Жаболенко из Wildberries. Мы работаем в сфере информационной безопасности (ИБ) уже больше 10 лет.
В статье описывается оптимальный архитектурный шаблон большого iOS-приложения на Swift, выступающего преимущественно тонким клиентом. Основной упор делается на применение чистой архитектуры. Статья предназначается как новичкам, так и опытным программистам. Для удобства навигации имеется оглавление.
В подавляющем большинстве современных мобильных приложений используется сетевой обмен данными. Обладая обширным опытом сетевого взаимодействия в крупных компаниях (банки, маркетплейсы итп), хотим поделиться опытом построения идеального с нашей точки зрения сетевого клиента для iOS.
В этой статье речь пойдёт о шаблоне проектирования «Наблюдатель» (Observer) и его реализации на Swift. Точнее — о его идеальной реализации.