Машинное обучение *

Скажу сразу — я не программист. Но ручки то чешутся что‑то написать — так ко мне пришла мысль попробовать написать что‑то относительно простое с помощью нейросети.

В мире анализа данных и машинного обучения качественные табулированные данные играют ключевую роль. Однако далеко не всегда у специалистов есть доступ к реальным данным из-за конфиденциальности или их полного отсутствия в структурированном виде. В таких случаях на помощь приходят языковые модели, способные генерировать структурированные таблицы с синтетическими данными.

Оркестрация процессов в Apache Airflow — мощный инструмент для управления данными. Но как внедрить его так, чтобы процессы стали прозрачными, гибкими и удобными для команд? Как организовать ETL-пайплайны, чтобы они легко масштабировались и адаптировались под нужды аналитиков, ML-инженеров и других специалистов?

Меня зовут Любовь Марисева, я инженер дата-платформы в Циан. Мы разрабатываем десятки ETL-процессов, обеспечиваем данными разные команды и постоянно ищем способы сделать работу с Airflow эффективнее. В этой статье я расскажу, как мы решили ключевые проблемы, сделали расчёты более управляемыми и упростили взаимодействие между командами.

Если вы только начинаете работать с Airflow или хотите улучшить свои подходы, присоединяйтесь! Эта статья поможет взглянуть на оркестрацию процессов под новым углом.

В этой статье речь пойдет о разработке под отладочную плату LicheeRV Nano - компактное устройство размером с две пятирублевые монеты, но обладающее впечатляющими возможностями.

Плата способна одновременно запускать Linux и FreeRTOS, выполнять инференс нейронных сетей (будет разобран запуск YOLO в 100 FPS и LLama2.c) благодаря встоенному NPU с производительностью 1 TOPS, а также управлять периферийными устройствами: GPIO, I2C, UART, SPI, CSI камерой, Wi-Fi, Bluetooth и Ethernet.

Это первая часть статьи, представляющая собой методическое руководство по работе с платой. Во второй части будет рассмотрена разработка полноценного проекта на её основе.

Если у вас нет парка видеокарт, но есть сервер с ОЗУ то не отчаивайтесь, вы тоже можете запустить DeepSeek R1 :-)

Покажу на практике как легко и просто без использования командной строки запустить полноразмерную модель DeepSeek R1 на сервере с 768 гигами ОЗУ и что из этого получилось.

Статья подойдет и для тех кто хочет и на домашнем компе запустить нейросети, но не знает с чего начать.

Когда я пишу новости про ИИ, то часто сталкиваюсь с проблемой: они пестрят техническими терминами, которые не всегда понятны даже людям использующим ИИ регулярно. SFT, MoE, RL/RLHF/DPO, миллионы их.

Я захотел описать самые популярные термины простым русским языком, чтобы каждый, даже нетехнический человек, мог разобраться в самой главной технологии современности. Чтобы когда я пишу статьи, я сразу мог бы дать ссылку на понятное и простое объяснение сложных терминов. А ещё в этом проекте, мне захотелось сопровождать мои материалы симпатичными и понятными иллюстрациями на русском языке, поэтому я рисую их самостоятельно.

Так я начал свой хобби‑проект «AI человеческим языком». Каждую новую статью про популярный термин я хочу адаптировать под Хабр, и выкладывать сюда.

В последнее время мы видим огромный прогресс в обучении ИИ без участия человека. Это важно, потому что люди - бутылочное горлышко, подготовка и разметка данных вручную человеком - крайне дорогостоящий и длительный процесс. Революция, которую произвел DeepSeek R1 - это как раз следствие найденного способа обучать ИИ без ручного труда. Вчера я рассказывал о том, как китайские ученые автоматизировали процесс обучения ИИ программированию при помощи другого ИИ, который пишет тесты. А сегодня я хочу подробнее описать, в чем суть Reinforcement learning - термина, который используется почти во всех статьях про обучение ИИ.

В последние недели мир искусственного интеллекта (ИИ) был потрясен значительными достижениями китайских компаний, особенно DeepSeek и Alibaba, которые представили свои передовые модели — DeepSeek-R1 и Qwen 2.5-Max соответственно. Конечно же, эти события вызвали широкий резонанс в технологическом сообществе и привели к обсуждению будущего ИИ.

Меня зовут Роман Ленц, я начальник отдела анализа данных и машинного обучения ПГК Диджитал — цифровой дочки Первой грузовой компании – крупнейшего частного оператора грузовых железнодорожных перевозок в России. В этой статье мы разберемся, что за «зверь» этот DeepSeek и Qwen и что их появление значит для мира ИИ?

Продолжим рассказ о том, для чего можно использовать виртуальную инфраструктуру с GPU. Сегодня поговорим о том, какие ИИ пишут научные статьи, кто оптимизирует LLM с помощью других LLM, а также затронем регулирование систем ИИ.

Привер, Хабр!

В копилку статей про DeepSeek, которых здесь уже великое множество, хочу забросить ещё пять копеек в виде практического отчёта о инсталляции на Xeon, о котором меня попросили в комментариях к посту «Мануал по запуску полной модели DeepSeek-R1 локально...». Кому любопытно — может заглянуть под кат, ну а тем, кто уже выполнил упражнение по установке — вероятно будет совершенно неинтересно.

Привет, Хабр! Меня зовут Даша Галимзянова, я – NLP-разработчик в MTS AI. Сегодня  на своем опыте расскажу, как попасть на топовые международные ИИ-конференции – и зачем вам это нужно.

Мы постоянно слышим хайповые заявления: «ИИ нас всех заменит», «экспертиза больше не является ограничением», «мы уже знаем как создать AGI» итп. Под влиянием медиа и общественных ожиданий многие воспринимают потенциальные или прогнозируемые технологии как уже существующие.

В этой статье мы разберём, какие задачи искусственный интеллект реально решает уже сегодня, и как их можно разделить на категории: Инженер, Аналитик, Рассказчик и Ассистент. Мы также рассмотрим текущее распределение задач между этими категориями и спрогнозируем, какие изменения произойдут в ближайшие годы.

Далее мы погрузимся в технологии, лежащие в основе ИИ, и разберём их зрелость с помощью Wardley Map — как для классического машинного обучения, так и для генеративных моделей. Особое внимание уделим Retrieval‑Augmented Generation (RAG), одной из наиболее применимых в бизнесе технологий.

Наконец, мы ответим на два практических вопроса: как понять, что бизнесу пора внедрять ИИ, и как выбрать подходящий метод машинного обучения для конкретных задач.

Привет, Хабр! Меня зовут Владимир Казаков, я руковожу продуктом «Обучение» в МТС Линк. А еще я с удовольствием помогаю организовывать и проводить хакатоны — это всегда десятки свежих идей, передающийся от участников драйв, новые контакты и море опыта для будущих разработчиков. Полгода назад в наш рабочий чат внезапно прилетело сообщение: «Ребят, срочно! МИФИ организуют хакатон, нужна задача, желательно отправить сегодня!». Вызов был принят, и мы подготовили задание по работе с большими данными. В этом посте расскажу, чем студенты могут удивить разработчика с 15-летним стажем, в чем их сильные стороны, а что еще надо подтянуть.

Представьте, что вам нужно быстро сравнить распределения зарплат сотрудников разных отделов или оценить разброс результатов эксперимента. В таких ситуациях отличным выбором будет boxplot, он же “ящик с усами” – эффективный инструмент для выявления ключевых характеристик распределения, позволяющий быстро оценить медиану, разброс данных и обнаружить выбросы.

В этой статье мы подробно разберем, что такое boxplot и почему его называют “ящиком с усами”.

Современная система автоматизированного управления технологическими процессами (АСУ ТП) представляет собой киберфизическую систему, объединяющую информационные технологии (IT) и операционные технологии (OT). В таких системах OT-инфраструктура играет ключевую роль, обеспечивая управление производственными процессами. Однако именно атаки на OT-системы являются наиболее критичными и сложными для обнаружения, что делает их защиту одной из приоритетных задач в области кибербезопасности.

В данной статье речь пойдет о классе решений, разработанных с целью обеспечения защиты OT-инфраструктур, включая системы, о которых наши знания ограничены. Это достигается за счёт использования адаптивных механизмов обеспечения безопасности, способных эффективно реагировать на изменяющиеся угрозы.

Для оценки эффективности разработанного решения проведён эксперимент по выявлению аномальной сетевой активности в CIC Modbus dataset 2023.

Продолжаем изучать МРТ-данные с точки зрения Data Science. Сегодня: Inversion-Recovery и серии FLAIR, STIR. Размерности серий и их регистрация. Методы Echo Planar Imaging (EPI) и PROPELLER.

Содержание и первые части цикла статей здесь.

В статье обсуждается идея о том, что одиночный биологический нейрон может обладать "агентными" свойствами — уметь моделировать сигналы соседних клеток, предсказывать будущие стимулы и самостоятельно выбирать стратегию перестройки синапсов. Такая гипотеза открывает новые аспекты в понимании эволюции мозга и природы сознания... Подробности в моей статье, исследование, которое длится более 2-х лет.

Привет! Я Айрат Рахматуллин — senior аналитик в команде Seller experience (SX) Авито, мы отвечаем за опыт продавцов площадки. В этой статье рассказываю, как мы создали ML-модель, которая помогает исполнителям услуг повышать ликвидность объявлений, то есть получать больше заказов от клиентов.

Привет! Меня зовут Марк Паненко. Я Chief Data Science в Ozon Банке и большой любитель технической литературы. Этой статьёй я хочу открыть серию публикаций, в которых поделюсь лучшими, на мой взгляд, книгами, необходимыми Data Scientist-у на разных этапах его профессионального развития.

Дисклеймер: эта публикация написана на основе одного из выпусков моего подкаста — если хочется получше погрузиться в тему, приятного прослушивания.

Почему книги? И при чем тут комиксы? 

Когда я начинал свой путь в Data Science, мне казалось, что все вокруг уже разобрались в моделировании и работе с данными, и лишь я отстаю. Спасение пришло неожиданно — в виде комиксов. Да-да, вы не ослышались. Однажды я наткнулся на книгу Ларри Гоника «Статистика. Краткий курс в комиксах», и это изменило всё.  

С тех пор я убедился: хорошая книга — это не просто источник знаний, а тренажёр для мышления. Она помогает не утонуть в абстракциях и сохранить интерес к профессии. Сегодня я расскажу о пяти книгах, которые станут вашим «спасательным кругом» на старте.

Эта программа представляет собой свободную от зависимостей реализацию GPT-2. Она загружает матрицу весов и файл BPE из оригинальных файлов TensorFlow, токенизирует вывод при помощи простого энкодера, работающего по принципу частотного кодирования, реализует базовый пакет для линейной алгебры, в котором заключены математические операции над матрицами, определяет архитектуру трансформера, выполняет инференс трансформера, а затем очищает вывод от токенов при помощи BPE-декодера. Всё это — примерно в 3000 байт на C.

Код достаточно эффективно оптимизирован — настолько, что малый GPT-2 на любой современной машине выдаёт отклик всего за несколько секунд. Чтобы этого добиться, я реализовал KV-кэширование и применил эффективный алгоритм перемножения матриц, а также добавил опциональный OMP-параллелизм.

Взяв это за основу, можно создать некий аналог Chat GPT — при условии, что вас не слишком волнует качество вывода (объективно говоря, вывод получается просто ужасный… но решение работает). Здесь есть некоторые глюки (особенно с обработкой символов в кодировке UTF-8), а для эксплуатации модели размером XL с широким контекстным окном может потребоваться ~100 ГБ оперативной памяти. Но, если вы просто набираете текст в кодировке ASCII при помощи малого GPT2, то такая модель должна нормально работать примерно везде.

Я выложил весь код на GitHub, поэтому можете свободно брать его там и экспериментировать с ним.