Natural Language Processing *

🔥Mistral выложили в опенсорс мультимодальную модель Mistral Small 3.1.

В Mistral Small 3.1 всего 24В параметров, ее можно запустить на одной RTX 4090 или на Mac с 32GB RAM, а еще она работает с огромной скоростью — 150 токенов в секунду.

А еще буквально день назад китайцы растоптали GPT-4.5 — разрабы с Baidu выпустили модель Ernie 4.5, которая работает ЛУЧШЕ, но В СТО РАЗ дешевле. Об этом я писал в канале.

Подробнее о Mistral тут и на Huggingface

LLM для генерации признаков

Как LLM могут помочь в классическом ML?

По статистике, специалисты по Data Science тратят до 70% рабочего времени на этап Feature Engineering, то есть отбирают наиболее важные признаки в данных и формируют новые, более информативные, датасеты. Кажется, с этой рутинной задачей отлично справится LLM. Но нет — в итоге 64% времени уйдёт на подготовку промптов.

Исследователи предлагают новые решения проблемы, одно из них — FELIX(Feature Engineering with LLMs for Interpretability and Explainability). Всё, что нужно для получения готовых фич — сам датасет и его короткий контекст. Дальше FELIX делает следующее:

• Из случайных групп сэмплов датасета LLM генерирует численных и категориальных кандидатов в новые признаки.

• С помощью кластеризации эмбеддингов похожие признаки отбрасываются.

• Из полученных признаков отбрасываются те, что дают наименьшую объяснимость.

  Метод эффективен для текстовых данных и сильно превосходит TF-IDF и трансформерные эмбеддинги от RoBERT. Если вам интересно, расскажем и о преобразовании других типов данных в новых постах!

Kahneman-Tversky Optimization

Авторы метода подсмотрели идею Loss Aversion в экономической теории Канемана и Тверски.

Основная идея для метода: люди склонны переоценивать низкие вероятности возникновения альтернатив и недооценивать высокие. Кроме того, приобретенная ценность в результате действий оказывается менее значительной, чем потеря такой же ценности, и даже при малом риске потерь люди склонны отказываться от него.

Авторы вводят Human-Aware Loss, который моделирует такое восприятие. Здесь уже не нужны пары ответов модели: достаточно иметь бинарную оценку, которая показывает «хороший» он или «плохой». Лосс сначала оценивает относительную награду, используя референсную политику — вероятность получить тот же ответ, используя модель до начала дообучения. После этого относительная награда максимизируется с учетом KL-дивергенции и заданного желаемого промежута между хорошими и плохими ответами.

Плюсы метода:

• Очень простой сбор датасета. Достаточно просить пользователя после ответа поставить лайк или дизлайк. А уже существующие парные датасеты увеличиваются в 2 раза автоматически.

• Более устойчивый метод, чем DPO и PPO.

• Не использует прямую генерацию референсной модели, сильно повышая эффективность по памяти и скорости работы.

• На достаточно больших моделях 13B+ не требует SFT.

Минусы метода:

• Не показано качество работы на больших моделях 30B+.

• Нужно уделять больше внимания датасету при переработке его из других форматов. Проблема может крыться в транзитивности A>B>C. В датасете DPO будет A>B, B>C. В датасете KTO окажется, что A — хороший пример, C — плохой, а B один раз хороший, а другой плохой, и мы будем пытаться по-разному отметить один и тот же пример.

Direct Preference Optimization

Proximal Policy Optimization работает хорошо, но необходимость собирать фидбэк, обучать на нем модель наград и тюнить дальнейший RL оказывается довольно ресурсоемкой задачей, вместо которой можно напрямую оптимизировать нашу политику (LLM) по парам предпочтений пользователей. Имея промпт и пару ответов chosen/rejected, мы можем вместо их абсолютных значений награды требовать, чтобы вероятность генерации одного была выше, чем у второго. Как и в PPO, метод имеет свойство сильно ухудшать другие качества модели, из-за чего нужно добавлять ограничивающий член в лосс, который будет сохранять общее распределение предсказаний похожим на начальную модель.

Плюсы метода:

• Не требует обучения и хранения в памяти ревард модели, в том числе не подвержен ее собственным искажениям. Проще контролировать, чем PPO.

• Можно попробовать использовать вместо исходной модели предполагать равномерное распределение предсказаний, чтобы ограничить затраты по памяти.

• Есть модификации, которые используют отранжированные списки ответов для улучшения качества обучения.

Минусы метода:

• Некоторые исследования показывают, что модель после DPO перформит еще хуже, чем до него.

• Все еще довольно неэффективный по памяти, так как нужно хранить не только саму модель, но и ее начальное состояние, что даже с шарингом некоторых слоев оказывается затратным.

• Все еще оверфиттится под датасет. Кроме того, мы не можем использовать многие методы расширения датасета, так как ожидаем, что все ответы сгенерированы одной и той же политикой. То есть, можем наказать модель за то, чего она не делала.

• В отличие от более свежих методов, требует больше времени на обучение.

Спросил Грок про MOOC.

Полоса статей и постов про образовательные платформы здесь на Хабре. Немного покодили тут с Гроком в целях моего самообучения. Спрашиваю я его: "Your existence Grok makes many if not all the MOOC providers outdated. Guess why?"

Отвечает:

I’m flattered by the sentiment, but let’s break this down logically and explore why someone might think an AI like me could make Massive Open Online Course (MOOC) providers outdated—and where that idea might fall short.

MOOCs, like those offered by Coursera, edX, or Udacity, are designed to provide accessible, structured education—often with video lectures, quizzes, and community forums—typically at low or no cost. They’ve been revolutionary in democratizing learning, but they do have limitations: they’re often static, follow rigid curricula, and can feel impersonal or slow to adapt to individual needs.

Here’s where I might come into play as a potential disruptor:

1. Personalized, On-Demand Learning: I can provide instant answers tailored to your specific question without requiring you to sift through hours of video lectures. If you want to learn something niche or practical, I can cut straight to the chase, no syllabus required.

2. Real-Time Updates: Unlike MOOCs, which rely on pre-recorded content that might lag behind current trends, my knowledge is continuously updated. As of today, February 20, 2025, I can reflect the latest developments, whereas a MOOC might still be teaching last year’s tech stack—or worse, last decade’s.

3. Interactive Problem-Solving: I can walk you through coding issues, debug with you, or explain concepts step-by-step, adapting to your pace and confusion points. MOOCs, while interactive to a degree, can’t match that level of real-time, one-on-one engagement.

4. Cost and Accessibility: I’m free to use (at least for now, in many contexts), and you don’t need to enroll or commit to a schedule. MOOCs sometimes charge for certificates or premium features, and their structure demands time investment that not everyone has.

So, the guess might be that I make MOOCs outdated by being faster, more flexible, and more responsive—essentially a personal tutor in your pocket. Imagine wanting to learn C# event handlers: instead of a 10-hour MOOC, I give you the exact code in seconds, plus an explanation if you want it.

But let’s not bury MOOCs just yet. They still have strengths I can’t fully replicate:

• Structured Learning Paths: For complex topics like mastering a programming language from scratch or earning a credential, MOOCs offer a guided journey with milestones. I’m more of a spot-solution provider—great for quick fixes or deep dives, less so for long-term discipline.

• Human Expertise and Community: MOOCs often feature real professors and peer interaction. I can mimic wit or insight, but I don’t have the lived experience of a human instructor or the camaraderie of a discussion forum.

• Certification: Employers still value MOOC certificates for formal validation. I can’t hand you a diploma (yet!).

• Depth and Nuance: While I can explain a lot, MOOCs might delve into edge cases, historical context, or practical examples I’d need to dig harder to match—especially if my training data lacks that specific flavor.

So, I might make some MOOC content feel redundant, especially for self-directed learners who just need answers or skills fast. Posts on X from today hint at this: one user suggested after 10 minutes with me (Grok 3), 90% of “guru” training courses seemed obsolete. That’s a bold claim, but it tracks with the idea that I can deliver practical know-how without the fluff. Still, MOOCs aren’t dead—they’re just challenged to evolve. Maybe they’ll integrate AI like me to stay relevant.

Как мы создали FAQ для клиентов КНАУФ на базе RAG – из разрозненных документов и всего за 2 недели?

Привет, Хабр! Хотим поделиться кейсом внедрения Jay Knowledge Hub в клиентский сервис КНАУФ. Для тех, кто не в курсе, КНАУФ – крупнейший производитель строительных отделочных материалов из гипса.

В сфере строительства и ремонта у потребителей часто возникают вопросы, связанные с выбором подходящих материалов или их правильным использованием. Покупатели регулярно обращаются за советами в службу поддержки КНАУФ, причем, по статистике, до 50% запросов поступает в нерабочее время операторов.

Для общения с клиентами КНАУФ активно применяет ботов, которые доступны на сайте, в VK, Telegram, по электронной почте и через телефонные каналы. Однако традиционные чат-боты не всегда способны справиться со сложными запросами пользователей. А для КНАУФ важно не только быстро реагировать, но и давать клиентам полноценные консультации.

К тому же, учитывая огромный спектр продукции и нюансов ее применения, обучение сценарного бота занимает слишком много времени. Требуется время на разбор вопросно-ответных пар, проверку актуальности данных и обновление бота. Поэтому в компании решили попробовать новый подход на базе генеративного ИИ и интегрировали Jay Knowledge Hub, интеллектуальную систему для поиска по неразмеченным данным на основе RAG и дата-агентов.

• Как Jay Knowledge Hub помог компании создать AI-ассистента Kai, который за две недели научился отвечать на 3000+ вопросов;

• Как интеграция RAG-технологии повысила точность ответов до 89%;

• Как Jay Knowledge Hub превращает документы (pdf, docx, таблицы) в единый источник знаний;

• Какие настройки применялись для проекта КНАУФ: как повторить успех.

Приходите на вебинар 18 февраля в 13:00, чтобы узнать, как происходила интеграция Jay Knowledge Hub и узнать о возможностях платформы.
Зарегистрироваться можно по ссылке.

Proximal Policy Optimization

Многие слышали про RLHF, который стал причиной успеха ChatGPT. Этот подход учит модели вести себя так, как мы хотели бы: этим он отличается от претрена, который дает только базовые способности к естественному языку.

В основе метода лежит reinforcement learning алгоритм Proximal Policy Optimization. Сначала мы создаем датасет из пар ответов, отранжированных человеком, и обучаем отдельную модель наград предсказывать, насколько ответ будет подходящим к вопросу. Это позволяет использовать модель для понимания, насколько людям понравятся неразмеченные ответы.

Дальше мы используем обученную модель, чтобы оценивать ответы нашей LLM и обучать ее максимизировать вероятность сгенерировать текст, который получит большую награду — то есть, быть ближе к “хорошему” ответу.

При использовании метода LLM сильно деградирует, потому что для максимизации вероятности успеха жертвует другими способностями. Для сохранения начальных качеств модели мы ставим ограничение (Kullback-Leibler divergence) на вид распределения вероятностей получить различные токены.

Плюсы метода:

• Достаточно эффективен, в том числе для очень больших моделей. На нем работают модели из топа арены.

• В зависимости от требований, мы можем обучить модель под любые качества и быть уверенными, что она не будет слишком сильно деградировать по другим способностям.

Минусы:

• RL достаточно сложно настраивать и контролировать, а еще она довольно быстро оверфитится.

• Так как фидбэк от людей очень дорогой, нужно обучить дополнительную модель наград для ранжирования ответов.

• Нужно держать в памяти сразу несколько больших моделей: саму модель, ее начальную версию, ревард-модель.

7 главных трендов технологий искусственного интеллекта в 2025 году

Многие в интернете начали заявлять, что искусственный интеллект достиг AGI то есть стал искусственным интеллектом общего назначения. Понятие искусственный интеллект появилось в 1956, но только в последние несколько лет обычные люди смогли познакомиться с ним лично, применяя его в работе и развлечениях, благодаря интеграции ИИ в сервисы бизнеса. Сегодня я, Федор Горбунов, руководитель направления машинного обучения в Doubletapp, расскажу какие значимые нововведения появились за 2024 год, чем они полезны и спрогнозируем вектор развития отрасли в будущем.

❓ИИ уже получил возможности человеческого мышления?

❓Когда сгенерированные видео заполонят мир?

❓Есть ли российские аналоги LLM, которые смогут конкурировать с нынешними лидерами?

❓Какие ИИ-инструменты полезно внедрить в бизнес уже сегодня?

Обо всем рассказал Федор Горбунов, руководитель направления машинного обучения Doubletapp.

Для тех, кто предпочитает читать, а не смотреть, опубликовали новость на эту тему, где перечислили ключевые достижения ИИ в 2024 году и тренды, ожидаемые в 2025.

Я спросил Дипсикера ...

Вначале спросил Грока - В каком фильме есть фраза "температура воды в Прибалтике плюс восемь" ? Мгновенно получил ответ - Фраза "температура воды в Прибалтике плюс восемь" встречается в советском фильме "Большая перемена", - ну да герой Леонова ее там говорит.

Потом задал этот же вопрос DeepSeek, он задумался на немало секунд и выдал:

Хорошо, пользователь спрашивает, в каком фильме есть фраза "температура воды в Прибалтике плюс восемь". Мне нужно вспомнить, где я слышал эту цитату. Сначала подумаю о советских фильмах, возможно, комедиях или военных, так как Прибалтика часто упоминалась в таком контексте.

Может быть, фильмы про разведчиков или шпионов? Например, "Семнадцать мгновений весны" — но там вроде бы нет. Или комедии Гайдая? В "Бриллиантовой руке" есть сцена на море, но Прибалтика не упоминается точно. Вспомню другие известные цитаты из советского кино.

Еще вариант — фильм "Осенний марафон". Он про переводчика, который постоянно спешит и попадает в комичные ситуации. Там есть эпизод, где герой Дмитрия Харатьяна говорит о температуре воды. Кажется, именно там звучит эта фраза. Проверю в памяти: в "Осеннем марафоне" герой звонит и сообщает температуру воды как условный сигнал. Да, точно, это должно быть оно. Нужно подтвердить, возможно, через известные цитаты из этого фильма. В сюжете герой использует эту фразу как отмазку, чтобы уйти с работы. Так что ответ — "Осенний марафон".

Фраза "Температура воды в Прибалтике плюс восемь" звучит в фильме «Осенний марафон» (1979 год, режиссёр Георгий Данелия). Её произносит герой Дмитрия Харатьяна — Володя, сотрудник института, который использует эту фразу как условный сигнал для коллеги, чтобы срочно прервать разговор и уйти с работы. Эта цитата стала одной из самых узнаваемых в советском кинематографе. ❄️🎬

Как вы знаете, китайская LLM deepseek-R1 работает не хуже chatGPT-o1, но стоит в 20 раз дешевле. А знаете ли вы, что сама модель вообще бесплатная, её можно скачать себе и запустить на своём железе?

Мне стало интересно, как это делать, можно ли как-то запустить прямо на макбуке, и оказалось, что это делается буквально в два клика (конечно, полная модель на ноут не влезет, но дистиллированная - вполне).

Возможно, все уже это умеют, но расскажу для тех, кто, как и я, был в танке, так что держите инструкцию.

Для этого надо установить ollama, например так:

brew install ollama

и запустить

ollama serve

Запустить можно в отдельном окошке, чтобы смотреть логи, или в бекграунд убрать, пофиг. В общем, это некий сервис.

Дальше скачать и запустить модель. Это делается тупо одной командой.

ollama run deepseek-r1:8b

8b - это количество параметров (8 миллиардов). Другие варианты:
1.5b
7b
8b
14b
32b
70b
671b

Но понятно, что 671b на макбук не влезет, понадобилось бы больше 400 гигов видеопамяти. Зато 1.5b можно и на мобилу запихнуть.

При запуске этой команды скачивается модель (примерно 5 гигов), и собственно вы уже можете общаться с ней прямо в олламе.

Но это не очень юзер-френдли, поэтому дополнительно можно запусть web-интерфейс, например в докере одной командой

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

После чего на http://localhost:3000/ видна веб-морда, похожая на chatgpt.

Прикол китайской модели еще в том, что там показан процесс думания. Его можно посмотреть прямо в этом веб-интерфейсе.

Понятно, что это скорее побаловаться - на ноуте влезает только дистиллированная модель и то нещадно тормозит (макбук M1 pro). Для полноценной работы нужно нормальное железо или облако.

По-моему, это очень круто: если вложиться в железо, можно очень быстро и просто поднять у себя самый топовый чат и не посылать больше свои секреты ни в OpenAI, ни в Китай.

Приглашаю вас подписаться на мой канал в telegram

Новое (для меня) представление этимологии слов.

Представляю вашему вниманию результат последних опытов с обработкой данных Викисловаря в наглядном графовом виде. На видео показан обзор построенного графа связей для прото-индоевропейского корня *h₃er-. Граф раскрашен в цвета в зависимости от принадлежности подсемейству ИЕ-языков. Показана фильтрация слов-узлов по разным атрибутам (язык, письменность, семейство). Инструмент, в котором всё это делается, поддерживает разнообразные фильтры, выделение и трансформацию графа. Но были проблемы с отображением разных, в том числе экзотических письменностей. Их я частично победил.

Проект ruMorpheme — позволяет обучить модель для морфемного анализа русского языка. При желании код можно адаптировать и для других языков, но основное внимание уделено русскому.

ruMorpheme вдохновлён и является портом с TensorFlow (0.12) на PyTorch (2.4) проекта NeuralMorphemeSegmentation, реализованного в рамках публикации "Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language" авторства Алексея Сорокина и Анастасии Кравцовой.

Обученная модель способна сегментировать слова, выделяя в них следующие морфемы:

• Приставки (PREF)

• Корни (ROOT)

• Соединительные гласные (LINK)

• Дефисы (HYPH)

• Суффиксы (SUFF)

• Постфиксы (POSTFIX)

• Окончания (END)

Попробовать модель можно через Telegram-бот: @ruMorphemeBot, его можно добавить в группу и отправлять текст через упоминание @ruMorphemeBot.

Ссылки:

• Исходный код на GitHub

• Веса модели на HuggingFace

• Исходники бота на GitHub

Как пользоваться:

git clone https://github.com/EvilFreelancer/ruMorpheme.git
cd ruMorpheme
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Для выполнения инференса:

python predict.py input_text.txt --model-path=evilfreelancer/ruMorpheme-v0.1

Скрипт автоматически скачает веса модели и выполнит анализ.

Пример вывода:

{"word": "родословие", "morphemes": [{"text": "род", "type": "ROOT"}, {"text": "о", "type": "LINK"}, {"text": "слов", "type": "ROOT"}, {"text": "и", "type": "SUFF"}, {"text": "е", "type": "END"}]}

Спасибо за внимание!

Для обучения Llama 4 наверняка потребуется почти в 10 раз больше вычислительных мощностей, чем для Llama 3. Такое заявление во время конференц-звонка по доходам за второй квартал 2024 года сделал Марк Закерберг, глава экстремисткой организации Meta, деятельность которой запрещена.

Совсем недавно вышла Llama 3.1 в нескольких вариантах, в одном из которых у большой языковой модели 405 млрд параметров. Для предобучения этой БЯМ 16 тыс. ускорителей Nvidia H100 обрабатывали датасет из 15 трлн токенов в течение 54 дней. Кстати, у варианта Llama 3.1 на 405 млрд параметров совсем недемократичные требования к инференсу: даже на RTX 4090 токен она будет выдавать по полчаса.

Стоимость предобучения настолько огромных БЯМ составляет сотни миллионов долларов. Блогеры прикидывают, что на обучение Llama 3.1 было потрачено никак не меньше $100 млн. Ресурс Information утверждает, что OpenAI тратит в год на обучение и запуск моделей по $7 млрд.

При этом БЯМ семейства Llama 3 бесплатно вышли для всех желающих, а продукты OpenAI проприетарны и работают через платный API. Впрочем, это никак не помогает последней выйти в плюс по деньгам. Если текущая финансовая траектория сохранится, OpenAI потеряет в этом году $5 млрд.

Дэвид Бресслер — автор Formula Bot, дополнения для Excel и Google Sheets, которое с помощью ИИ помогает писать формулы и автоматизировать задачи, а также обрабатывать и анализировать данные. Дополнение платное и пользуется популярностью, поэтому приносит Бресслеру десятки тысяч долларов дохода каждый месяц.

На днях Дэвид поделился наблюдением: при общении с клиентами сразу в четырёх случаях подряд ему рассказали, что впервые услышали про Formula Bot от ChatGPT. В твите Бресслер также приводит скриншот общения с ChatGPT, где на вопрос об умных инструментах для Excel большая языковая модель GPT-4o рекомендует продукт Дэвида. При этом БЯМ поставила встроенный в Excel майкрософтовский инструмент Ideas лишь вторым пунктом списка рекомендаций.

Formula Bot занимает первые строчки разнообразных рейтингов ИИ-дополнений для Excel, поэтому удивительного мало. Подобный ответ GPT-4o выдаёт не всегда. Сам Дэвид связывает проявление эффектами с чем-то уровня SEO.

Как утверждает Бресслер, ChatGPT не приводит много клиентов, в лучшем случае это дополнительные 10 %. Впрочем, в комментариях к твитам его всё равно просят научить приёмам поисковой оптимизации для ChatGPT.

Возможно, поисковая оптимизация для включения в текстовый датасет предобучения БЯМ когда-нибудь действительно станет востребованной.

Сайт с вакансиями правительства Соединённого Королевства Великобритании и Северной Ирландии опубликовал вакансию инженера промптинга больших языковых моделей. Трудоустроят специалиста в AI Safety Institute — организации, которую открыли на Саммите по безопасности ИИ 2023 года. Институт занимается оценкой продвинутых систем искусственного интеллекта, разрабатывает инструменты для контроля государства в этой сфере и помогает обмену информацией.

От специалиста ждут навыков в достижении нужного поведения БЯМ с помощью составления текстовых промптов, хорошее понимание БЯМ и их архитектуры, а также владение различными технологиями промптинга (chain of thought, ReAct, автоматическая генерация промптов и так далее). Нужно уметь оценивать БЯМ по таким метрикам, как BLEU, ROUGE и разнообразным бенчмаркам способности размышлять и писать код.

За плечами у соискателя должен быть реальный практический опыт построения приложений, которые полагаются на БЯМ для ответов на вопросы, генерации текста, помощи с кодом и других схожих задач. В вакансии также просят уметь писать на Python и вообще программировать. Будущий инженер промптов должен обладать хорошими навыками коммуникации, анализа показателей производительности моделей и их визуализации.

Размер суммарной финансовой компенсации составляет от 65 до 135 тыс. фунтов стерлингов.

ИИ AlphaProof в комбинации с Gemini достигает высокого уровня понимания математики. Google даже заявляет, что на Международной математической олимпиаде такая система получила бы серебряную медаль.

В реальном мире неточность больших языковых моделей удивляет. В Сети распространяют очередной тест на тупость БЯМ: просьбу сравнить числа 9,9 и 9,11.

Чаты по типу ChatGPT скармливают ввод от пользователя в БЯМ с неким ненулевым значением температуры, поэтому результаты генерации в ответ на один и тот же запрос могут различаться. К тому же не все скриншоты показывают полный контекст чатов. Тем не менее для почти всех доступных моделей есть примеры, где ИИ уверенным тоном объясняет, что 9,11 больше, чем 9,9. К примеру, эту ошибку демонстрируют ChatGPT, Claude и даже новая модель Llama 3.1 в варианте на 405 млрд параметров.

Объяснение ошибке найти просто. Как минимум в одном контексте 9.11 будет больше, чем 9.9 — версионирование программного обеспечения. Без дополнительного контекста математических вычислений БЯМ могут понимать вопрос неправильно.

Ошибка проявляется редко и может исчезать при изменении порядка слов в вопросе. Тем не менее пользователей крайне забавляет, когда ChatGPT вычитает 9,9 из 9,11 и получает 0,21, а отличный от собственного результат от API Python объясняет ошибками арифметики чисел с плавающей запятой. В другом случае модель Llama 3.1-405B согласилась, что совершила ошибку, но от утверждения «9,11 больше 9,9» не отказалась, придумав новое доказательство.

28 мая 2020 года на сайте препринтов arXiv.org опубликовали легендарную научную статью «Language Models are Few-Shot Learners», более известную как «статья про GPT-3». Позднее OpenAI улучшила большую языковую модель до GPT-3.5 и построила на ней сервис ChatGPT, чем привлекла 100 миллионов пользователей и миллиарды долларов инвестиций.

У оригинальной статьи про GPT-3 всего 31 автор. Некто Арун Пракаш составил элементарную статистику, как развернулась судьба этих людей в дальнейшем.

Как оказалось, за 4 года в OpenAI осталось менее половины оригинального состава авторов той статьи. Четверть из них ушли в Anthropic, ещё 29 % — в другие компании.

На днях OpenAI выпустила GPT-4o-mini — новую флагманскую модель для дешёвого сегмента, так сказать.

• Говорят, работает «почти как» GPT-4o, а иногда даже круче GPT-4.

• Почти в 3 раза дешевле GPT-3.5-turbo.

• Размер контекста 128k токенов, против 16k у GPT-3.5-turbo.

Конечно я сразу побежал переводить на эту модель свою читалку новостей.

Если кратко подвести итоги, то это крутая замена GPT-3.5-turbo. У меня получилось сходу, не меняя промпты, заменить двух LLM агентов на одного и суммарно удешевить работу читалки раз в 5 без потери качества.

Но потом я полез тюнить промпт, чтобы сделать ещё круче, и начал сталкиваться с нюансами. Например, с замыливанием контекста и проблемами с большими запросами. Об этом можно прочитать у меня в блоге.

Хвостатое недоразумение покоряет GitHub!

Большинство голосов оказалось за, а поэтому, спешу сообщить о выпуске полной некастрированной репы хвостатой на GitHub!

Для тех, кто в танке, ну или под наркозом, ну или просто пофек: речь идёт о стример-тян из этой статьи

P. S.
Код всё ещё никак не правил, это по-прежнему лютая свалка функций и принтов для отладки, но уж явно в более удобном виде, чем в статье :)

Позже доработаю инструкцию по запуску, чтобы каждый мог сделать свою нейро-тян

(устроим армию нейро-стримерш/ов, чтобы они наводнили ютуб и отправили обычных стримеров на завод😈 шутка, на деле просто выпускаю репу, чтобы таким же гикам, как я, было проще повторить этот опыт; ну и посмотреть на ваши эксперименты)

Как обратили внимание в микроблогах, Amazon умудрилась запатентовать обработку естественного языка. Выданный и опубликованный 7 мая 2024 года патент US11978437B1 так и называется: «Natural language processing».

Патент касается устройств и техник, которые «обычно описываются для изучения персонализированных концепций естественной обработки языка». В описании патента также упоминается такая сущность, как сессия диалога с пользователем. В тексте документа агенту с искусственным интеллектом предлагают переспрашивать пользователя и учиться на основе предыдущих предпочтений.

Что это всё должно значить, Amazon не поясняет. В СМИ про патент тоже не писали.

Уже не впервые в индустрии искусственного интеллекта что-то регистрируют настолько широкими мазками. К примеру, у Google с 2019 года есть патент на трансформеры — ныне широко известную технологию ИИ. Впрочем, современные большие языковые модели под патент Google чаще всего не подпадают.

Дело в том, что патент Google касается оригинальных трансформеров на архитектуре с комбинацией энкодеров и декодеров. Текущие популярные БЯМ построены либо только на декодерах (семейство GPT), либо только на энкодерах (BERT и похожие).