Встречаем YandexGPT 5 — в Алисе, облаке и опенсорсе

Скажите, пожалуйста, а что там на счет function invocations? qwen2.5 иммет поддержку tools (смотрю на ollama) https://ollama.com/library/qwen2.5

Я уже было подумал, что статья начнётся с "Привет, меня зовут Алиса..."

А какая версия YandexGPT используется при общении с колонкой Алисой если у тебя самая обычная подписка Яндекс Плюс?

По тексту Pro версия модели может в контекстное окно - 32k (или же " соответствуют 48k токенов модели Qwen-2.5-32B-base") токенов?

PS. "В пятом поколении две модели c длиной контекста 32 тысячи токенов" - сайт

Мат даже цитатой не пишет ("Есть темы, в которых я могу ошибиться. Лучше промолчу") видимо стесняется, бывает). Однако в любом случае для Pro версии контекст в 32k - это очень мало.

Спросил я тут недавно у Алисы, когда с ребенком готовили домашнее задание по географии, какие страны входят в Евросоюз. Алиса сказала, что это слишком чувствительный вопрос из-за которого мы можем поссориться. Вот.

Честно у меня вопрос все еще насчёт сэмплирования для structured output когда появится? Хоть выпустите 20 новых моделей пока этой фичи не будет, большая часть сообщества не начнёт делать на базе Ya какие-то либо решения от агентов для классификации на базе LLM

Простите, Яндекс, но, судя по лицезии модели, это НЕ OpenSource по определению, и даже не OpenSourceAI.

Если модель нельзя использовать в любых целях, кроме некоммерческих и исследовательских, это делает её кирпичом, который, по-сути, никому не нужен. Более того, выход модели нельзя модифицировать (к примеру, менять alignment), а это нарушает ещё один тенет опенсорса. Когда вы выкладываете модель для рассмотрения, пожалуйста, хотя бы не обманывайте людей маркетингом.

Печально, что такие релизы размывают определение и подрывают доверие к и без того замученному сообществу OpenSource

пригодиться, спасибо, gguf файл бы еще для оболочек готовых

Задал вопрос: "Что такое хтонь?". Версия Про кратко ответила, что это слово жаргонное и неформальное, не вдаваясь в детали. Версия Лайт YandexGPT-5-Lite-8B-pretrain-Q4_K_M-GGUF и вовсе переключилась на английский, рассудив, что это неизвестный английский термин. К слову,  Qwen2.5-14B-Instruct-Q5 грамотно и по-русски ответила на этот вопрос.

Я правильно понимаю, что основа - это Qwen?
И если да, я правильно понимаю, что вы взяли Qwen под апачем, дообучили, потом выложили в open-source неюзабельную модель без инстракта под окирпичивающей лицензией, умышленно сделав использование open-source модели невозможным (до тех пор, пока ребята почестнее не дообучат инстракт), и выдав 20 бесплатных запросов в день в модель? И я бы понял, если бы это был прорыв типа о или о1, но там ведь даже ризонинга нет и говорить не о чем, потому что цензура обрубает вообще почти любые запросы.

P.S. Почитал лицензию, это как ваши собеседования - чисто вечерком посмеяться. Например, в 6 пункте:

И в 10:

Ставлю оценку 10 яндексов из 10.

Спасибо за ваши труды и поддержание высокого уровня специалистов в передовых технологиях в стране.
Однако, сравниваете вы в публикации YandexGPT 5 Pro, но выложили сильно сокращённую версию. Это подталкивает не самых внимательных читателей к ложному выводу. На практике для нынешних моделей можно только начинать думать об использовании, а не для "поиграться и забыть", начиная где-то с 32b. Хотя phi-4 пытается это утверждение сейчас и оспорить.
Что будет, если выложить YandexGPT 5 Pro - упадут продажи Алисы? Это вряд ли: желающих поиграться с pro-моделью (тем более, она по качеству сравнима с тем, что уже и так доступно) наберётся хорошо если тысяча-другая, и вряд ли они собирались покупать устройство с Алисой. Хорошо, когда люди проявляют "добрую волю" (естественно, понимая, что на длинном горизонте планирования это принесёт прибыль; конечно -- без прибыли в нынешнем капиталистическом мире и пальцем никто не шевелит, тут ни у кого иллюзий нет). Моя "добрая воля", например, заключается в том, что я исправно плачу за Яндекс+, но им почти не пользуюсь, рассматривая это как свой "добровольный вклад в развитие российских технологий". Впрочем, я бы вам лучше добровольно перевёл целевые деньги на покупку H200 (уже видел в продаже на яндекс-маркете), чтоб вы охотнее делились результатами своих интеллектуальных трудов с праздношатающейся общественностью -- это я про себя, так как запускаю и "тестирую" модели уже который год пока исключительно из любопытства, но вижу их быстрый рост и надеюсь скоро получать от этого хоть какую-нибудь помощь, отсюда и готовность к "инвестициям" в приятной и не обязывающей никого форме вида "добровольное пожертвование".

Решил попробовать локальную лайт версию. Она весьма порадовала:

Скрытый текст

На strawberry заглушку поставили ?) Смешно)

А почему в статье нет сравнения с DeepSeek, СhatGPT? Проверил на идентичных запросах (не простых), от яндекса получил просто какой то сюр, не иначе.

Неужели это недоразумение ДЕЙСТВИТЕЛЬНО заслуживает отдельной статьи с описанием, формулами и таблицами?

Более того, я об этом узнал из новостных изданий.. Дело конечно ваше, но такое в публику выставлять мне было бы стыдно.

Так мы и сделали: инициализировали наш пайплайн обучения не случайными весами, а весами модели Qwen-2.5-32B-base

Не совсем понял - т.е. YandexGPT 5 Pro это глубокий файнтюн Qwen 2.5 32B?

Мелкая модель 8b выглядит весьма интересно по бенчмаркам, но без инстракта пока не сильно юзабельно.

Roses are red Violets are blue There is always An Asian better than you.

Хотелось бы пощупать instruct на ollama.com, надеюсь, выложите.

YandexGPT 5 Lite 8B Pretrain тоже бы туда залить.

О, ещё одна моделька от ру-крупняка в открытом доступе. Интересно было бы сравнить на тестах с такой же лайт версией T-lite от команды т-банка. Она тоже на HF лежит, если кто-то займётся сравнением.

Я казуальный пользователь Яндекс Станции, какие-то глубокими ИИ фичами не пользуюсь, но испытываю проблему с простейшим функционалом - поставить нужную мне песню. Колонка часто ставит не ту. Причём, в том числе, когда постановка идёт текстом из сценария, так что неверное распознавание речи исключено. Что характерно, проблема плавающая. Станция несколько дней ставит верную песню. Потом несколько дней неверную. И так по кругу. Пробовал подключать подписку Pro - не помогло.

Вопрос 1. Это обновление как-то поможет в улучшении определении песни, которая нужна пользователю?

Вопрос 2. Можете в сценарии добавить возможность указывать ссылку на песню на Яндекс-Музыке или там её числовой ID? Чтобы раз и навсегда пресечь проблему постановки неправильной песни

Нет open source инструкт модели, неинтересно. Да и выложенная base с такой лицензией на OS слабо тянет. Думал протестить в нашем пайплайне файнтюна на добавление аудио модальности, но в таком формате смысла не вижу время тратить, останусь на квен/t-lite.

Задал следующий промпт (по мотивам домашки с дочкой):

Через точку М, взятую на медиане AD треугольника ABC, и вершину В проведена прямая, пересекающая сторону АС в точке К. Найдите отношение AK/KC если М — середина отрезка AD. Создай html код Android для визуализации задачи.

Deepseek:

Yandex 5 pro:

Deepseek просто поразил, если честно...

Интересно, а чтобы стартовать с весов Квена, взяли его токенизатор? Или как то придумали как их использовать со своим токенизатором?

Статья очень интересная, много классных идей! Вот бы еще репорт в формате ресерч статьи.

Когда она уже научиться нормально произносить химические (и не только) формулы? Второй год прошу формулу этилового спирта, и опять последний аш не может произнести. Причём пишет корректно, но "язык", видимо, не поворачивается произнести. Или это запрещённая информация? )))

А как вы сдружили свой токенайзер с претрейн весами Qwen или в этой версии эксперимента токенайзер тоже от Qwen?

Компания яндекс везде прямо так такая классная, как она сама утверждает, но стоит присмотреться внимательнее и оказывается, что все как обычно уныло,

вот кейс к примеру мой из самых свежих:

• Купил я колонку Яндекс мини, просил ребенок для сказок и т.д., так же меня уже самого заинтересовали как раз яндекс GPT, думаю попробую, ведь ChatGPT работает только через впн. Купил поставил, активировал, неприятным сюрпризом оказалось то что что работает она, только при купленной подписке, купил ее (но даже на этой стадии компания Яндекс отличилась, везде обещают месяц бесплатного пользования, но после покупки этот самый месяц никуда не добавился, и год подписки соответственно пошел с момента покупки, мелочь конечно, но осадочек то копится) и тут отказывается что везде рекламируемый у нас в РБ Yandex GPT (везде яндекс мне пихает эту рекламу когда я на него захожу) не работает в Республике Беларусь, у нас союзное государство и т.д., но вот сервисы Yandex GPT недоступны , как говорится "лес ===> там"

  Я конечно предположу что компания яндекс это мелкая контора, которая конечно же не собирает с меня метрику, и не видит из какой страны я пользуюсь ее сервисами, и по ошибке пихает мне рекламу думая что я из РФ, но что то мне подсказывает что это не совсем так, и думается мне что им просто наплевать на меня как на клиента.

  И потому читать такие новости как то обидно что ле, хотелось бы сказать компании: Вы сначала, хотя бы уберите наплевательское отношение к клиентам, для начала, а потом уже, успехами делитесь.

А могли бы Вы подробнее описать, чем пайплайн построения 32B версии отличается от Ruadapt? В частности, было бы полезно сравнение с RuadaptQwen2.5-32B-Pro-Beta / RuadaptQwen2.5-32B-Instruct, так как это модели с адаптированным токенайзером.

Регулярно использую нейросетки для работы с текстами для широкого круга задач.

Алиса не выдерживает конкуренции даже с Le Chat. Сам не технарь, может контекст мал, может цензура по широкому кругу тем мешает, но тупит и зачастую отказывается отвечать на вопросы.

Интересно, в какую сторону будет развиваться LLM-архитектура. Было бы круто, если бы LLM будущего обучились не как огромные хранилища знаний, а лишь самому «когнитивному процессу», а сами знания модель бы получала уже на этапе инференса с использованием RAG-систем. Чисто интуитивно как будто такая модель могла бы конкурировать по бенчмаркам с топовыми моделями, но была бы гораздо меньше по размеру за счет того, что веса не хранят «знания», а лишь извлекают образы из знаний на входе. Существует ли что-то подобное?

Много слов, а на деле яндекс колонка по-прежнему на фразу "французский шансон" включает Михаила Круга. Невзирая на претрейны и бенчмарки.

Вот, что на самом деле под капотом у YandexGPT 5 Pro:

"Опенсурсная" лицензия это цирк не имеющая с опенсорсом ничего общего. Ни open, ни даже source. Тем более ни open source ака

Самое смешное яндекс не несёт никакую ответственность, но как пользователь "Вы обязуетесь защитить Яндекс и Аффилированных лиц". Хорошая позиция. Теперь Яндекс может запустить модель на своём железе и не платить за все электричество - будут судить, претензии отправятся пользователям.

А перворожденных Яндексом еще не надо называть?

А ведь YaLM нормальным опенсорсом был.

Если без негатива и посторонних суждений. С мелкой моделью полный порядок. И ведёт она себя именно как instruct, во всяком случае то, что я утянул с Хаггинга в виде GGUF-4k

Рекомендую проверенный темплит (для ollama):

TEMPLATE "{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>
"
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

Из всего русскоязычного в данной весовой категории - лучшее, что есть. Яндексу респект. Только несколько дней назад тихо матерился про себя - "Ну где же нормальные русские модели для потреб.железа?" И вот явилось. Круто, в общем

А кто подскажет, большие тексты он может обрабатывать? Хотел потеститровать. Мне надо из кучи хроники документальную повесть написать. Перплексити справляется, но по 200 строк загружает куски, хотя понимает, что это продолжение предыдущего куска.
Думал может ЯЖПТ не хуже.. но не смог даже текст загрузить и добиться от него разъяснений, то пишет что можно файл, то нельзя, то пишет можно большой текст, то только совсем маленький.
Я не спец по ИИ, но вот с Перплексити с нуля смог. Но платить там за полный доступ нельзя, думал Яндексу денежку дать, .. ан нет, не хочет.

Про-версия у меня недоступна, а базовый режим как-то с кодом вообще странно обходится. Вроде что-то и может - отсортировать массив, например, но когда попросил его написать код демки на js ответил "я пока не могу написать код демки на JavaScript." Почему? Это все модели как-то да делают.

Немного разочаровался в Про версии, в плане невозможности загрузки текстовых файлов для анализа. То есть теоретически загрузить файл можно - по прямой ссылке (быстрая ссылка на OneDrive не работает). Но эту ссылку еще создай и пойми какую Алиса "съест". Локальная модель при этом неплохо справляется переваривает относительно сложные текстовые документы, находя нужную информацию. При этом выдавая более развернутые ответы, чем Le Chat, которым пользовался до этого. Единственная нейросеть из тестируемых (локальных) которая смогла посчитать количество месяцев точнее всего.

Являясь пользователем Про версии хочу поделиться своими наблюдениями.
Так уж получилось, что мне надо переводить хинди с вкраплениями санскрита.
Самая последняя версия стала сильно лучше в перевода, но дип сик всё ещё лучше.
Вот примерчик запроса:

Сделай транскрипцию кириллицей и переведи на русский
गायत्री बहुनामांस्ति संयुक्ता देव शक्तिभिः ।
सर्वं सिद्धिषु व्याप्ता सा दृष्टा मुनिभ्राहिता॥

Вот ответ и мой коммент:

Транскрипция сделана не кириллицей (раньше меня вообще посылал). Число перевёл как 84, хотя там речь про 108 и в комментарии об этом и говорят в скобках. :). Должен признать, что только ДипСик перевёл сразу правильно: ни копилот, ни алиса ни мегачат не справились.

---------------------

Транскрипция :
tatra api ca sahasraṃ tu pradhāna parikīrtim |
aṣṭottaraśataṃ mukhyam teṣu proktaṃ maharṣibhiḥ ||

Перевод:
И там тысяча главных прославлений,
Из них восемьдесят четыре считаются главными,
О чём говорили великие мудрецы.

Комментарий:
Этот стих продолжает тему предыдущего, говоря о различных прославлениях (возможно, имён или аспектов божественного). Указывается особое значение числа 84 (аштауттарашатам - 108), которое в индуистской традиции считается священным числом. Упоминание великих мудрецов (махариши) подчеркивает, что это знание является частью древней духовной традиции и передано авторитетными учителями.
---------------------------

Ну а вообще молодцы. Большой прогресс

• Потокенный KL-штраф за отклонение от SFT-модели. Важно: во многих работах используется оценка Монте-Карло по одному токену, а мы выбрали именно честно посчитанный KL, и результаты получились куда лучше.

Что вы тут имеете в виду? Что такое "честно посчитанный KL" в этом контексте?