Исследовал интернет и наткнулся на GitHub Unwrapped. Он на основе активности в GitHub создаёт видео, где можно увидеть часто используемые языки, часы спонтанной работы, звёзды и всё остальное. Достаточно ввести только имя профиля, чтобы получить видео. Код открыт.

Сделано с использованием Remotion — тоже с открытым кодом, которая позволяет автоматизировать создание видео на React в веб. Документация хорошая, но надо разбираться. Увидел это и решил, что круто, надо поделиться!

P.S. Моя активность в этом ролике, если кому-то будет интересно.

Русские разработчики могут делать не хуже американских! Согласны с этим?

Да, это оффтопик — я пиарюсь и рассказываю о своём проекте. Присоединяйтесь на GitHub Discussion!

Привет, читатель! Хочу поделиться обзором новой версии open-source проекта Wunjo, который почти готов к выпуску, осталось лишь устранить мелкие недочеты. Основной функционал v1 приложения: замена лиц, анимация губ, рестайлинг видео, удаление объектов и текста, синтез речи, клонирование голоса. Проект создан для автоматизации процесса создания контента. Например, я его использую для создания образовательных видео. Кейсы применения в видео ниже. Но есть и исследовательская идея с объединением как можно большего числа нейронных сетей вместе, их уже насчитывается 40, но и это не предел. Если вам интересно, как появился проект, то это здесь можно почитать.

В приложении доступно API для интеграции с вашим собственным кодом. В новом видео я показываю обновленный интерфейс и новые возможности.

Чтобы узнать больше, ознакомьтесь с журналом изменений в README на GitHub. Версия v1 уже доступна на сайте, пока мы ждем версию v2.

Новая глобальная идея Wunjo – упростить процесс перехода от клиентского приложения к серверному, делая его доступным даже для пользователей без специальных знаний и на слабых компьютерах. Создается временная ссылка, позволяющая вам и вашим друзьям получить доступ к приложению с любого устройства, если вы используете его в режиме сервера. Свое серверное приложение в кармане - звучит круто!

Поддержите проект звездой на GitHub – осталось немного до 1000! И следите за новостями в Telegram. Ваша поддержка ускорит выпуск новой версии. И до скорой встречи в v2!

Недавно экспериментировал с ботами на основе ChatGPT, сравнивал качество с YandexGPT. Вдохновленный этим опытом, я добавил ботов на свой канал для эксперимента, на сколько это вообще будет полезно и нужно людям, один бот с дерзким характером и понимающий документацию моего проекта с открытым исходным кодом Wunjo AI (сылочка на GitHub и на скачать), который позволяет создавать дипфейки, улучшать видео и обрабатывать звук. Добавил в него информацию о нейронных сетях из своих видеороликов, он может рассказать как работают нейронные сети в Wunjo и как работать с функционалом.

Второго бота я создал без режима дерзости, он использует данные из подкастов о стартапах и других темах, чтобы быть информативным и полезным источником.

Поиграться с ботами, написать пожелания и идеи, что можно ещё загрузить в ботов и стоит ли улучшать данные для ботов, вы можете по ссылке ниже под постом, указав бота.

А ещё можно предложить идеи для расширения функционала Wunjo AI, подробнее в этом посте.

Привет, Хабр! Соскучился по тебе. В двух словах в посте про дипфейки, клонирование речи, генерацию видео, удаление текста, объектов и получение их без фона. В общем, рассказываю о своем проекте с открытым исходным кодом Wunjo AI для тех, кто не встречал его ранее, и спрашиваю, как сделать опыт текущих пользователей ещё лучше. Вот ссылки на GitHub и установщики.

Что может Wunjo AI?

• Приложение ставится локально на ПК, у вас нет ограничений на время создания контента и содержание. И всё это с открытым исходным кодом, и бесплатно, приложение ведь использует мощности вашего компьютера, а не сервера.

• Когда запустил приложение, там был доступен только синтез речи [статья].

• Потом добавил дипфейк лица одним кликом, губ, клонирование речи и удаление объектов из видео [статья]. И за все время у меня на Хабре эта статья остаётся с большим количеством просмотров. Что создает ощущение, что с каждым новым функционалом я двигаю Wunjo не в то направление.

• Далее изменение объектов и видео с помощью текстового запроса [статья].

• И клонирование голоса из песен, улучшение изменения видео текстом, и удаление текста из видео одним кликом [статья].

Так вот, дорогой человек, который это читает. Какой бы вы хотели видеть новый функционал? Какая у вас есть проблема, которую я могу решить приложением или новыми фичами?

Напишите комментарий в телеграмм, либо на Хабр, как вам удобнее, и возможно, следующим обновлением я решу то, что беспокоит именно вас.

И видео про функционал.

Давно не общались! Размышляю над новым контентом для Хабра и YouTube и хотел бы спросить помощи у вас. Примите участие в голосовании, чтобы понять, что вас действительно заинтересует.

Вот несколько идей для полноценных видеороликов на YouTube и статей на Хабре:

1. Обучение различных моделей в различных проектах. Вопрос важен для меня, так как часто приходится тратить много времени на изучение документации или, что ещё дольше, на разбор кода. Создание видеороликов поможет как мне, так и будущим поколениям разобраться в процессе обучения моделей на различных проектах.

2. Доработка PiCrawler. Сегодня я выложил новый проект на GitHub в честь достижения 10 000 подписчиков в блоге о том, как работают нейронные сети и технологии в стартапах. Проект представляет собой голосового помощника, который может воспроизводить «Нейронное радио», читать новости или работать с ChatGPT. Можно добавить дополнительные команды на жесты и фразы. Как насчёт видео о том, как я собираю PiCrawler, дополняю его необходимыми модулями и портирую на Pi5, а также переношу сам код на Pi5.

3. Создание цифрового персонажа в социальной сети, созданного искусственным интеллектом, похожего на персонажа из мультсериала или живого человека. Этот персонаж сможет взаимодействовать с вами, а вы сможете влиять на его развитие. Попутно создавая видеоролики о том, как это делается в приложении с открытым исходным кодом Wunjo AI и других проектах.

В общем, я не знаю, что вас интересует. Помогите!

Я такого не говорил (с) Джейсон Стэйтем

Очереденой эксперимент. Мы привыкли, что в песнях на русском, и не только, делают вставки на английском языке. И я решил перевернуть всё с ног на голову и сделать вставки с английским акцентом из русских цитат Стэйтема (или почти) в английские треки. В общем, это эксперимент имитации акцента на русском языке подходом, который я сейчас использую для генерации музыки, и вы можете послушать результат. Получилось драйвово и забавно, главное вслушаться, чтобы не пропустить.

Музыку я пишу по фану, чтобы получить от неё удовольствие и вызвать улыбку. Если захотите услышать больше или вам интересны эксперименты, вы можете найти её на моем канале и бесплатном сервисе, код которого открыт на моем GitHub. Я специально создал этот сервис для имитации радио с подкастами и прочими приятностями, такими как игра-кликер, различные эксперименты и так далее. Подробности можно найти в этой статье о свободной музыке и том, как я создаю такие видео с использованием нейронных сетей в рамках этого эксперимента.

Если вам понравилось и вы хотите трек под свои цитаты, оставьте комментарий под видео.

P.S. И раз это Хаб «Я пиарюсь», прошу вас поддержать звездой Wunjo AI на GitHub. Проект бесплатный, с открытым исходным кодом, имеет в себе десятки нейронных сетей, чтобы люди могли свободно создавать контент без технических знаний. Осталось совсем чуть-чуть до выхода на новый уровень. Всем спасибо.

Как будто вчера я писал пост о том, что сделал музыкальный клип с помощью нейронных сетей для генерации видео. Однако, это не единственный способ использования нейронных сетей в монтаже видео.

Я хотел бы рассказать вам о своем приложении с открытым исходным кодом, которое устанавливается на компьютер одним кликом. Оно создано для того, чтобы улучшить жизнь людей, делая процесс создания контента проще и эффективнее. Приложение позволяет проводить видеомонтаж, автоматически удалять текст и объекты из видео, заменять лица на видео фотографиями, синхронизировать речь с движениями губ, а также улучшать качество лица и рисованного видео. Есть также модуль изменения видео: при помощи текста и Stable Diffusion вы описываете, как вы хотели бы изменить видео, а нейронные сети сами воплощают ваши пожелания. Кроме того, приложение предлагает синтез речи и клонирование голоса, но это уже другая история...

P.S. По ссылкам вы найдете статьи, в которых я объясняю, как это сделано, и также видео. Если вам понравилась музыка, вы найдете ее больше на канале. А если вы хотите узнать, о том, что готовится в Wunjo AI v2, тогда для вас блог, где я рассказываю а процессе создания.

Недавно я писал статью о Нейронном радио и музыкальных треках, созданных нейронными сетями. Обязательно прочтите, чтобы оценить качество. Музыка в разных жанрах - от Heavy Metal до музыки 80-х, но их объединяет то, что тексты песен на английском. Теперь я задумался, а что если попробовать написать песню на русском и сделать для неё клип с помощью нейронных сетей? Оцените, что получилось...

В статье, я писал о том, как работаю с видео, таким образом я и создавал этот клип. Мне понадобилось для этого, 4 часа работы. Начиная от написания песни, заканчивая вот этими словами.

Релиз Wunjo AI 1.5.5. Что нового?

• Добавлено клонирование голоса на русский язык.

• Оптимизация анимации лица, сокрытие не нужных элементов, исправление ошибок работы с gif.

• Улучшено отображение логов в консоли.

• Индикатор занимаемого места на диске для результатов синтеза речи и дипфейков.

Дата выхода: 23.09.23.

Видео всех возможностей проекта с открытым исходным кодом для создания дипфейков, синтеза и клонирования речи.