Сбер представил Kandinsky 2.0 — первую российскую диффузионную модель для генерации изображений по тексту на разных языках
Сбер представил Kandinsky 2.0 — первую российскую диффузионную модель для генерации изображений по тексту на разных языках

На международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey Сбер представил Kandinsky 2.0 — первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров.

 

 

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар «текст — изображение». Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.

 

FusionBrain.ai – открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект) от Института AIRI, который Сбер решил поддержать, первым выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.

 

В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).


 


Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках.

 

Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки).

 

Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос «национальное блюдо» на русском языке, нейросеть чаще всего рисует щи, а на японском это будет мисо суп и суши.

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:

«Мы продолжаем развивать решения для автоматической генерации изображений по описанию на естественном языке — так называемый креативный ИИ. Kandinsky 2.0, который пришёл на смену первой версии модели, — прорыв в этой сфере. Наша модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять её без лицензии, что очень актуально для бизнеса. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди».


Город

Сбер представил Kandinsky 2.0 — первую российскую диффузионную модель для генерации изображений по тексту на разных языках

24-11-2022 08:57

На международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey Сбер представил Kandinsky 2.0 — первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров.

 

 

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар «текст — изображение». Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.

 

FusionBrain.ai – открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект) от Института AIRI, который Сбер решил поддержать, первым выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.

 

В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).


 


Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках.

 

Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки).

 

Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос «национальное блюдо» на русском языке, нейросеть чаще всего рисует щи, а на японском это будет мисо суп и суши.

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:

«Мы продолжаем развивать решения для автоматической генерации изображений по описанию на естественном языке — так называемый креативный ИИ. Kandinsky 2.0, который пришёл на смену первой версии модели, — прорыв в этой сфере. Наша модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять её без лицензии, что очень актуально для бизнеса. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди».


Оцените статью:
нравится0
не нравится0
00
Сообщить об ошибке!
Поделиться с друзьями:

Добавить «Privet-Rostov.ru» в список ваших источников:
У Вас есть интересная новость, фото или видео? Стали очевидцем происшествия? Звоните:
8 800 201 53 75 (Звонок по России бесплатный), Пишите: [email protected]
Новости партнеров
Новости за сегодня
Детский санаторий «Смена» в Сочи с 1 января перейдет в ведомство Управления образования Ростова-на-Дону
1-12-2022 20:03 651

Детский санаторий «Смена» в Сочи с 1 января перейдет в ведомство Управления образования Ростова-на-Дону

Детский санаторий «Смена», который находится в Лазаревском районе города Сочи, с 1 января следующего года перейдет в ведомство Управления образования донской столицы

Обучающая программа «Открытие Инвестиции» получила аккредитацию Ассоциации развития финансовой грамотности
1-12-2022 18:44 507

Обучающая программа «Открытие Инвестиции» получила аккредитацию Ассоциации развития финансовой грамотности

Разработанная «Открытие Инвестиции» (входит в группу банка «Открытие»), программа обучения для начинающих инвесторов «Легкий старт» получила аккредитацию Ассоциации развития финансовой грамотности (АРФГ). Экспертная оценка АРФГ свидетельствует о соответствии курса высоким стандартам финансового обучения.

Розничный кредитный портфель Ростовского отделения Сбербанка превысил 253 млрд рублей
1-12-2022 17:46 354

Розничный кредитный портфель Ростовского отделения Сбербанка превысил 253 млрд рублей

За 10 месяцев (на 1 ноября) кредитный портфель розничного бизнеса Ростовского отделения Сбербанка с начала года вырос на 9% и составил 253 млрд рублей. При этом выдача потребительских кредитов в третьем квартале превысила показатели второго квартала в 2,6 раз, а ипотечных кредитов — в 3,4 раза.

ВТБ: россияне втрое сократили интерес к обмену долларов и евро
1-12-2022 17:16 329

ВТБ: россияне втрое сократили интерес к обмену долларов и евро

С начала года доля безналичной покупки долларов и евро в общем объеме конверсионных операций сократилась в три раза: с 90% до 37%. Доминирующее положение занимает юань, в несколько раз вырос спрос и на другие валюты соседних стран – казахстанский тенге, белорусский рубль, армянский драм, азербайджанский манат.

  • Privet-Rostov.ru
  • »
  • Город
  • »
  • Сбер представил Kandinsky 2.0 — первую российскую диффузионную модель для генерации изображений по тексту на разных языках