Нейросеть MagicAnimate

Нейросеть MagicAnimate – алгоритм машинного обучения, предназначенный для оживления статических изображений. Авторы нейросети MagicAnimate утверждают, что их разработка превосходит другие подобные решения по качеству и детализации результатов.

MagicAnimate использует две ключевые технологии: эталонное изображение, которое представляет собой неподвижную сцену, и DensePose – серию кадров, которые показывают движение объектов на этой сцене. Затем применяется диффузионная модель – процесс, при котором алгоритм генерирует новые кадры, учитывая содержание эталонного изображения и информацию о движении из DensePose-последовательности. В конечном итоге, все полученные кадры объединяются в анимированный видеоролик.

Создатели MagicAnimate утверждают, что алгоритм способен генерировать реалистичные анимации даже без предоставления изображения человека в полный рост – вместо этого можно использовать только часть тела, например, лицо. Нейросеть будет самостоятельно дополнять недостающие части, основываясь на диффузионной модели, что позволяет создавать анимации, выглядящие более естественно.