사진 한 장으로 틱톡 영상을 만드는 방법 - MagicAnimate

오늘은 사진 한 장으로 틱톡 영상을 만드는 놀라운 기술, MagicAnimate에 대해 알아보겠습니다.

 

이전에 '누구나 틱톡커가 될 수 있습니다 - Animate Anyone'이라는 포스팅을 했었는데 혹시 기억하시나요? 그때 많은 분들이 관심을 가져주셨는데, 그 기술에 대한 실제 사용 방법이나 소스코드, 미리 훈련된 모델이 공개되지 않아 실망하셨을 겁니다.

 

누구나 틱톡커가 될 수 있습니다 - Animate Anyone

 

 

MagicAnimate 소개

오늘 여러분께 전할 소식은 여러분의 기대를 한껏 끌어올릴만한 내용이에요. 싱가포르 국립대학과 바이트댄스가 협력하여 'MagicAnimate'라는 프로젝트를 공개했습니다. 이번에는 단순히 논문 공개뿐만 아니라, 소스코드와 사용할 준비가 된 미리 훈련된 모델까지 제공한다고 하네요. 이 기술을 직접 체험해 볼 수 있는 기회가 마련된 것이죠.

 

 

논문 링크: https://arxiv.org/abs/2311.16498

코드 링크: https://github.com/magic-research/magic-animate

모델 링크: https://huggingface.co/zcxu-eric/MagicAnimate

 

 

'Animate Anyone'과 기술적으로 유사하지만, MagicAnimate는 조금 다른 정보를 이용하는 것으로 보입니다. Animate Anyone 기술은 OpenPose를 활용해 인체 관절 정보를 분석해서 처리하지만, MagicAnimate는 DensePose라는 인체의 영역 정보를 활용하는 것 처럼 보이네요.

 

DensePose를 이용하는 것 처럼 보입니다. 출처: https://showlab.github.io/magicanimate/

 

 

더 자세한 내용은 논문을 참조하시고, 아래에는 이 기술이 어떻게 작동하는지 보여주는 다양한 예제들을 보여드릴게요.

 

 

다양한 예제

이미지에서 보이지 않는 부분도 잘 만들어 줍니다.

 

여러 사람이 등장하는 영상도 문제 없이 잘 됩니다.

 

학습 때 보지 못했던 이미지에 대해서도 잘 동작하네요. 😆

 

 

마치며

사진 한 장으로 틱톡 영상을 만들 수 있는 MagicAnimate 기술은 분명 여러분의 창의력을 자극할 만한 멋진 도구입니다. 이 기술을 직접 체험해 보고 싶으시다면, 가장 간편한 방법은 허깅페이스의 스페이스를 이용하는 것입니다. 링크를 통해 바로 접속하실 수 있어요: 

 

링크: https://huggingface.co/spaces/zcxu-eric/magicanimate

 

이번 소식은 여기까지입니다. 다음에 더 흥미로운 소식으로 찾아올게요! 👋