[AI model] Sora를 잇는 Text-to-Video 모델들

안녕하세요. 정글러입니다.

 

이전에 sora를 소개한 바 있는데요,

이후에 text-to-video로 다양한 AI 모델이 출시되었습니다.

1. Gen-3 Alpha

https://runwayml.com/blog/introducing-gen-3-alpha/

Introducing Gen-3 Alpha: A New Frontier for Video Generation

gen-3는 텍스트에서 비디오, 이미지에서 비디오, 텍스트에서 이미지 모두 지원합니다.

https://youtu.be/nByslCkykj8?si=gdpYLlXZTiPCrRc4

 

 

- 실사 수준의 human

Gen-3 Alpha는 다양한 동작, 제스처 및 감정을 지닌 표현력 있는 인간 캐릭터를 생성하는 데 뛰어납니다.

 

- 예술가를 위한 도구

Gen-3 Alpha는 연구 과학자, 엔지니어 및 예술가들로 구성되어 만들어져,

다양한 스타일과 영화 용어를 해석할 수 있도록 설계되었습니다. 즉, 다양한 요청이 가능하다는 것입니다.

- 산업 맞춤화

주요 엔터테인먼트 및 미디어 조직과 협력하여 맞춤형 버전을 만들고 있습니다.

스타일리시한 일관된 캐릭터 생성 및 특정 예술적, 서사적 요구를 타겟팅하는 기능을 포함합니다.

 

2. Dream Machine

https://lumalabs.ai/dream-machine

Luma Dream Machine

해당 모델은 이전에도 살펴본 적이 있는 Luma AI에서 개발한 모델입니다.

직접 비디오를 학습해 장면을 생성해낸다고 합니다.

Luma AI는 3D를 연구해오고 있는 만큼, 영상에서도 공간감이 돋보입니다.

 

- 고성능 및 효율성: 비디오에 직접 훈련된 변환 모델로 물리적으로 정확하고 일관성 있는 촬영이 가능합니다.

- 빠른 반복: 120초 내에 120프레임을 생성하여 빠른 아이디어 탐색이 가능합니다.

- 액션 장면: 5초짜리 현실적이고 부드러운 모션의 액션 장면을 생성합니다.

- 물리기반 캐릭터: 물리적 세계와의 상호 작용을 이해하여 일관된 캐릭터와 정확한 물리학을 구현합니다.

- 카메라 움직임: 감정과 장면 내용을 반영한 유연하고 영화 같은 카메라 모션을 실험할 수 있습니다.

 

 

 

3. Kling.AI 

https://kling.kuaishou.com/

https://kling.kuaishou.com/

클링은 복잡한 운동과 실제 세계의 물리적 특성을 시뮬레이션 해서 영상을 생성해냅니다.

보통 언리얼엔진이나 유니티 등이 물리기반의 공간을 구현해내곤 하는데,

클링에서도 이러한 시뮬레이션이 가능하니 더욱 실제처럼 느껴지는 것입니다.

---

sora를 소개한지 얼마 되지 않았는데 이외에도 다양한 AI 모델이 나와서 흥미롭네요.

인서트 컷이나 급하게 필요한 장면은 text로 요청해서 활용할 수 있으니 정말 놀라운 것 같습니다.

 

하이 퀄리티 영상이 더욱 만들기 쉬워진 환경은 미디어 업계에 어떠한 변화를 가져올까요?

게임이나 방송, 광고 등에서 AI에 익숙해진 세대가 어떠한 변화를 가져올지 기대됩니다.

 

감사합니다.