[Luma] Luma AI에서 언리얼엔진 플러그인 연결하기

안녕하세요. 정글러입니다.
 
오늘은 루마AI에서 언리얼엔진으로 플러그인을 연결하는 방법을 알아보겠습니다.
최근에 Luma ai를 사용하다가 아래 사진처럼 탭이 새로 생긴 것을 확인했는데요.

 
루마에서 제공하는 노션에 들어가면 설명이 자세하게 나와있습니다.
저도 실제로 해보겠습니다.
 

1. 언리얼엔진 설치

https://www.unrealengine.com/en-US
먼저 언리얼엔진을 설치해줍니다.
이번에 5.3버전으로 새로운 기능이 많이 추가가 되었습니다.
 

2. Luma AI 플러그인 설치

여기서부터가 본격입니다.

들어가면 이렇게 다운받을 수 있는 플러그인이 나옵니다.

Free를 누르면 이렇게 탭이 바뀌는데,
Open in Launcher를 눌러서 UE에서 열어보겠습니다.

Unreal Editor를 열어주고 오른쪽 위 Settings > Plugins를 눌러줍니다.

 
해당 플러그인을 눌러주면 언리얼엔진은 다시 시작하겠냐는 문구가 나옵니다.
이를 눌러주면 Luma AI Plugin이 정상적으로 설치되었습니다.
 

3. 파일 임포트

먼저 저는 여기서 Gaussian Splat으로 다운로드 하고, 압축파일도 풀었습니다.
다시 언리얼로 돌아와서
Content Drawer -> Import 누르고 해당 파일을 누르면 Luma plugin이 해당 파일을 임포트합니다.

시스템에 따라, 모든 블루프린트를 컴파일하는 데 오래걸립니다.
그... 아주 오래걸립니다. (특히 엔비디아 GPU없이는ㅜㅜ)
컴파일이 완료되면 렌더링을 시작합니다.

다양한 사용을 위해 여러 블루프린트가 생성됩니다:

• Baked: 해당 블루프린트에는 캡처한 대로 조명이 포함되어 있으므로, 캡처와 가능한 정확하게 보입니다. 그러나 그림자나 조명에 영향을 받지 않지만 다른 Unreal 객체와 결합될 수 있습니다.
• Dynamic: 해당 블루프린트는 Unreal의 조명에 영향을 받습니다.
• Luma Fields (.luma)에 특화된 것:
  • Cropped: 해당 블루프린트에는 캡처의 중앙 객체의 자동으로 잘린 버전이 포함되어 있습니다(있는 경우).
  • With Environment: 해당 블루프린트는 각 캡처에 대해 적합한 하늘 환경을 추가로 렌더링합니다. 캡처 중에 보이지 않았던 영역에 대해 적용됩니다.
• Interactive Scenes (Splat / .ply)에 특화된 것:
  • No_TAA: 해당 블루프린트는 렌더링 중 모션 벡터를 계산하지 않으며, Temporal Anti-Aliasing 솔루션을 사용할 때 더 나은 렌더링 성능을 제공합니다. Unreal에서 다른 Anti-Aliasing 접근 방식을 사용하고 최고의 성능이 필요한 경우에 사용할 수 있습니다.

저도 Sample Project를 통해 시도해봤습니다.

해당 프로젝트에 여러 3D 에셋을 임포트해서 배치해볼 수 있었습니다.
Luma에서 촬영한 공간은 노이즈가 많아서 이를 어떻게 처리할지 고민이 필요한 것 같습니다.
 
그래도 Luma에서 촬영한 영상을 언리얼로 쉽게 가져올 수 있으니
앞으로 언리얼엔진의 뷰포트 카메라와 LIDAR가 탑재된 버추얼 카메라를 잘 연동하여 카메라 워크를 활용하면 좋을 것 같습니다.
 
감사합니다.