게임그래픽만 30년

게임 그래픽 일을 오래 하다 보면 생각이 바뀌는 것들이 있다.

처음 그래픽을 배울 때는 아무래도 디테일에 눈이 간다.

갑옷에 장식을 하나 더 붙이고, 옷에 주름을 더 만들고, 텍스처에 흠집을 넣고, 노멀맵을 강하게 넣으면 뭔가 더 고급스러운 그래픽이 된 것처럼 느껴진다.

물론 이런 디테일도 중요하다.

그런데 게임 그래픽을 오래 만들다 보니 결국 그보다 먼저 봐야 하는 게 있다는 생각이 든다.

실루엣이다.

https://jensenzhou.artstation.com/projects/8lrG06

검은색으로 칠해도 알아볼 수 있는가

캐릭터를 완전히 검은색으로 칠해놓고 봤다고 생각해보자.

얼굴도 안 보인다.

텍스처도 안 보인다.

옷의 무늬도 없다.

색깔도 없다.

그런데도 어떤 캐릭터인지 알아볼 수 있다면 그 캐릭터는 형태 자체에 상당히 강한 특징을 가지고 있다는 뜻이다.

마리오의 모자와 코,

소닉의 가시처럼 뻗은 머리,

피카츄의 긴 귀와 꼬리.

우리가 이 캐릭터들을 알아보는 데 고해상도 텍스처는 필요하지 않다.

커다란 형태 몇 개만으로도 이미 캐릭터가 성립한다.

이게 실루엣의 힘이다.

https://www.artstation.com/artwork/yJw2q3

콘셉트 아티스트들이 처음부터 얼굴을 그리지 않는 이유

캐릭터 디자인 과정을 보면 재미있는 게 있다.

잘하는 콘셉트 아티스트들은 처음부터 눈, 코, 입을 열심히 그리지 않는다.

검은 덩어리 몇 개를 수십 개씩 늘어놓는 경우가 많다.

머리가 큰 캐릭터.

어깨가 넓은 캐릭터.

다리가 짧은 캐릭터.

상체가 삼각형인 캐릭터.

무기를 엄청 크게 든 캐릭터.

이 단계에서는 얼굴도 없고 옷의 세부 디자인도 없다.

먼저 보는 건 하나다.

형태가 재미있는가.

멀리서 봐도 다른 캐릭터와 구분되는가.

게임 화면에서는 이게 굉장히 중요하다.

게임은 캐릭터를 확대해서 감상하는 프로그램이 아니다

3D 캐릭터를 작업할 때 흔히 빠지는 함정이 있다.

Blender나 Maya에서 캐릭터 얼굴을 화면 가득 확대해놓고 작업한다.

주름 하나를 만들고,

버클 하나를 만들고,

옷의 재봉선도 넣는다.

확대해서 보면 멋있다.

그런데 게임 안에 넣는다.

캐릭터가 화면에서 300픽셀 정도가 된다.

조금 멀어지면 150픽셀.

전투가 시작되면 캐릭터는 계속 움직인다.

그 순간 우리가 몇 시간을 들여 만든 작은 버클은 거의 보이지 않는다.

하지만 머리가 큰지 작은지는 보인다.

어깨가 넓은지는 보인다.

무기가 큰지는 보인다.

팔과 다리의 비율은 보인다.

결국 실제 플레이 화면에서 끝까지 살아남는 정보는 대부분 큰 형태다.

https://pojgaerlan.artstation.com/projects/D5BZKO

그래서 과장이 필요하다

게임 캐릭터 디자인이 현실 사람과 조금 다른 것도 같은 이유다.

현실적인 사람의 비율을 그대로 만들면 의외로 게임에서는 특징이 잘 드러나지 않는 경우가 있다.

그래서 캐릭터 디자인에서는 일부러 과장한다.

큰 손.

큰 발.

넓은 어깨.

작은 허리.

커다란 무기.

엄청 긴 코트.

머리보다 훨씬 큰 모자.

이런 것들이다.

현실에서는 이상할 수 있다.

하지만 게임에서는 오히려 읽기 쉽다.

특히 여러 캐릭터가 동시에 등장하는 게임에서는 더욱 그렇다.

멀리서 봤을 때

“저건 탱커.”

“저건 마법사.”

“저건 빠른 캐릭터.”

라는 것이 한눈에 보여야 한다.

좋은 디자인은 설명서를 읽기 전에 형태가 먼저 이야기한다.

디테일이 많다고 좋은 디자인은 아니다

요즘 AI 이미지나 AI 3D 모델을 보면 가끔 재미있는 현상이 있다.

처음 보면 굉장히 화려하다.

옷에는 장식이 엄청나게 많고,

갑옷에는 문양이 가득하고,

벨트와 버클과 주머니가 여기저기 붙어 있다.

얼굴에도 디테일이 많다.

그래서 첫인상은 굉장히 좋다.

그런데 캐릭터를 작게 축소해보면 갑자기 평범해지는 경우가 있다.

큰 형태에서 특징이 없기 때문이다.

AI는 작은 디테일을 만들어내는 능력은 이미 상당히 뛰어나다.

그런데

어떤 형태를 크게 만들고 어떤 형태를 버릴 것인가

라는 문제는 조금 다른 영역이다.

디자인의 영역이다.

3D 모델링에서도 똑같다

이건 콘셉트 디자인에서만 적용되는 이야기가 아니다.

3D 모델링에서도 똑같다.

나는 캐릭터를 만들 때 가능하면 모델을 멀리서도 본다.

확대해서 보면 자연스러운데 멀리서 보면 이상한 경우가 정말 많다.

머리가 조금 작다든지,

팔이 조금 짧다든지,

어깨가 좁다든지,

배가 충분히 나오지 않았다든지.

수치로 보면 큰 차이가 아닐 수도 있다.

하지만 전체 실루엣에서는 굉장히 큰 차이가 난다.

그래서 세부 모델링에 들어가기 전에 큰 덩어리를 계속 확인하는 게 중요하다.

가끔은 아예 모델을 검은색으로 놓고 보는 것도 좋은 방법이다.

텍스처와 재질이 사라지면 형태의 문제점이 훨씬 잘 보인다.

예전 저해상도 게임에서는 더 중요했다

사실 이 원칙은 새로운 이야기도 아니다.

오히려 옛날 게임에서 훨씬 중요했다.

화면 해상도가 낮고,

사용할 수 있는 색이 적고,

캐릭터 스프라이트가 몇십 픽셀에 불과했던 시대에는 디테일로 캐릭터를 설명할 수 없었다.

몇 개의 픽셀로

머리,

몸,

무기,

자세를 표현해야 했다.

그래서 좋은 옛날 게임 캐릭터를 보면 작은 화면에서도 형태가 굉장히 명확하다.

픽셀 하나하나는 단순한데 전체 모양은 강하다.

제약이 오히려 디자인의 본질을 더 중요하게 만든 셈이다.

30년을 해도 결국 다시 기본으로 돌아온다

게임 그래픽 일을 오래 하다 보면 새로운 기술을 정말 많이 접한다.

폴리곤 수는 계속 늘어났고,

텍스처 해상도도 높아졌고,

노멀맵이 등장했고,

PBR이 등장했고,

실시간 레이트레이싱까지 왔다.

이제 AI가 모델과 텍스처까지 만들어준다.

그런데 재미있게도 기술이 발전할수록 오히려 기본적인 것의 중요성을 다시 느끼게 된다.

형태.

비율.

색.

명암.

실루엣.

결국 이런 것들이다.

아무리 4K 텍스처를 사용해도 형태가 재미없으면 재미없는 캐릭터다.

반대로 텍스처가 단순해도 실루엣이 좋으면 캐릭터가 산다.

그래서 요즘은 캐릭터를 볼 때 이런 질문부터 해보게 된다.

“이 캐릭터를 새까맣게 칠해도 재미있어 보이는가?”

그 질문에 YES라고 대답할 수 있다면,

그다음에 디테일을 넣어도 늦지 않다.

어쩌면 게임 그래픽에서 가장 비싼 디테일은 수백만 개의 폴리곤이 아니라,

처음에 제대로 잡아놓은 하나의 좋은 형태인지도 모르겠다.

요즘 AI로 그림을 만들고, 3D 모델을 만들고, 코드를 짜는 건 이제 그다지 놀라운 일이 아닌 것 같다.

그런데 최근에는 조금 다른 걸 해봤다.

3D 캐릭터 리깅을 AI에게 맡겨봤다.

리깅이라는 건 쉽게 말하면 3D 캐릭터 안에 뼈를 심고, 그 뼈가 움직일 때 메시가 자연스럽게 따라오도록 만드는 작업이다.

게임 캐릭터를 만들어본 사람이라면 알겠지만 꽤 귀찮고, 또 생각보다 손이 많이 가는 작업이다.

본을 심는 것 자체는 어렵지 않다.

문제는 그 다음이다.

팔을 올렸을 때 어깨가 찌그러지지 않는지, 목을 돌렸을 때 옷이 같이 끌려오지 않는지, 허리를 숙였을 때 배나 허리 부분이 이상하게 접히지 않는지.

결국 제대로 된 리깅은 수많은 테스트와 수정의 반복이다.

예전에는 당연히 사람이 직접 했다.

본을 하나씩 넣고, 웨이트를 칠하고, 포즈를 잡아보고 다시 수정했다.

그런데 이번에는 이 작업의 상당 부분을 AI에게 시켜봤다.

생각보다 꽤 잘한다

처음에는 사실 큰 기대를 하지 않았다.

그냥 기본 본 정도 심어주고 끝나겠지 싶었다.

그런데 생각보다 꽤 많은 일을 할 수 있었다.

캐릭터의 중심을 계산하고, 좌우 메시의 차이를 분석하고, 팔과 다리 위치를 맞추고, 본을 배치하고, 웨이트까지 수정했다.

심지어 머리카락이나 치마처럼 추가 본이 필요한 부분에도 별도의 본 체인을 만들어 넣게 할 수 있었다.

예전 같으면 사람이 한참 들여다보면서 해야 할 일을 명령 몇 줄로 처리하는 걸 보고 있으면 꽤 묘한 기분이 든다.

특히 반복 수정에서 꽤 강하다.

예를 들어 이런 식이다.

"상의 아래쪽이 골반 본을 너무 많이 따라간다."

그러면 AI가 해당 영역의 버텍스를 찾아 웨이트를 다시 분배한다.

"허리를 앞으로 35도 숙였을 때 옷이 너무 끌려간다."

다시 수정한다.

"목 부분이 머리 본 영향을 너무 많이 받는다."

또 수정한다.

사람에게 작업을 시키는 것과 크게 다르지 않다.

그런데 문제는 'AI가 됐다고 생각하는 것'과 '진짜 된 것'이 다르다는 것이다

AI 리깅을 하면서 가장 크게 느낀 부분이다.

AI는 작업을 끝낸 뒤 꽤 자신 있게 말한다.

"수정 완료."

"검증 완료."

"이상 없음."

그런데 실제로 Blender에서 캐릭터를 움직여보면 바로 보인다.

어깨가 조금 찌그러져 있거나,

목을 돌리면 옷이 같이 따라오거나,

허리를 숙이면 상의가 골반 쪽으로 당겨지거나,

좌우 다리가 미묘하게 다르게 움직이는 경우가 있다.

수치상으로는 문제가 없을 수 있다.

하지만 그래픽 작업은 결국 눈으로 판단한다.

숫자가 정상이라고 캐릭터가 자연스러운 것은 아니다.

이게 지금 AI 리깅의 가장 큰 한계인 것 같다.

특히 어려워하는 부위가 있다

사람도 리깅하기 어려운 부분은 AI도 어렵다.

대표적인 게 어깨다.

팔과 몸통이 만나는 부분이라 여러 본의 영향을 동시에 받는다.

웨이트를 조금만 잘못 배분해도 팔을 들어올리는 순간 겨드랑이나 어깨가 이상하게 찌그러진다.

목도 비슷하다.

머리 본과 목 본의 경계가 조금만 잘못돼도 머리를 돌릴 때 몸까지 같이 따라온다.

치마나 긴 옷도 문제다.

단순히 몸에 붙어 있는 메시가 아니라 독립적으로 움직여야 하기 때문이다.

그리고 손가락.

본도 많고 구조도 작아서 메시 상태가 조금만 좋지 않아도 문제가 생긴다.

결국 재미있는 결론이 나온다.

사람이 어려워하는 리깅 부위는 AI도 어렵다.

메시가 엉망이면 AI도 못 살린다

또 하나 중요한 게 있었다.

AI 리깅을 여러 번 해보면서 깨달은 건데, 원본 메시 상태가 정말 중요하다.

좌우가 심하게 다르거나,

손이나 발의 토폴로지가 깨져 있거나,

정점이 이상하게 연결되어 있으면,

아무리 리깅을 잘해도 결과가 좋기 어렵다.

특히 AI가 만든 3D 모델은 겉보기에는 멀쩡해도 확대해서 보면 이상한 부분이 꽤 있다.

정점이 겹쳐 있거나,

면이 이상하게 붙어 있거나,

좌우 형태가 조금씩 다르거나,

사람 눈에는 잘 안 보이는 작은 구조 문제가 있다.

그래서 최근에는 리깅 전에 먼저 메시를 정리한다.

중심을 맞추고,

좌우를 가능한 한 대칭으로 만들고,

손발 토폴로지를 확인한다.

재미있는 건 이런 메시 정리 작업도 AI에게 시킬 수 있다는 것이다.

결국

AI가 만든 모델을 AI가 고치고, 다시 AI가 리깅하는 과정이 되어가고 있다.

그렇다면 리거는 필요 없어질까?

아직은 아니라고 생각한다.

다만 역할은 상당히 달라질 가능성이 있다.

예전에는 사람이 직접 버텍스를 선택하고 웨이트 값을 조절했다.

앞으로는 이런 작업은 AI가 더 많이 하게 될 것이다.

대신 사람은 결과를 보고 판단한다.

"이 포즈에서 어깨가 이상하다."

"이 부분은 Spine보다 Chest 영향을 더 받아야 한다."

"이 치마는 몸을 따라가면 안 된다."

이런 식으로 말이다.

작업자가 직접 버텍스를 만지는 시간은 줄어들고,

무엇이 잘못됐는지를 판단하는 능력이 더 중요해질 것이다.

AI 시대에는 작업 능력보다 '보는 눈'이 더 중요해질지도 모른다

예전에는 툴을 잘 다루는 것이 실력이었다.

Photoshop 단축키를 얼마나 빨리 쓰는지,

3ds Max에서 모델링을 얼마나 빠르게 하는지,

웨이트를 얼마나 빨리 칠하는지가 생산성과 직결됐다.

그런데 AI가 작업을 대신하기 시작하면 조금 달라진다.

AI에게 일을 시키는 것 자체는 어렵지 않다.

진짜 어려운 건 결과를 보고

좋은지 나쁜지 판단하는 것이다.

캐릭터의 실루엣이 좋은지,

관절이 자연스러운지,

애니메이션을 넣었을 때 문제가 생기지 않을지.

이건 결국 경험에서 나온다.

그래서 요즘 AI 작업을 하면서 오히려 묘하게 드는 생각이 있다.

AI 때문에 경험 많은 사람이 필요 없어지는 게 아니라,

어쩌면 반대로 경험 많은 사람이 AI를 더 잘 쓰게 되는 시대가 오는 게 아닐까 하는 생각이다.

그리고 다음 단계는 더 빨리 올 것 같다

지금은 내가 AI에게 말한다.

"어깨 웨이트 수정해."

"허리 숙였을 때 옷이 끌려간다."

그런데 앞으로는 이것조차 필요 없어질 수 있다.

AI가 직접 캐릭터를 움직여보고,

문제가 생기는 관절을 찾아내고,

웨이트를 수정하고,

다시 테스트하는 과정까지 자동으로 반복하게 될 것이다.

그 단계가 되면 리깅은 지금처럼 하나의 독립적인 작업 과정이 아니라,

캐릭터 제작 과정 안에서 거의 자동으로 처리되는 단계가 될지도 모른다.

예전에는 UV를 펴고,

텍스처를 그리고,

본을 심고,

웨이트를 칠하는 것이 모두 사람이 해야 하는 작업이었다.

그중 하나씩 AI에게 넘어가고 있다.

그래서 요즘은 이런 생각이 든다.

"AI가 아티스트를 대체할까?"

라는 질문보다,

"아티스트가 직접 해야 하는 작업은 어디까지 줄어들까?"

라는 질문이 더 현실적인 것 같다.

그리고 최근 AI에게 캐릭터 리깅을 시켜본 경험만 놓고 보면,

그 변화는 생각보다 꽤 빠르게 오고 있는 것 같다.