AI에게 3D 캐릭터 리깅을 맡겨보니

요즘 AI로 그림을 만들고, 3D 모델을 만들고, 코드를 짜는 건 이제 그다지 놀라운 일이 아닌 것 같다.

그런데 최근에는 조금 다른 걸 해봤다.

3D 캐릭터 리깅을 AI에게 맡겨봤다.

리깅이라는 건 쉽게 말하면 3D 캐릭터 안에 뼈를 심고, 그 뼈가 움직일 때 메시가 자연스럽게 따라오도록 만드는 작업이다.

게임 캐릭터를 만들어본 사람이라면 알겠지만 꽤 귀찮고, 또 생각보다 손이 많이 가는 작업이다.

본을 심는 것 자체는 어렵지 않다.

문제는 그 다음이다.

팔을 올렸을 때 어깨가 찌그러지지 않는지, 목을 돌렸을 때 옷이 같이 끌려오지 않는지, 허리를 숙였을 때 배나 허리 부분이 이상하게 접히지 않는지.

결국 제대로 된 리깅은 수많은 테스트와 수정의 반복이다.

예전에는 당연히 사람이 직접 했다.

본을 하나씩 넣고, 웨이트를 칠하고, 포즈를 잡아보고 다시 수정했다.

그런데 이번에는 이 작업의 상당 부분을 AI에게 시켜봤다.

---

생각보다 꽤 잘한다

처음에는 사실 큰 기대를 하지 않았다.

그냥 기본 본 정도 심어주고 끝나겠지 싶었다.

그런데 생각보다 꽤 많은 일을 할 수 있었다.

캐릭터의 중심을 계산하고, 좌우 메시의 차이를 분석하고, 팔과 다리 위치를 맞추고, 본을 배치하고, 웨이트까지 수정했다.

심지어 머리카락이나 치마처럼 추가 본이 필요한 부분에도 별도의 본 체인을 만들어 넣게 할 수 있었다.

예전 같으면 사람이 한참 들여다보면서 해야 할 일을 명령 몇 줄로 처리하는 걸 보고 있으면 꽤 묘한 기분이 든다.

특히 반복 수정에서 꽤 강하다.

예를 들어 이런 식이다.

"상의 아래쪽이 골반 본을 너무 많이 따라간다."

그러면 AI가 해당 영역의 버텍스를 찾아 웨이트를 다시 분배한다.

"허리를 앞으로 35도 숙였을 때 옷이 너무 끌려간다."

다시 수정한다.

"목 부분이 머리 본 영향을 너무 많이 받는다."

또 수정한다.

사람에게 작업을 시키는 것과 크게 다르지 않다.

---

그런데 문제는 'AI가 됐다고 생각하는 것'과 '진짜 된 것'이 다르다는 것이다

AI 리깅을 하면서 가장 크게 느낀 부분이다.

AI는 작업을 끝낸 뒤 꽤 자신 있게 말한다.

"수정 완료."

"검증 완료."

"이상 없음."

그런데 실제로 Blender에서 캐릭터를 움직여보면 바로 보인다.

어깨가 조금 찌그러져 있거나,

목을 돌리면 옷이 같이 따라오거나,

허리를 숙이면 상의가 골반 쪽으로 당겨지거나,

좌우 다리가 미묘하게 다르게 움직이는 경우가 있다.

수치상으로는 문제가 없을 수 있다.

하지만 그래픽 작업은 결국 눈으로 판단한다.

숫자가 정상이라고 캐릭터가 자연스러운 것은 아니다.

이게 지금 AI 리깅의 가장 큰 한계인 것 같다.

---

특히 어려워하는 부위가 있다

사람도 리깅하기 어려운 부분은 AI도 어렵다.

대표적인 게 어깨다.

팔과 몸통이 만나는 부분이라 여러 본의 영향을 동시에 받는다.

웨이트를 조금만 잘못 배분해도 팔을 들어올리는 순간 겨드랑이나 어깨가 이상하게 찌그러진다.

목도 비슷하다.

머리 본과 목 본의 경계가 조금만 잘못돼도 머리를 돌릴 때 몸까지 같이 따라온다.

치마나 긴 옷도 문제다.

단순히 몸에 붙어 있는 메시가 아니라 독립적으로 움직여야 하기 때문이다.

그리고 손가락.

본도 많고 구조도 작아서 메시 상태가 조금만 좋지 않아도 문제가 생긴다.

결국 재미있는 결론이 나온다.

사람이 어려워하는 리깅 부위는 AI도 어렵다.

---

메시가 엉망이면 AI도 못 살린다

또 하나 중요한 게 있었다.

AI 리깅을 여러 번 해보면서 깨달은 건데, 원본 메시 상태가 정말 중요하다.

좌우가 심하게 다르거나,

손이나 발의 토폴로지가 깨져 있거나,

정점이 이상하게 연결되어 있으면,

아무리 리깅을 잘해도 결과가 좋기 어렵다.

특히 AI가 만든 3D 모델은 겉보기에는 멀쩡해도 확대해서 보면 이상한 부분이 꽤 있다.

정점이 겹쳐 있거나,

면이 이상하게 붙어 있거나,

좌우 형태가 조금씩 다르거나,

사람 눈에는 잘 안 보이는 작은 구조 문제가 있다.

그래서 최근에는 리깅 전에 먼저 메시를 정리한다.

중심을 맞추고,

좌우를 가능한 한 대칭으로 만들고,

손발 토폴로지를 확인한다.

재미있는 건 이런 메시 정리 작업도 AI에게 시킬 수 있다는 것이다.

결국

AI가 만든 모델을 AI가 고치고, 다시 AI가 리깅하는 과정이 되어가고 있다.

---

그렇다면 리거는 필요 없어질까?

아직은 아니라고 생각한다.

다만 역할은 상당히 달라질 가능성이 있다.

예전에는 사람이 직접 버텍스를 선택하고 웨이트 값을 조절했다.

앞으로는 이런 작업은 AI가 더 많이 하게 될 것이다.

대신 사람은 결과를 보고 판단한다.

"이 포즈에서 어깨가 이상하다."

"이 부분은 Spine보다 Chest 영향을 더 받아야 한다."

"이 치마는 몸을 따라가면 안 된다."

이런 식으로 말이다.

작업자가 직접 버텍스를 만지는 시간은 줄어들고,

무엇이 잘못됐는지를 판단하는 능력이 더 중요해질 것이다.

---

AI 시대에는 작업 능력보다 '보는 눈'이 더 중요해질지도 모른다

예전에는 툴을 잘 다루는 것이 실력이었다.

Photoshop 단축키를 얼마나 빨리 쓰는지,

3ds Max에서 모델링을 얼마나 빠르게 하는지,

웨이트를 얼마나 빨리 칠하는지가 생산성과 직결됐다.

그런데 AI가 작업을 대신하기 시작하면 조금 달라진다.

AI에게 일을 시키는 것 자체는 어렵지 않다.

진짜 어려운 건 결과를 보고

좋은지 나쁜지 판단하는 것이다.

캐릭터의 실루엣이 좋은지,

관절이 자연스러운지,

애니메이션을 넣었을 때 문제가 생기지 않을지.

이건 결국 경험에서 나온다.

그래서 요즘 AI 작업을 하면서 오히려 묘하게 드는 생각이 있다.

AI 때문에 경험 많은 사람이 필요 없어지는 게 아니라,

어쩌면 반대로 경험 많은 사람이 AI를 더 잘 쓰게 되는 시대가 오는 게 아닐까 하는 생각이다.

---

그리고 다음 단계는 더 빨리 올 것 같다

지금은 내가 AI에게 말한다.

"어깨 웨이트 수정해."

"허리 숙였을 때 옷이 끌려간다."

그런데 앞으로는 이것조차 필요 없어질 수 있다.

AI가 직접 캐릭터를 움직여보고,

문제가 생기는 관절을 찾아내고,

웨이트를 수정하고,

다시 테스트하는 과정까지 자동으로 반복하게 될 것이다.

그 단계가 되면 리깅은 지금처럼 하나의 독립적인 작업 과정이 아니라,

캐릭터 제작 과정 안에서 거의 자동으로 처리되는 단계가 될지도 모른다.

예전에는 UV를 펴고,

텍스처를 그리고,

본을 심고,

웨이트를 칠하는 것이 모두 사람이 해야 하는 작업이었다.

그중 하나씩 AI에게 넘어가고 있다.

그래서 요즘은 이런 생각이 든다.

"AI가 아티스트를 대체할까?"

라는 질문보다,

"아티스트가 직접 해야 하는 작업은 어디까지 줄어들까?"

라는 질문이 더 현실적인 것 같다.

그리고 최근 AI에게 캐릭터 리깅을 시켜본 경험만 놓고 보면,

그 변화는 생각보다 꽤 빠르게 오고 있는 것 같다.