AI 이미지 생성에서 얼굴이 일그러지고 무너지는 문제, 확인 가능한 세 가지 원인
먼저 문제를 명확히 정의하겠습니다. 얼굴 붕괴는 단일한 현상이 아니라 적어도 세 가지 상황으로 나눠서 논해야 합니다. 각각 원인과 해법이 완전히 다르기 때문입니다. 첫 번째는 이목구비 위치가 어긋나는 경우(눈이 비대칭이거나 입이 틀어짐), 두 번째는 디테일이 뭉개져버리는 경우(속눈썹과 치아가 있어야 할 자리가 색 덩어리로 뭉개짐), 세 번째는 여러 인물이 있는 장면에서 얼굴들이 서로 섞이는 경우입니다. 아래에서 이 세 가지를 하나씩 설명하며, 뭉뚱그려서 정리하지 않겠습니다.
첫 번째: 해상도 부족으로 인한 디테일 손실
이것이 가장 흔하면서도 가장 간과되기 쉬운 원인입니다. 모델은 생성 단계에서 설정된 출력 크기에 따라 픽셀을 배분하는데, 화면 속 인물이 전신이나 원경 구도라면 얼굴이 실제로 차지하는 픽셀이 겨우 수십 곱하기 수십 정도일 수 있습니다. 이목구비 디테일을 그려낼 공간 자체가 부족해서 모델은 "추측"할 수밖에 없고, 추측이 틀리면 그게 곧 붕괴입니다. 이건 신비로운 현상이 아니라 순전히 연산 자원 배분의 문제입니다.
확인 가능한 해결 경로는 다음과 같습니다. 우선 기본 생성 해상도를 높이는 것이 최선이고, VRAM이나 한도 제한이 있다면 2단계 방식을 쓰세요. 먼저 구도 초안을 뽑아 포즈와 장면에 문제가 없는지 확인한 다음, 얼굴 영역만 따로 확대해서 다시 그리는 것입니다. 이 작업에는 별도의 명칭이 있는데, 흔히 "얼굴 복원 패스"라고 부릅니다. 본질적으로는 전체 이미지에서 얼굴만 잘라내어 더 높은 해상도로 따로 한 번 더 돌린 뒤, 원본에 다시 붙이고 경계 부분을 자연스럽게 처리하는 것입니다.
두 번째: 구도 비율 문제, 생각보다 훨씬 흔합니다
해상도가 충분히 주어졌더라도, 화면 속에서 얼굴이 차지하는 비율이 너무 작으면(예를 들어 전신사진에서 얼굴이 화면의 15분의 1밖에 안 되는 경우) 모델이 그 영역에 기울이는 "주의도" 역시 그만큼 낮아집니다. 이 점은 대량으로 이미지를 뽑을 때 특히 두드러집니다. 같은 파라미터라도 클로즈업의 붕괴율이 전신이나 여러 인물이 함께 찍힌 사진보다 확연히 낮습니다.
권장하는 처리 순서는 이렇습니다. 디테일을 살려야 하는 장면이라면 구도 단계에서부터 얼굴이 차지하는 비율을 적절히 끌어올리거나, 아예 두 번에 나눠서 생성하세요. 한 번은 장면과 체형을 뽑고, 한 번은 얼굴 클로즈업만 따로 뽑아서 합성하는 것입니다. 이 방식은 인물 화보처럼 얼굴 정밀도에 대한 요구가 높은 장면에서는 기본적으로 표준 절차이지, 선택 사항이 아닙니다.
세 번째: 여러 얼굴이 있는 장면과 복잡한 각도에서의 모델 한계
옆얼굴, 고개 숙인 자세, 여러 인물이 가까이 서 있는 상황 같은 경우, 현재의 생성 모델은 대체로 안정적으로 처리하지 못합니다. 원인은 학습 데이터에 이런 각도와 가림 관계의 샘플 자체가 부족해서, 모델이 올바른 공간 관계를 재현할 확신을 충분히 갖지 못하기 때문입니다. 그래서 두 얼굴의 특징이 섞이거나, 옆얼굴의 이목구비 위치가 틀어지기 쉽습니다.
이 문제는 지름길이 없고, 나눠서 처리하는 수밖에 없습니다. 여러 인물이 함께 찍힌 사진이라면 얼굴을 각각 따로 생성한 뒤 합성하거나, 아예 정면, 단독 인물, 균일한 조명의 구도로 바꿔서 이 한계를 피해가는 것입니다. 원래의 구도와 포즈를 반드시 유지해야 한다면, 후반 작업에서 사람이 직접 부분 리터치를 하는 것이 현재로서는 가장 믿을 만한 방법입니다. 시간은 걸리지만 결과를 통제할 수 있습니다.
실무 제안: 그대로 따라 할 수 있는 순서
- 먼저 붕괴가 위의 세 가지 중 어디에 해당하는지 확인하세요. 세 가지 원인을 섞어서 한 번에 점검하면 시간만 낭비하기 쉽습니다
- 해상도 문제: 우선 전체 해상도를 높이고, 그 다음 얼굴 영역만 따로 확대해서 다시 그리세요
- 비율 문제: 구도를 조정하거나, 나눠서 생성한 뒤 합성하세요
- 여러 얼굴/복잡한 각도: 따로 생성해서 나누고, 정면·단독 인물 각도를 최종 대안으로 두세요
- 매 단계마다 변수 하나만 바꿔서 어느 지점이 실제로 효과가 있었는지 판단하기 쉽게 하세요
덧붙이자면, 얼굴을 고친 뒤에 배경이나 의상 디테일까지 처리해야 한다면, 이런 정밀 작업은 사진 보정 툴체인에서 하는 편이 훨씬 수월합니다. 얼굴과 배경을 나눠서 처리하면 서로 간섭하지 않고, 문제가 생겨도 정확히 어느 단계에서 발생했는지 짚어내기 쉽습니다.
위의 세 가지는 제가 얼굴 붕괴 문제를 오랫동안 점검하면서 써온 순서이며, 어디까지나 개인적인 경험을 정리한 것입니다. 모델마다 구체적인 양상은 다를 수 있으니, 새로운 상황을 만나면 같은 논리로 다시 한번 뜯어보는 것을 권합니다. 남의 파라미터를 그대로 베끼는 것보다는요.