A Primer on the Most Important Concepts to Train a LoRA - part 1: Dataset

3줄 요약

1. r/StableDiffusion의 유저 AwakenedEyes가 2년간 포럼을 관찰한 뒤 다시 쓴 LoRA 훈련 가이드의 첫 편이다. 남의 하이퍼파라미터 “레시피"를 복제하는 문화 대신, 각 설정이 무엇을 하는지 이해하고 자기 상황에 맞게 짜라는 것이 전체 3부작의 문제 의식이다.
2. 데이터셋은 “반복되는 것을 배우고, 반복되지 않는 것은 무시한다"는 LoRA의 학습 원리를 그대로 반영해 설계해야 한다. 캐릭터 정체성은 모든 이미지에 일관되게, 그 외(배경·의상·조명·각도·구도)는 최대한 다양하게 넣는다.
3. 인공 캐릭터 훈련에서 흔히 부딪히는 데이터 부족 문제는 러프한 v0 LoRA를 먼저 학습해 이미지 생성기로 쓰고, 그것으로 v1 데이터셋을 만드는 부트스트랩 전략으로 해결한다.

자료의 위치

원저자: 레딧 유저 /u/AwakenedEyes. 게시일 2026-04-26. 서브레딧 r/StableDiffusion.

이 글은 2년치 포럼 관찰과 자체 훈련 경험을 응축한 3부작 가이드의 첫 편이다.

• Part 1: 정의와 FAQ, 데이터셋 준비 (본 다이제스트 대상)
• Part 2: 캡션 가이드
• Part 3: 하이퍼파라미터와 정규화

원저자는 자신이 여기에 도달한 배경을 이렇게 적었다.

LoRA에 관한 정보는 잘 공유되지 않고, 우리는 남들의 실수를 계속 반복한다. 누가 좋은 결과를 얻으면 자기가 왜 그런지도 모르는 채 설정을 공개하고, 그것이 “레시피"처럼 바이럴하게 퍼진다. 나는 후드 아래에서 무슨 일이 벌어지는지, 각 설정이 무엇을 의미하는지 이해하기 시작할 때 비로소 좋은 결과가 나온다고 강하게 믿는다.

가이드는 캐릭터 LoRA를 중심으로 서술되지만, 원리 대부분은 다른 종류의 LoRA에도 통한다.

LoRA란 무엇인가

Low Rank Adaptation의 약자다. 모델 위에 얹는 “어댑터"로, 모델의 출력을 특정 방향으로 편향시킨다. 저자는 USB-C 어댑터에 비유했다. USB-A 장치를 USB-C 포트에 연결하려면 어댑터가 필요하듯이, LoRA는 특정 모델에 붙어야 작동하는 어댑터다.

핵심 정의는 이렇다.

LoRA는 모델에게 세상이 어떻게 생겼는지 가르치지 않는다. 모델은 이미 그것을 안다. LoRA는 이렇게 말한다: “이 트리거 단어를 보면, 출력을 이 특정한 것 쪽으로 편향시켜라.”

자주 하는 오해 여섯 가지

LoRA는 무엇을 배우는가

원리는 하나다. LoRA는 데이터셋에서 반복되는 모든 것을 배운다.

• 원치 않는 것이 반복되면, 생성 시 새어나온다(bleed). 예를 들어 대부분의 이미지가 흰색 스튜디오 배경이면, 다른 배경을 요청해도 흰 스튜디오가 따라붙는다.
• 원하는 축의 다양성이 없으면, LoRA는 그 축을 바꿔 그리기를 거부한다. 정면 사진만 있으면 옆모습 생성이 어려워진다.

이 원리 하나로 데이터셋 설계의 방향이 결정된다. 캐릭터 정체성은 모든 이미지에 일관되게, 그 외 요소는 최대한 다양하게 넣어야 한다.

LoRA 목표를 먼저 명확히 한다

데이터셋을 짜기 전에 다음을 확정한다.

• 아트 스타일: 사실적인가, 애니풍인가.
• 종류: 캐릭터 LoRA, 스타일 LoRA, 포즈 LoRA, 제품 LoRA, 다중 개념 LoRA. 종류마다 설정이 다르다.
• 정체성과 변수 구분: 헤어 색·헤어스타일은 고정인가 변수인가. 의상은 항상 같은가. 문신은 정체성인가 옵션인가. 안경은 정체성인가 변수인가.
• 새로운 개념을 가르치는가, 아니면 기존 개념을 특수화만 하는가.

목표를 명확히 해야 데이터셋과 캡션 설계가 따라온다.

데이터셋 구성 지침

각 이미지가 새로운 무언가를 가져와야 한다. 저자는 축별로 다음을 권한다.

카메라 각도 8종

정면, 좌·우 프로필, 좌·우 3/4, 좌·우 후방 3/4, 후면.

카메라 높이

높은 시점, 낮은 시점 각각.

줌 레벨 8종

익스트림 클로즈업, 클로즈업, 초상(머리~어깨), 미디엄 샷(머리~허리), 카우보이 샷(머리~허벅지 중간), 미디엄 풀 샷(머리~무릎 아래), 풀 바디, 와이드 샷.

구도

중앙 배치, 오프센터(사진 구도 상 2/3 지점), 원경 와이드에서의 다양한 위치, 근경(망원 렌즈 시점), 가로·세로, 다양한 해상도 비율.

변형

배경, 동작, 조명(골든아워·자연광·인공조명·짙은 그림자), 의상(캐릭터가 늘 같은 옷을 입어야 하는 경우는 예외), 헤어스타일·헤어 컬러·질감·길이(같은 이유의 예외), 메이크업·액세서리.

전신 포즈는 신체 비율을 학습시키기 위해 필요하다. 부엌 카운터, 문틀, 자동차처럼 표준적인 물체와 함께 찍힌 이미지는 상대 신장까지 학습시켜 준다.

한 규칙만 강조된다.

이미지 안에서 학습되어야 하는 대상은 모든 이미지에서 일관되게 반복돼야 한다. 문신이 정체성의 일부라면 매 이미지에 같은 위치에 있어야 한다. 애니 캐릭터가 파란 머리라면 데이터셋 전체가 파란 머리여야 한다. 그 외 모든 것은 절대 반복되지 않아야 한다.

초심자 LoRA 기준으로는 50%를 헤드샷(정보가 가장 밀집된 영역), 25%를 풀 바디로 두는 편이 좋다.

해상도와 정보 밀도

저자가 가장 힘주어 말한 대목은 “정보 밀도"라는 개념이다.

1메가픽셀 전신샷에서 눈 영역은 겨우 20x15픽셀이다. 그곳엔 모델이 배울 세부 정보 자체가 없다.

이것이 익스트림 클로즈업이 데이터셋의 필수 요소인 이유다. 그것은 각도·커버리지의 문제가 아니라 정보 밀도의 문제다. 프레임을 가득 채운 눈의 클로즈업 한 장이, 전신샷 열 장을 합친 것보다 눈에 대해 훨씬 많은 학습 정보를 담는다.

고품질 캐릭터 LoRA를 노린다면 다음이 포함돼야 한다.

• 눈의 익스트림 클로즈업
• 문신의 익스트림 클로즈업
• 주근깨·점의 클로즈업
• 다양한 각도(정면, 3/4, 프로필, 후방 프로필, 후면, 위·아래에서)의 얼굴 형태 클로즈업
• 손가락·손, 발가락·발 같은 작고 복잡한 영역

이미지 품질에 대한 원칙도 같은 방향이다. 항상 최고 해상도, 가장 선명한 이미지를 쓴다. 흐린 이미지, 압축 아티팩트가 낀 이미지, 저해상도 이미지는 LoRA를 오염시키고 생성물로 그대로 옮겨진다. 크리스프한 고해상도 클로즈업 한 장이, 부드럽거나 저해상도인 이미지 열 장보다 그 특징에 관한 학습 정보를 더 많이 담는다.

같은 원리가 생성 시점에도 적용된다. 전신 이미지를 뽑으면서 작은 얼굴 영역의 세부까지 기대하는 것은 모델에게 해상도 예산이 없는 부분의 디테일을 그리라 요구하는 것과 같다. 고해상도 생성, 얼굴 디테일 패스, 잘라낸 크롭 위에 인페인팅이 그 해법이다.

인공 캐릭터의 chicken-and-egg 문제

실존하지 않는 캐릭터를 훈련할 때 자주 부딪히는 상황이다. 시작 이미지는 한 장뿐인데, 데이터셋을 만들려면 다양한 각도의 일관된 이미지가 필요하다. 그런데 그것을 만들 LoRA가 아직 없다.

저자가 소개한 세 가지 전략은 다음과 같다.

1. WAN의 image2video 워크플로우로 시작 이미지를 360도 회전 영상으로 애니메이션 후 프레임 추출 및 업스케일.
2. Flux Kontext, Qwen-Image-Edit 같은 편집 모델로 참조 이미지에서 파생 이미지를 만든다.
3. v0 LoRA 전략. 의도적으로 러프하고 최소한의 LoRA를 먼저 훈련한다.

세 번째가 흥미롭다. v0 LoRA는 프로덕션에 쓰기 위한 것이 아니라, 더 나은 데이터셋을 생성하기 위한 도구다. 완벽한 데이터셋에 도달하려면 v0 LoRA를 여러 번 반복해야 할 수도 있다.

프로세스는 이렇다.

1. 5~10장의 신중히 고른 시드 이미지로 캐릭터의 핵심 외모를 확정한다. 완벽할 필요도, 다양할 필요도 없다. 기본 정체성을 가르치기에 충분히 일관되기만 하면 된다.
2. 이 이미지들로 빠르고 러프한 LoRA를 훈련한다.
3. 이 v0 LoRA로 다양한 각도, 조명, 의상, 클로즈업 이미지를 생성한다.
4. v0 LoRA는 뻣뻣하기 때문에 생성물의 상당수는 목표 캐릭터에 맞지 않는다. 목표에 맞지 않는 것은 공격적으로 걸러낸다.
5. 걸러낸 이미지로 새 LoRA를 훈련한다.

v0 LoRA는 결국 캐릭터를 위한 “제어된 이미지 생성기” 역할을 한다. 잘 만들어질 필요는 없고, 대량의 참고 자료를 만들 수 있을 정도로만 일관되면 된다.

이 전략은 인공 캐릭터에만 국한되지 않는다. 실존 인물이라도 참조 사진이 다양하지 않으면 v0 LoRA가 부족한 각도를 채워줄 수 있다. 다만 실사에서는 판정 기준이 훨씬 높다. 인공 캐릭터는 시드에서 살짝 드리프트하더라도 자기 자신과 일관되면 받아들일 여지가 있지만, 실존 인물은 서로 일관되면서 그 특정 인물로 알아볼 수 있어야 한다. 매 이미지를 원본 참조와 비교하는 큐레이션 부담이 훨씬 크다.

댓글에서 건진 것들

원문 아래에는 저자와 초심자·실전 훈련자들의 문답이 두터운 층을 이룬다. 다이제스트 관점에서 특히 짚어둘 만한 대목만 정리한다.

스타일 LoRA 캡션 프롬프트 (/u/Apprehensive_Sky892)

수백 개의 스타일 LoRA를 훈련한 유저가 자신의 캡션 프롬프트를 공개했다. Gemini Flash 3에 넘겨서 각 이미지에 캡션을 붙인다.

이미지 캡셔닝 전문가로 행동하라. 주어진 이미지에 대해, 명확히 보이는 것만을 묘사하는 자연스러운 영문 캡션 한 문장을 써라. 주요 피사체의 가시적 정체성 단서(성별·얼굴·표정·헤어스타일·헤어 컬러·특징적 액세서리·자세·카메라를 향한 방향·의상 소재·레이어·패턴)를 우선한다. 배경과 조명은 짧게. 주요 물체·배경·공간 관계·카메라 각도도 다룬다. 사실적이고 응집력 있게, 120토큰 정도 (150을 넘기지 말고). 태그 리스트, 프롬프트 명령, 가중치, “이 이미지는 ~를 보여준다” 같은 메타 표현은 쓰지 마라. 숨겨진 세부를 추측하거나 텍스트를 옮겨 적지 마라. 카메라·EXIF 용어, 파일명, 워터마크, “maybe”/“probably” 같은 추측어를 피하라. 단일 문단만 출력하라. 피부톤은 묘사하지 마라. 미술 스타일은 묘사하지 마라. 성별·국적·인종은 유지하고 알맞은 대명사를 써라.

핵심은 볼드 처리된 두 지시 사항이다. 스타일 LoRA는 스타일 자체를 트리거 단어로 학습시키는 것이 목적이므로, 캡션이 스타일을 명명하는 순간 학습 신호가 흐트러진다. 마찬가지로 인종 편향을 피하고자 피부톤 묘사도 배제한다.

원저자는 이 프롬프트를 보고 “스타일 LoRA 캡션은 캐릭터 LoRA 캡션과 원리가 같되, 캡션하지 않는 것이 스타일 자체이며, 그 외 모든 구체적 가시 요소는 캡션해야 한다는 뜻이냐"고 되물었고 Apprehensive_Sky892가 그렇다고 답했다.

트리거 단어는 모델에 따라 다르다

같은 유저가 트리거 단어의 실제 역할에 대해 정리했다. SD1.5·SDXL처럼 CLIP 기반 모델에서는 트리거 단어가 실제로 편향을 만든다. 반면 Flux1-dev 이후 LLM을 텍스트 인코더로 쓰는 모델에서는 텍스트 인코더가 훈련되지 않기 때문에 트리거 단어의 효과가 없거나 거의 없다. 예외는 AI-Toolkit의 DOP(Differential Output Preservation)를 쓸 때다.

@ 접두어 트리거(예: @kaoruyamada4z)가 LLM 텍스트 인코더에서 뭔가 추론을 유도할 수 있다는 가설이 커뮤니티에 돌고 있으나, 그 유저는 검증한 바 없다고 밝혔다. 실제로는 트리거 단어보다 digital illustration of처럼 스타일 유형을 짧게 언급하는 편이 안정적이라는 실측 후기가 이어졌다.

LoRA 스택은 되는가 안 되는가

/u/ArmadstheDoom이 원글에 반박했다. “LoRA는 조합해서 쓸 수 있다. 어떤 LoRA를 다른 LoRA와 함께 써 보는 것은 자신의 LoRA가 overtrained인지 판별하는 가장 좋은 방법이다.”

저자의 재반론은 정합성을 판정 기준으로 삼는다.

요점을 놓쳤다. 포즈 LoRA는 얼굴이 없는 채로 훈련되기가 사실상 불가능해서, 그 얼굴 특징이 캐릭터 LoRA의 얼굴을 흔든다. LoRA를 조합할 수 있느냐, 물론이다. 캐릭터 LoRA와 조합했을 때 캐릭터가 정확히 유지되느냐, 대개 아니다.

또 다른 유저 /u/Dazzling-Try-7499가 “많은 워크플로우가 LoRA를 스택으로 쓴다"고 재차 물었고, 저자는 절충안을 답했다. 특정 캐릭터의 정확한 정합성이 목표가 아니라면 대체로 문제가 없고, 각 LoRA의 스트렝스를 낮춰 튀는 것을 막는다. 하지만 캐릭터의 픽셀 단위 일관성이 목표라면 매 추가 LoRA는 리스크다. 대안은 여러 개념을 하나의 LoRA에 함께 훈련하는 것이지만, 이는 dim rank를 늘려야 하고 훈련 자체가 훨씬 까다롭다.

표정, 포즈, 조명, 나체 훈련

/u/Kind-Illustrator6341이 Wan 2.2 캐릭터 LoRA를 준비하며 여러 구체적 질문을 던졌다. 저자의 답변을 요약하면 이렇다.

• 표정 배분: 대부분 뉴트럴로 유지하고 표정을 살짝 변주하는 정도가 안전하다. 극단적 감정(격노·통곡)은 얼굴 정보를 왜곡할 위험이 있다. 표정은 클로즈업·초상에 밀도가 있어야 의미가 있다. 와이드 샷에는 얼굴 정보가 거의 없다.
• 포즈 다양성: 다양할수록 좋다. 서 있는 포즈만 넣으면 그 캐릭터를 서 있게만 그리게 된다. 다만 검열 모델에 대해 사전 지식이 없는 자세는 body horror가 나기 쉽고, 캡션이 훨씬 중요해진다.
• 조명 배분: 강한 방향성 조명·강한 그림자보다 균질한 조명을 우선한다. 강한 명암 대비는 캡션을 붙여도 일반 조명 그리기를 방해할 수 있다.
• 의상과 신체: 몸에 붙는 옷은 신체 비율 학습에 유리하다. 다만 다양한 옷차림도 함께 넣어야 정장·카디건·청바지 같은 상황별 렌더링을 배운다.
• 나체 훈련: 무검열 모델에서는 신체 형태 이해에 강한 도움이 된다. 검열 모델에서는 사전 지식이 없어 훨씬 힘든 훈련이고, overtrain·undertrain의 균형이 아주 까다롭다.

저자 본인의 워크플로우는 20~50장의 v0로 시작해서 v0로 더 나은 데이터셋을 생성하고, v1·v2로 확장하며 최종적으로 약 300장까지 늘려 간다는 것이다.

사람이 쓴 글을 AI가 쓴 걸로 오인하는 문제

댓글 아래쪽에서 한 유저가 원글이 AI가 쓴 것 아니냐고 의심했다. 저자는 “전부 내가 직접 썼다"고 답했고, 다른 유저 /u/Additional_Drive1915가 이렇게 덧붙였다.

헤드라인과 문단이 있고 문법이 올바른 긴 글은 죄다 AI가 만든 것이라고 생각하는가? 교육받은 보통 사람은 AI 도움 없이도 좋은 품질의 글을 쓸 수 있다.

원저자는 뒤에 관계를 뒤집어 설명했다.

사실은 반대다. 나는 이 가이드를 Claude 프로젝트에 붙여넣고, Claude에게 이미지 캡션을 도와달라고 요청한다.

가장 눈여겨본 것은

이 가이드에서 가장 인상 깊은 대목은 “정보 밀도"라는 렌즈다. 1메가픽셀 전신샷의 눈이 20x15픽셀뿐이라는 지적은, 이미지 데이터셋을 픽셀 예산의 문제로 다시 보게 만든다. 데이터셋 설계가 얼마나 다양한 각도를 확보했는가라는 커버리지의 문제로만 이야기되기 쉬운데, 저자는 학습의 하한선이 “그 픽셀 안에 실제 정보가 있느냐"라는 문제라는 점을 상기시킨다.

v0 LoRA 전략도 같은 이유로 흥미롭다. 나쁜 LoRA로 러프한 데이터를 만들고, 그 데이터로 더 좋은 LoRA를 만드는 부트스트랩 순환은, 결국 자기 자신을 도구로 삼아 다음 판을 준비하는 dogfooding의 축소판이다. 프론티어 랩의 self-play와 구조적으로 닮아 있다는 점은 짚어 둘 만하다.

그리고 이 모두를 관통하는 저자의 문제 의식이 있다. 남의 하이퍼파라미터를 복사해서 무엇이 왜 되는지도 모른 채 결과를 얻고, 그 방법이 이해 없이 확산되는 문화가 LoRA 훈련의 지금 상태라는 진단이다. 저자가 이 3부작을 굳이 다시 쓴 이유는 그 확산을 끊고 이해를 놓아 두려는 것에 가깝다. 이런 태도의 콘텐츠가 오픈소스 이미지 생성 커뮤니티에서 계속 자라나는 광경 자체가 흥미롭다.

출처

• 원문: https://www.reddit.com/r/StableDiffusion/comments/1svsa4g/a_primer_on_the_most_important_concepts_to_train/
• 저자: /u/AwakenedEyes, r/StableDiffusion
• 게시일: 2026-04-26
• 이 다이제스트는 텍스트만 있는 게시물을 대상으로 하며 원문에 이미지는 포함돼 있지 않다.