안녕하세요
AI 그림 연구에 진심인 Chals 입니다.
오늘은 거의 일주일만에 글을 쓰게 되었습니다.
그간 본업도 많이 바쁜데, 최근 AI 그림 생성 관련해서 자문 및 의뢰가 꽤 있어서 정신없는 하루하루를 보내고 있습니다.
게다가 개인사를 살짝 TMI 하자면 첫 아이 출산이 10일 내외로 카운트다운에 돌입한 터라 조금은 쉬어가야겠다는 생각도 드는 시기입니다.
잡설은 이쯤하고 오늘은 지난번 공유한 한복 LoRA 중 여성 한복 LoRA의 문제점을 개선한 버전 업데이트와 함께 신규 LoRA 5종을 공개하려 합니다.
이번 LoRA도 물론 조선 후기를 근간으로한 LoRA 입니다.
여성용 의복 LoRA가 아니기 때문에 관심도는 많이 낮을 것 같지만...
그래도 시대 배경을 구성하는데 반드시 필요한 것들이기에 제작을 해봤습니다.
들어가기에 앞서
1. 제가 제작한 LoRA는 출처 모를 정규화 이미지를 사용하기도 했고 다양한 데이터 추가를 위해 저도 인터넷에서 수집할 수 있는 이미지 일부를 가져다 학습을 진행하기 때문에 어떠한 경우에도 개인적 용도 이외의 상업적 용도로 사용하시면 안됩니다.
2. 한복 LoRA 사용시 반드시 Negative에 아래의 프롬프트를 추가 해주시기 바랍니다.
japanese clothes, chinese clothes, kimono, obi, hanfu,
가중치 조절을 하거나 LoRA 삽입이 잘 안되었는데, 한복이 아닌 것들이 한복인척 나오는 경우가 있습니다.
경우에 따라서는 사용자도 헷갈릴 수 있으니 한복 LoRA 작업시 해당 프롬프트를 삽입하고 작업 하시길 바랍니다.
우선 지난번 공유한 여성 한복 LoRA의 A/S 입니다.
Female Noble Class Hanbok - Korea Clothes | Stable Diffusion LORA | Civitai
기존 LoRA가 별도의 외모 프롬프트 없이 이미지를 생성할 Anithing, Abyss 계열의 애니메이션 스타일 모델에서 얼굴 스타일이 고정되는 현상이 심했습니다.
이를 개선하기 위해 여성 얼굴 정규화 데이터를 다시 정제하여 다양한 형태의 표정이 생성될 수 있도록 수정했습니다.
이와 함께 헤어스타일도 쪽진 가르마 머리로 고정되는 현상이 있고, 머리 장신구가 과하게 표현되는 현상을 개선했습니다.
해당 현상을 수정하기 위해 기존 데이터셋 사진 및 이미지의 헤어 부분을 모두 수작업으로 수정 진행했습니다.
이제 자유로운 얼굴스타일, 표정, 헤어스타일 표현이 가능합니다.
또한 새로 공유되는 LoRA는 이전 LoRA 보다 학습률을 두배로 높여 일부러 과적합을 시켰는데요,
이는 다른 모델이나 LoRA와 조합사용시 가중치를 낮춰 사용함으로써 조합에 유리하도록 조정한 부분입니다.
낮은 가중치의 장점은 모델의 특성이나 LoRA 조합에 따른 이미지 깨짐 현상을 억제할 수 있으며,
다양한 프롬프트를 적용해도 안정적인 이미지 생성에 대응 하는 효과를 가집니다.
추천 Trigger : hanbok 추천 가중치 : 0.3 ~ 0.8 (기본값인 1로도 사용은 가능하나 이미지 깨짐같은 색수차 현상이 도드라집니다.)
신규 공유할 LoRA중 첫번째는 조선 임금의 의복인 곤룡포 입니다.
King Hanbok Gonryongpo - Korea Clothes | Stable Diffusion LORA | Civitai
곤룡포는 사용처가 매우 제한적입니다만, 많은 창작물의 주인공으로 왕을 설정하는 경우가 많기 때문에 시대극 컨셉을 제작한다면 반드시 필요한 LoRA입니다.
붉은색 곤룡포는 물론 푸른색 등의 다른 색상의 의상 생성이 가능하며, 어린 세자의 의복 LoRA로도 사용 가능합니다.
특히 고증과는 거리가 있지만 곤룡포를 입은 여성도 생성할 수 있습니다. 이런 다양한 상상력을 가미하는 것이 AI 이미지의 장점이겠죠.
이 LoRA는 앞서 공개한 양반 남성 한복 LoRA와 같이 모자와 상투 형태를 변경해 사용 가능합니다.
Hat 과 Topknot는 동시 사용할 경우 정상적인 이미지 추출이 어려우니 반드시 따로 사용하시길 권장합니다.
추천 Trigger : hanbok, king, red robe, blue robe, hat, topknot 추천 가중치 : 0.6 ~ 이상 (0.7 이하부터 왕의 모자인 익선관의 모양 유지가 어렵습니다.)
두번째는 임금의 곁을 항상 지키는 내관(환관 또는 내시)의 복장입니다.
King's Eunuch Hanbok - Korean Clothes | Stable Diffusion LORA | Civitai
왕이 등장하면 반드시 등장하기 때문에 만들어 두는 것이 좋겠다 싶어 제작했습니다.
LoRA 제작에 필요한 데이터셋이 다른 분야에 비해 좀 적은 편이고, 복장과 모자 모양의 특징이 적어 생성에 애를 먹은 LoRA 입니다.
관모의 크기가 제멋대로 구현되는 현상이나, 여성 캐릭터로의 생성이 쉽지 않은 문제가 있습니다.
추천 Trigger : hanbok, green robe, hat 추천 가중치 : 0.7 ~ 이상
세번째는 무관 복장입니다.
Korean Warrior Hanbok - Korean Clothes | Stable Diffusion LORA | Civitai
궁궐내 내금위 병사부터, 사또로 불리우는 포도대장, 일반 포졸 까지의 복장을 모두 한번에 학습을 진행했습니다.
계획은 프롬프트로 계급을 구분해 필요한 복장을 선택적으로 사용할 수 있도록 제작하려 했는데...
프롬프트 명을 1차원적인 영어식 계급명칭을 그대로 사용하니, 현대 군복의 형태를 자꾸 덧씌우는 문제가 있습니다.
재 학습에 시간이 걸리기도 하고 나름의 다른 활용도가 있어 그냥 낮은 버전으로 공유합니다. (추후 업데이트 예정입니다.)
복장의 특징이 무도를 하는 사람에게 잘 어울리는 형태라서, 꼭 무관 복장이 아닌 그냥 일반 무사, 검사 등의 복장으로 활용해도 좋을 것 같습니다.
특히 네거티브 프롬프트에 Hat을 넣고 Topknot를 넣는 방식으로 모자를 벗길 수 있구요.
여성 무예가 같은 느낌으로 생성도 가능합니다. (여성 프롬프트 가중치 많이 줘야 가능합니다.)
추천 Trigger : hanbok, hat, topknot 추천 가중치 : 0.8 ~ 이상 (0.7 이하에서는 모자 모양 유지가 어려움)
네번째는 무관이 있었으니 문관도 필요하겠죠. 신하들 복장인 문관 복장입니다.
Korean Public Official Hanbok - Korean Clothes | Stable Diffusion LORA | Civitai
흔히 좌의정 영의정 하는 그 분들의 복장입니다.
영감님들의 얼굴로 제작을 해도 좋고, 젊은 사람의 얼굴로 제작해도 좋습니다.
특히 전통혼례 복장으로도 많이 사용하고 있으니 꼭 나이든 사람에게만 적용할 필욘 없어 보입니다.
추천 Trigger : hanbok, [Color] robe, hat 추천 가중치 : 0.8 ~ 이상
마지막 다섯번째는 어리거나 젊은 남성들 위주의 복건을 착용하는 한복 종류입니다.
Korean Student Hanbok - Korean Clothes | Stable Diffusion LORA | Civitai
따로 분류하기 어렵긴한데, 춘향전에 등장하는 이몽룡 이라는 캐릭터의 주된 복장으로 젊은 유생들이 많이 입었고, 현대에 와서는 돌잔치용(?)으로 많이들 입히는 한복이라 할 수 있습니다.
사용처는 조선시대 양반 가족을 표현하는데 사용하거나, 주인공의 어린시절을 표현한다거나, 또는 춘향전 같은 이야기를 풀어나갈때 필요한 LoRA 입니다.
머리에 쓰는 두건 형태의 모자는 Hat이 아닌 bandana를 사용하셔야 합니다.
두 태그 모두 삽입하지 않아도 생성되는 확률이 높지만 bandana 태그를 사용하면 형태를 좀더 잘 유지해 줍니다.
추천 Trigger : hanbok, bandana 추천 가중치 : 0.6 ~ 이상
범용성이 떨어지는 활용도 낮은 복식을 괜히 만들고 공유하는 것 같다는 생각도 들지만
궁극적으로 바라는 '조-선 유니버스' 세계관의 이야기를 만들어 보기 위해선
이런 사용빈도 낮을 LoRA들도 필요한 데이터라 생각해 제작을 진행했습니다.
LoRA를 제작하며 여러 학습 방법을 연구하고 데이터 셋을 정리하면서 작업하고 있는데,
AI 학습이란게 기본적인 틀은 이미지를 이해시키기 위해 이건 이거고 저건 저거라는 식의
정말 단순한 이름표 붙이기 작업인 태깅으로 시작하지만 학습한 데이터를 구현하는 과정에서 의도한 대로 만들어지지 않는 경우가 많아
기초 데이터를 정제하는 과정부터 나름대로 꼼꼼하고 치밀한 설계가 필요합니다.
한달 넘게 학습을 반복하며 어느정도 나름의 노하우가 쌓이긴 했지만 아직까지는 학습 돌려놓고
제발!을 외치는 근본없는 '기도메타'를 반복하는 일이기 때문에 시간을 무진장 갉아먹는 작업입니다.
LoRA 제작을 위해 고생은 제가 많이 했으니 여러분들은 그냥....
편안히 즐기세요.....으어억 쿨럭
LoRA 파일은 각 항목별 제목 바로 밑에 링크가 있으며,
하단의 링크를 통해서도 다운 받으실 수 있습니다.
chals Creator Profile | Civitai
다음 공개 예정인 LoRA는
이제 중인 이하의 LoRA도 제작 중이며, 행낭, 상인, 주모 등의 평민 복식을 공개 예정입니다.
만들어놓고 이미지를 제작해 보고는 있는데 자꾸 거슬리는 부분이 있어 계속 재 학습을 반복하고 있어 공유가 계속 늦어지네요..
이미 공유한 LoRA의 개선점이나 추가로 제작했으면 하는 LoRA가 있다면 의견 받아 제작에 참고 하겠습니다.
그럼 긴글 읽어주신 모든 분들께 감사 드리며, 다음에는 작업기나 강좌 글로 찾아오겠습니다.
감사합니다.
고맙습니다!
고맙습니다. ^^
순산 기원드립니다!!
또한 첫아이 순산 기원합니다
하나 건의드릴 게 있다면 항상 올려주시는 이미지의 눈 처리 관련해서요, 한쪽 눈만 사시처럼 가운데로 쏠려있는 게 물론 시선처리 때문에 그렇게 하신 거라는 거 알지만, 너무 과도하게 몰린 거 같아서 조금만 덜 몰리게 하시면 자연스러울 것 같습니다~
정성을 들여 한장한장 뽑을 땐 수정하는데...대충 프롬프트로 뽑을땐 신경을 못쓰고 있습니다.
한복이 참 자연스럽고 예쁘네요
Ai 분야에서는 비인기 종목일 수 있는 부분인데 시간을 갈아넣고(ㅜㅜ) 계시는 모습에 존경스럽기까지 하네요.
학습은 다른 분야를 하고 있는지라 그게 끝나면 학습시간 분배에 도움이라도 드리고 싶네요.
일단 업데이트 되는 Lora 열심히 적용해서 더 고품질의 결과물들로 노고에 대한 보답(?)을 해 드리겠습니다 ^^
볼때마다 정말 대단하십니다.
물론 글쓴님 말씀대로 더 다듬어야 할것들이 많겠지만, 그건 금방 해결될거 같아요.
노력에 감사와 박수를, 그리고 순산 기원 드립니다~ ^^
첫 아이도 순산 기원드립니다.
몰두하고 집중하는 모습이 부럽습니다.
아이 순산 기원합니다.