Stable Diffusion 1달 정도 이래 저래 해본것 같네요.
사용자들이 올려놓은 여러가지 모델에 로라나 임베딩을 붙여서 쓰는 방식도 맘에 들고
애드온과 같은 확장기능 추가 방식이나
렌더링 방식, 업스케일 샘플링 방식과 파라미터들을 사용자가 직접 컨트롤 할수 있는 점이
이전의 미드저니나 달리에 비해 오랫동안 커스터마이징 하는 재미를 줬던것 같습니다.
발전속도를 보면 몇달 뒤에는 전혀 다른 영역까지 확장될수 있을것도 같고 기대가 됩니다.
하지만 지금 현재의 시점에서는 여러가지 한계점이 있네요.
1. 사용자가 정확히 원하는 것을 결과물로 생산한다기 보다는. AI가 학습한 내용 중에서 임의로 선택되어지는 부분이 많고.
사용자가 더 세밀한 부분을 묘사하려 해도 AI의 방식과 맞지 않으면 무시되거나 충돌한다는 점.
2. 확장기능등을 사용해서 텍스트와 이미지를 동시에 입력하고 AI 가 그려내는 방식으로
2중 3중으로 데이터를 넣었을때 뭔가 맞지 않는 불협화음의 발생빈도도 높아지는 점
더 많은 시간과 노력을 투자해야 되는데 완전한 해결방법은 아니라는 점.
3. t2i 만로 입력하여 AI의 렌더링 방식에 충돌이나 무리가 가지않게 랜덤한 결과중에 선택하는 방식으로 하려한다고 해도 인물의 손과 발의 비정상적인 묘사가 나올 확률이 매우 높은 점.
사실 1번과 2번은 한계가 있다고 해도 AI의 랜덤한 결과만으로도 충분히 결과물에 만족할수 있는데
3번은 손발을 아예 안보이게 하지 않는 이상 완전성을 저해하게 되서 답답하기도 하고 안타깝기도 한 부분입니다.
그런 문제점을 해결하기 위해 여러가지 방식들이 있던데
외부의 3D 프로그램에서 적당한 손모양을 따오고 컨트롤넷의 카니나 뎁스를 이용해서
그것을 이식(?) 하는 법이라든가.
SD 내에서 인페인팅을 계속 걸어준다던가 (그런방식의 새로운 인페인팅용 업스케일링 확장 등 포함)
또는 t2i의 결과를 포토샵으로 보내서 붓칠(?)을 한다음에 다시 i2i로 보내 재 랜더링 하게 한다던가..
(애초에 곰손도 멋진 그림을 그릴수 있게 하는 개념인데 붓칠이 왠말..)
이런 이식과 재 랜더링 방법들은 실제로 해봤을때 그리 만족된 결과가 아니거나
너무 오랜 시간과 노력이 들어가든가 하는 문제로
실사용은 어렵다 판단이 되었습니다.
(아니면 강력한 프롬프트 ex. hands in pocket)
그나마 간단하게 쓸수 있는 방법은 badhand 와 같은 임베딩 형식으로
네거티브 프롬프트에 넣기만 하면 되는 것이 있는데. 완벽하진 않지만 나름 효과는 있는듯 했습니다. (손 모양만 보면)
https://civitai.com/models/16993/badhandv4-animeillustdiffusion
하지만 이런 임베딩이 모델의 전체 랜더링에도 영향을 주기도 하고 포즈자체를 고정시키는 것 같은 느낌도 들더군요.
(저 혼자만의 생각일수도 있습니다만)
(그래서 로라나 임베딩은 꼭 필요한것만 쓰고 가능한 최소화 하고 있습니다.)
가능한 이런 애드온을 쓰지 않고 기본 모델 만으로 손모양을 어색하지 않는 수준까지 만들었으면 좋겠는데.
AI Drawing 발전속도를 보면 몇달 뒤면 해결되지 않을까 합니다.
이번에 새로 업데이트된 미드저니v5 에서는 손 모양 랜더링 개선이 되었다고 들었습니다만
직접 해보진 않았네요.
ex) controlnet 으로 i2i 한 수십장 중에 그나마 괜찮은 결과물. 들인 노력과 시간대비 결과물을 얻기 힘든 예.