[글쓴이:] shop2world

Stable Diffusion의 Deforum 탭 기능 및 옵션

**Deforum** 탭은 AUTOMATIC1111의 Stable Diffusion 웹 사용자 인터페이스(Web UI)용 확장 프로그램입니다 (버전 3.0, Git 커밋: 32242685). 이 확장 프로그램은 주로 **비디오 생성** 기능을 강화하도록 설계되었습니다.

**주의**: 현재 Stable Diffusion 자체는 비디오 생성을 기본적으로 지원하지 않습니다. Deforum과 같은 확장 프로그램은 이 기능을 구현하기 위해 실험적인 방법을 사용합니다.

**Deforum 탭의 잠재적인 기능 (확장 프로그램 문서 또는 소스 코드 확인 필요):**

* **모션 보간/워핑 (Motion Interpolation/Warping):** Deforum은 비디오 프레임 간의 매끄러운 전환을 위해 프레임 간 객체의 모양 변화를 제어하는 기능을 제공할 수 있습니다. 이를 통해 객체가 시간 경과에 따라 이동, 구부리기, 늘리기 등의 변형 효과를 만들 수 있습니다.
* **키프레임 (Keyframes):** Deforum은 비디오에서 특정 시간대에 객체의 위치 또는 상태를 정의하는 데 사용되는 키프레임 기능을 제공할 수 있습니다. 이를 통해 비디오 내 객체의 움직임을 더욱 세밀하게 제어할 수 있습니다.
* **객체 추적 (Object Tracking):** Deforum은 비디오 프레임 전체에서 객체를 추적하여 특정 객체에 변형을 적용하는 기능을 제공할 수 있습니다. 이를 통해 특정 객체만 변형되도록 만들 수 있습니다.

**일반적인 옵션 (다른 확장 프로그램과 유사할 수 있음):**

* **단계 (Steps):** 비디오 생성에 사용되는 반복 횟수를 설정합니다. 더 많은 단계는 일반적으로 더 높은 품질의 결과를 생성하지만 계산 시간도 늘어납니다.
* **너비 (Width) 및 높이 (Height):** 생성하려는 비디오 프레임의 해상도를 설정합니다.
* **시드 (Seed):** 랜덤 생성 결과에 영향을 미치는 값입니다. 음수 (-1) 값을 사용하면 랜덤 시드가 선택됩니다.
* **배치 이름 (Batch name):** 생성된 이미지가 저장될 폴더의 이름을 지정합니다.

**다른 옵션**:

* **얼굴 복원 (Restore faces):** 각 프레임에서 생성된 이미지에 얼굴 복원 기능을 적용합니다 (실험적인 기능).
* **타일링 (Tiling):** 각 생성된 이미지를 매끄럽게 연결합니다 (실험적인 기능).
* **소음 배수 (noise multiplier):** 특정 샘플러에 적용되는 노イズ 수준을 조정합니다.

**중요 참고 사항:**

* Deforum은 비교적 새로운 확장 프로그램이며 빠르게 개발되고 있습니다. 따라서 기능과 옵션은 앞으로 변경될 수 있습니다.
* Deforum은 실험적인 기능이며 항상 안정적으로 작동하거나 원하는 결과를 생성하지 않을 수도 있습니다.
* Deforum을 사용하려면 별도로 설치해야 합니다.

**결론적으로** Deforum 탭은 Stable Diffusion의 비디오 생성 기능을 강화하는 데 도움이 되는 실험적인 확장 프로그램입니다. Deforum을 사용하여 기본 Stable Diffusion 기능을 넘어서는 더욱 복잡한 비디오를 생성할 수 있습니다.

## Stable Diffusion 모델 학습 예시 (쉽게 설명)

**1. 준비**

* 컴퓨터에 Stable Diffusion 웹 UI를 설치합니다.
* 텍스트 프롬프트와 해당 이미지로 구성된 학습 데이터셋을 준비합니다. 예를 들어, “푸른 바다 위를 날아가는 고래”라는 텍스트 프롬프트와 해당 이미지를 포함하는 데이터셋을 준비할 수 있습니다.
* 학습 데이터셋을 Stable Diffusion 웹 UI에 업로드합니다.

**2. 임베딩 생성**

* **Name:** 임베딩 모델의 이름을 임의로 정합니다. 예를 들어, “my_embedding”이라고 합니다.
* **Initialization text:** 임베딩 모델을 초기화하는 데 사용할 텍스트를 입력합니다. 예를 들어, “나는 이미지를 생성하는 것을 배우고 싶습니다.”라고 입력합니다.
* **Number of vectors per token:** 각 토큰(단어)을 나타내는 벡터의 개수를 설정합니다. 512가 일반적인 값입니다.
* **Overwrite Old Embedding:** 기존 임베딩 모델이 있는 경우 덮어쓸지 여부를 선택합니다.

**3. 하이퍼네트워크 생성**

* **Modules:** 하이퍼네트워크의 레이어 수를 설정합니다. 8은 일반적인 값입니다.
* **Input:** 하이퍼네트워크의 입력 크기를 설정합니다. 학습 데이터셋의 이미지 크기와 일치해야 합니다.
* **Output:** 하이퍼네트워크의 출력 크기를 설정합니다. 생성하려는 이미지의 크기와 일치해야 합니다.
* **Enter hypernetwork layer structure:** 하이퍼네트워크의 레이어 구조를 직접 입력하거나 기본값을 사용합니다.
* **Select activation function of hypernetwork:** 하이퍼네트워크의 활성화 함수를 선택합니다. Swish 또는 Linear(none)이 일반적입니다.
* **Select Layer weights initialization:** 레이어 가중치 초기화 방법을 선택합니다. relu 계열: Kaiming, sigmoid 계열: Xavier, 기타: Normal이 일반적입니다.
* **Add layer normalization:** 레이어 정규화 사용 여부를 선택합니다.
* **Use dropout:** 드롭아웃 사용 여부를 선택합니다.
* **Enter hypernetwork Dropout structure:** 하이퍼네트워크의 드롭아웃 구조를 입력하거나 기본값을 사용합니다.
* **Overwrite Old Hypernetwork:** 기존 하이퍼네트워크가 있는 경우 덮어쓸지 여부를 선택합니다.

**4. 학습**

* **Train an embedding or Hypernetwork:** “Hypernetwork”를 선택합니다.
* **Learning rate:** 학습 속도를 설정합니다. 0.001이 일반적인 값입니다.
* **Gradient Clipping:** 그래디언트 클리핑 값을 설정합니다. 1.0이 일반적인 값입니다.
* **Batch size:** 한 번에 학습하는 데이터 샘플 수를 설정합니다. 16이 일반적인 값입니다.
* **Gradient accumulation steps:** 그래디언트 누적 단계 수를 설정합니다. 4이 일반적인 값입니다.
* **Max steps:** 최대 학습 단계 수를 설정합니다. 10000이 일반적인 값입니다.
* **Prompt template:** 텍스트 프롬프트 템플릿을 입력합니다. 예를 들어, “{prompt}를 이미지로 생성해주세요.”라고 입력합니다.
* **Width, Height:** 생성하려는 이미지의 너비와 높이를 설정합니다. 512×512가 일반적인 값입니다.

**5. 학습 진행**

* “Train” 버튼을 클릭하면 학습이 시작됩니다.
* 학습 진행 상황은 로그 창에 표시됩니다.
* 학습이 완료되면 생성된 이미지를 확인할 수 있습니다.

**주의:**

* 학습 과정은 시간이 많이 걸릴 수 있습니다.
* 학습 결과는 사용된 데이터셋과 학습 설정에 따라 달라집니다.
* 만족스러운 결과를 얻지 못할 경우, 학습 데이터셋 또는 학습 설정을 조정해 볼 수 있습니다.

**추가 팁:**

* Stable Diffusion 웹 UI에서 제공하는 다양한 트레인 옵션들

Stable Diffusion 학습 (Training) 설명

Stable Diffusion 학습은 텍스트 프롬프트를 기반으로 이미지를 생성하는 모델을 훈련하는 과정입니다. 이 과정은 여러 단계로 이루어지며, 다양한 옵션을 통해 세밀하게 조정할 수 있습니다.

**1. 학습 단계**

Stable Diffusion 학습은 크게 다음 세 단계로 구성됩니다.

**1.1 임베딩 생성 (Create embedding)**

이 단계에서는 텍스트 프롬프트를 숫자 벡터 (embedding)로 변환하는 모델을 훈련합니다. 이 벡터는 이미지 생성 과정에서 이미지의 내용을 결정하는 중요한 역할을 합니다.

**옵션:**

* **Name:** 임베딩 모델의 이름입니다.
* **Initialization text:** 텍스트 임베딩 모델을 초기화하는 데 사용되는 텍스트입니다.
* **Number of vectors per token:** 각 토큰(단어)을 나타내는 벡터의 개수입니다.
* **Overwrite Old Embedding:** 기존 임베딩 모델을 덮어쓸지 여부를 선택합니다.

**1.2 하이퍼네트워크 생성 (Create hypernetwork)**

이 단계에서는 실제 이미지를 생성하는 하이퍼네트워크를 훈련합니다. 하이퍼네트워크는 임베딩 벡터를 입력받아 단계적으로 잡음(noise)을 제거하면서 이미지를 생성합니다.

**옵션:**

* **Modules:** 하이퍼네트워크의 레이어 수입니다.
* **Input:** 하이퍼네트워크의 입력 크기입니다.
* **Output:** 하이퍼네트워크의 출력 크기입니다.
* **Enter hypernetwork layer structure:** 하이퍼네트워크의 레이어 구조를 직접 입력합니다.
* **Select activation function of hypernetwork:** 하이퍼네트워크의 활성화 함수를 선택합니다. (Swish/Linear(none) 권장)
* **Select Layer weights initialization:** 레이어 가중치 초기화 방법을 선택합니다. (relu 계열: Kaiming, sigmoid 계열: Xavier, 기타: Normal 권장)
* **Add layer normalization:** 레이어 정규화 사용 여부를 선택합니다.
* **Use dropout:** 드롭아웃 사용 여부를 선택합니다.
* **Enter hypernetwork Dropout structure:** 하이퍼네트워크의 드롭아웃 구조를 입력합니다. (0~0.35 사이 증가 시퀀스: 0, 0.05, 0.15 권장)
* **Overwrite Old Hypernetwork:** 기존 하이퍼네트워크를 덮어쓸지 여부를 선택합니다.

**1.3 학습 (Train)**

모델 전체를 학습 데이터셋으로 훈련합니다. 학습 데이터셋은 텍스트 프롬프트와 해당 이미지로 구성되어 있으며, 모델은 이 데이터를 기반으로 텍스트 프롬프트에서 이미지를 생성하는 능력을 향상시킵니다.

**옵션:**

* **Train an embedding or Hypernetwork:** 임베딩 모델 또는 하이퍼네트워크 중 어떤 것을 훈련할지 선택합니다.
* **Learning rate:** 학습 속도를 조절하는 하이퍼파라미터입니다.
* **Gradient Clipping:** 그래디언트 클리핑 값을 설정합니다.
* **Batch size:** 한 번에 학습하는 데이터 샘플 수입니다.
* **Gradient accumulation steps:** 그래디언트 누적 단계 수입니다.
* **Dataset directory:** 학습 데이터가 있는 디렉토리 경로입니다. 1:1 비율의 이미지와 텍스트 프롬프트 페어로 구성되어야 합니다.
* **Log directory:** 학습 로그를 저장할 디렉토리 경로입니다.
* **Prompt template:** 텍스트 프롬프트 템플릿입니다.
* **Width, Height:** 생성할 이미지의 너비와 높이입니다.
* **Do not resize images:** 이미지 크기를 조정하지 않을지 여부를 선택합니다.
* **Max steps:** 최대 학습 단계 수입니다.
* **Save options:** 학습 과정 중에 이미지와 임베딩 모델을 저장하는 옵션입니다.
* **Use PNG alpha channel as loss weight:** PNG 이미지의 알파 채널을 손실 함수의 가중치로 사용 여부를 선택합니다.
* **

Stable Diffusion web UI 확장 목록 설명

**확장 목록 설명**

Stable Diffusion web UI 확장 목록은 사용 가능한 확장과 각 확장에 대한 정보를 보여줍니다. 확장 목록은 다음과 같은 열로 구성됩니다.

* **확장 이름:** 확장의 이름입니다.
* **URL:** 확장 코드가 저장된 GitHub 저장소 링크입니다. 확장의 기능 및 사용 방법에 대한 자세한 정보를 찾을 수 있습니다.
* **브랜치:** 현재 설치된 확장 코드의 특정 개발 브랜치를 나타냅니다.
* **버전:** 설치된 확장의 버전 번호입니다.
* **날짜:** 확장 정보가 마지막으로 업데이트된 날짜와 시간을 표시합니다.
* **업데이트:** 확장 업데이트를 확인하거나 업데이트 상태와 관련된 정보가 표시될 수 있습니다. (하지만 모든 확장에 대해 “unknown”으로 표시되어 있습니다.)
* **LDSR/내장:** 확장이 Stable Diffusion web UI의 내장 기능인지 (“내장”으로 표시됨) 또는 별도의 확장인지 (“unknown”으로 표시됨)을 나타냅니다. LDSR은 확장 내의 특정 기능을 참조할 수 있습니다.

**확장 정보 예시**

* **openpose-editor:** 이 확장은 Stable Diffusion 인터페이스 내에서 포즈 편집과 관련된 것으로 보입니다. 2023년 10월에 업데이트되었습니다. (내장 여부 불명)
* **sd-dynamic-prompts:** 이미지 생성 중에 프롬프트를 동적으로 수정하는 것과 관련된 확장으로 보입니다. 2024년 4월에 업데이트되었습니다. (내장 여부 불명)
* **sd-webui-controlnet:** ControlNet 기능을 Stable Diffusion에 통합하는 데 사용될 수 있는 확장입니다. 2024년 4월에 업데이트되었습니다. (내장 여부 불명)

**확장 사용 방법**

1. Stable Diffusion web UI를 엽니다.
2. **확장** 탭을 클릭합니다.
3. 사용하려는 확장을 찾아 **활성화** 버튼을 클릭합니다.
4. 확장 설정을 사용자 지정하려면 확장 설정 페이지를 엽니다.

**주의:**

* 모든 확장이 모든 Stable Diffusion web UI 버전과 호환되는 것은 아닙니다. 확장을 설치하기 전에 호환성을 확인하십시오.
* 일부 확장은 추가 설정이나 구성이 필요할 수 있습니다. 확장 설정 페이지를 참조하십시오.
* 확장을 사용하면 예상치 못한 결과가 발생할 수 있습니다. 주의해서 사용하고 백업을 항상 유지하십시오.

**Stable Diffusion web UI 확장에 대한 자세한 내용은 다음 리소스를 참조하십시오.**

* Stable Diffusion web UI 문서: [https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions](https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions)
* Stable Diffusion web UI 커뮤니티: [https://www.reddit.com/r/StableDiffusion/](https://www.reddit.com/r/StableDiffusion/)

**도움이 되었기를 바랍니다!**

**Stable Diffusion 옵션 설명:**

1. **Generation**: 이미지 생성을 위한 옵션입니다. 생성된 이미지의 특성 및 결과를 조정하는 데 사용됩니다.

2. **Textual Inversion**: 텍스트를 입력으로 받아 해당 내용을 시각적인 이미지로 변환하는 옵션입니다. 텍스트를 시각적 이미지로 변환하는 과정에서 사용됩니다.

3. **Hypernetworks**: 하이퍼네트워크를 사용하여 모델의 가중치를 동적으로 조정하는 옵션입니다. 모델의 학습 및 생성 과정에서 사용됩니다.

4. **Checkpoints**: 모델의 학습 중간에 저장된 체크포인트를 로드하여 학습을 재개하거나 생성을 계속할 수 있게 해주는 옵션입니다.

5. **Lora**: 이미지 생성 과정에서 사용되는 LoRA(Linearly-organized Random Access) 알고리즘의 설정을 조정하는 옵션입니다.

6. **img2img**: 이미지를 이미지로 변환하는 작업에 사용되는 옵션입니다. 이미지 간의 변환을 수행합니다.

**img2img 사용 방법:**
– **Sketch**: 스케치 이미지를 생성하는 옵션입니다. 주어진 이미지를 스케치로 변환합니다.
– **Inpaint**: 이미지를 보정하는 옵션입니다. 손상된 이미지를 보정하거나 누락된 부분을 보완합니다.
– **Inpaint sketch**: 스케치를 보정하는 옵션입니다. 생성된 스케치 이미지를 보정합니다.
– **Inpaint upload**: 업로드된 이미지를 보정하는 옵션입니다. 업로드된 이미지를 보정합니다.

– **Resize mode**: 이미지의 크기를 조정하는 방법을 설정하는 옵션입니다. 크기를 조정하거나 잘라내거나 채우는 등의 방법을 선택할 수 있습니다.

– **Sampling method**: 이미지 생성에 사용되는 샘플링 방법을 설정하는 옵션입니다.

– **Schedule type**: 이미지 생성에 사용되는 스케줄 유형을 설정하는 옵션입니다. 생성 과정에서 사용되는 스케줄링 방법을 선택할 수 있습니다.

– **Sampling steps**: 이미지 생성에 사용되는 샘플링 단계의 수를 설정하는 옵션입니다.

– **Refiner**: 이미지 보정 과정에서 사용되는 옵션을 설정하는 부분입니다. 생성된 이미지의 품질을 더욱 향상시키는 역할을 합니다.

– **Batch count**: 한 번에 처리할 이미지의 수를 설정하는 옵션입니다.

– **Batch size**: 한 번에 처리할 배치의 크기를 설정하는 옵션입니다.

– **CFG Scale**: 이미지 생성에 사용되는 Conditional Focused Generation(CFG)의 스케일을 설정하는 옵션입니다.

– **Denoising strength**: 이미지 생성 과정에서 노이즈를 제거하는 강도를 설정하는 옵션입니다.

– **Seed**: 이미지 생성에 사용되는 시드 값을 설정하는 옵션입니다. 동일한 시드를 사용하면 항상 동일한 결과를 얻을 수 있습니다.

– **Extra**: 이미지 생성 과정에서 추가적으로 사용되는 동적 프롬프트 및 기타 옵션을 설정하는 부분입니다.

LoRA(Linearly-organized Random Access)란 선형적으로 구성된 무작위 접근을 의미합니다. 이것은 이미지 생성 및 처리과정에서 사용되는 알고리즘의 한 종류로, 이미지의 여러 부분을 순차적으로 접근하면서 무작위로 선택된 부분을 처리하는 방식을 나타냅니다. 간단히 말해, 이미지를 선형적으로 조각내고 그 중에서 무작위로 선택하여 처리하는 방법을 의미합니다.

Stable Diffusion에서 Negative prompt는 이미지 생성 과정에서 원하는 이미지의 특정 측면을 배제하거나 방지하는 데 사용되는 텍스트 프롬프트입니다. 이를 통해 생성된 이미지가 원치 않는 특성을 갖지 않도록 할 수 있습니다.

일반적으로 Positive prompt(긍정적인 프롬프트)은 원하는 이미지의 특징이나 속성을 설명하고, Negative prompt(부정적인 프롬프트)은 그와 반대되는 특징이나 속성을 설명합니다. 이렇게 함으로써 모델은 원하는 이미지의 특성을 강조하고 원치 않는 특성을 배제하도록 학습됩니다.

예를 들어, “흰색 배경”을 원하지만 “어두운 색상”을 피하려는 경우 “흰색 배경”을 Positive prompt로 사용하고 “어두운 색상”을 Negative prompt로 사용할 수 있습니다. 이렇게 하면 모델은 밝은 배경을 선호하고 어두운 색상을 피하도록 학습됩니다.

같은 스타일을 계속적으로 일관되게 만들기 위해서는 다음과 같은 접근 방법을 취할 수 있습니다:

1. **고정된 시드 사용**: 이미지 생성 프로세스에서 동일한 결과를 얻기 위해 고정된 시드를 사용합니다. 동일한 시드를 사용하면 항상 동일한 스타일의 이미지를 생성할 수 있습니다.

2. **모델 및 설정의 일관성 유지**: 이미지를 생성하는 데 사용되는 모델과 설정을 일관되게 유지합니다. 즉, 동일한 모델 버전 및 설정을 사용하여 이미지를 생성합니다.

3. **고정된 입력**: 이미지 생성을 위한 입력 데이터를 일관되게 유지합니다. 이는 프롬프트, 마스크, 잠재 벡터 등을 고정된 형태로 유지하는 것을 의미합니다.

4. **미세 조정 및 실험**: 필요한 경우 이미지 생성 프로세스를 미세 조정하거나 실험하여 일관된 결과를 얻을 수 있습니다. 예를 들어, 샘플링 방법, 프롬프트 조합, 모델 파라미터 등을 조정하여 원하는 결과를 얻을 수 있습니다.

5. **생성된 이미지의 평가 및 조정**: 생성된 이미지를 평가하고 필요한 경우 조정하여 일관된 스타일을 유지합니다. 이는 이미지 품질을 향상시키고 일관된 결과를 얻기 위한 중요한 단계입니다.

이러한 방법을 적용하여 동일한 스타일의 이미지를 일관되게 생성할 수 있습니다.

예를 들어 봅니다.

생성된 그림의 하단에 보면 다음과 같은 정보가 나옵니다.