Stable Diffusion Là Gì? Cách Cài đặt, Sử Dụng Stable Diffusion AI

Stable Diffusion là gì? Cách cài đặt, sử dụng Stable Diffusion AI

Genlogin
 7 Tháng năm, 2023
Trí tuệ nhân tạo đang dần trở thành xu hướng và được ứng dụng rộng rãi từ lĩnh vực công nghệ, kỹ thuật đến đời sống xã hội… Các công cụ AI vẽ tranh cũng phát triển mạnh mẽ trong thế giới nghệ thuật số như Midjourney, Stable Diffusion, Dall-E…. Trong đó, Stable Diffusion AI (SD) nổi bật hơn cả với những bức ảnh chất lượng cao và có tính ổn định. Tại sao lại như vậy? Hãy cùng Genlogin giải mã chi tiết công cụ Stable Diffusion AI ngay nhé!

Table of Contents

1. Giới thiệu về Stable Diffusion AI

1.1. Stable Diffusion là gì?

Stable Diffusion (Khuếch tán ổn định) là một dạng mô hình học sâu được phát hành vào năm 2022. Nó chủ yếu được sử dụng để tạo hình ảnh chi tiết dựa trên mô tả văn bản. Ngoài ra, có thể áp dụng công cụ này cho các tác vụ khác như inpainting, outpainting hoặc tạo hình ảnh thành bản dịch được hướng dẫn bởi dấu nhắc văn bản.
Hiện tại, giao diện người dùng của Stable Diffusion AI chưa được thân thiện như một số công cụ trí tuệ nhân tạo vẽ tranh AI khác. Tuy nhiên, nó vẫn tạo sức hút mạnh trong lĩnh vực đồ họa công nghệ bởi những bức ảnh tạo ra có sự tùy biến cao và chân thực hơn.
Ngoài ra, Stable Diffusion AI còn có một cộng đồng chia sẻ dữ liệu về các checkpoint, model để mọi người dùng đều có thể tham khảo và sử dụng công khai.
Stable Diffusion AI hiện đang phát hành 2 phiên bản chính là SD v1 và SD v2 và có thể chạy trên hầu hết các phần cứng. Sự khác biệt chính nằm ở bộ dữ liệu được sử dụng để đào tạo các mô hình và bộ mã hóa văn bản.
Stable Diffusion AI v1.1 được tạo từ 237.000 bước huấn luyện ở độ phân giải 256 x 256. Trong khi đó bản Stable Diffusion AI v1.4 có số bước huấn luyện lên đến hơn 5 lần so với Stable Diffusion AI v1.1 và có thể tạo ảnh lên đến 4k. Đối với phiên bản 2, tất cả các bộ dữ liệu và mạng thần kinh được sử dụng đều là nguồn mở và khác nhau về nội dung hình ảnh.

1.2. Cơ chế hoạt động của Stable Diffusion model

Stable Diffusion AI sử dụng cơ chế như một hệ thống máy lọc, nó có khả năng học tập từ dữ liệu bạn cung cấp trước đó. Chúng hoạt động theo mô hình khuếch tán, chịu trách nhiệm tạo hình ảnh từ mô tả dạng text.
  • Các bạn có thể xem Illustrated Stable Diffusion vì đây là bản hoàn chỉnh nhất và nó sẽ giúp hình như khái quát hơn về cơ chế hoạt động của Stable Diffusion AI.
  • Sau đó các bạn có thể xem tiếp Annotated Stable Diffusion, tại đây sau khi đã hiểu khái quát về cấu trúc của Stable Diffusion.
Đây là cách dễ tiếp cận nhất và không yêu cầu kiến thức ML sâu hay đọc research paper gốc. Chỉ cần hiểu 2 bài này bạn hoàn toàn có thể commit code vào các repo open source như automatic1111,… hoặc viết các custom code để tạo ra thêm thay đổi cho stable diffusion. Tất nhiên là chỉ dừng lại ở mức ứng dụng. Ngoài ra không nên quên check github của Stable Diffusion AI: https://github.com/Stability-AI/stablediffusion
Stable-Diffusion-01
  Thành phần của Stable Diffusion AI
Bộ sinh ảnh trải qua 2 giai đoạn:
  • Bộ tạo thông tin hình ảnh
  • Image Decoder (Tạm dịch: Bộ giải mã hình ảnh)
Với hình ảnh trên ta thấy được 3 thành phần tạo nên Stable Diffusion AI:
  • ClipText để mã hóa văn bản. Input: văn bản. Output: véc tơ embedding với 77 token, mỗi véc tơ 768 chiều.
  • UNet + Scheduler để xử lý/phân tán thông tin trong không gian ẩn. Input: text embedding và một mảng đa chiều (danh sách số có cấu trúc, còn được gọi là tensor) được khởi tạo từ nhiễu. Output: Một mảng thông tin đã qua xử lý
  • Autoencoder Decoder vẽ hình ảnh cuối cùng từ mảng thông tin đã qua xử lý ở bước trên. Input: Mảng thông tin đã qua xử lý (Kích thước: (4,64,64)) Output: Hình ảnh cuối cùng (kích thước: (3, 512, 512) ứng với (RBG, chiều rộng, chiều cao))

1.3. Công cụ tạo ảnh thường dùng kết hợp với Stable Diffusion AI

Công cụ
Nội dung
Công cụ để tạo ảnh (inference)
Automatic1111 Web UI
Công cụ sử dụng UI để tương tác với Stable Diffusion AI, nó có lượng người dùng đông đảo nhất, tốc độ update nhanh nhất (luôn luôn có đủ và rất nhiều features, có những features thậm chí còn được implement và được sử dụng rất nhiều mặc dù không có trong implementation gốc).
Tuỳ vào cấu hình và máy của bạn sẽ có nhiều hướng dẫn khác nhau, hãy check tại mục installation nhé.
Link: https://github.com/AUTOMATIC1111/stable-diffusion-webui
Invoke-AI
Công cụ phổ biến thứ 2 sau automatic1111 là Invoke-AI, điểm mạnh của nó chính là có UI rất đẹp hiện tại là đẹp nhất so với các công cụ khác. Invoke-AI rất mạnh trong khoảng InpAInting và OutpAIning.
Link: https://github.com/invoke-AI/InvokeAI
Draw things: AI GENERATION (Update)
Draw things được coi là công cụ dễ dùng nhất để chạy stable diffusion model được tối ưu cho IOS, thậm chí có thể chạy được trên iPhone. Mặc dù không có nhiều tính năng như automatic nhưng nó lại rất dễ sử dụng.
Link: https://apps.apple.com/vn/app/draw-things-AI-generation/id6444050820
Công cụ để tạo ảnh online (Miễn phí)
Stable Horde
Stable Horde là trang web để chạy Stable Diffusion “hoàn toàn miễn phí”, dành cho những người có máy chạy tốt được stable diffusion tham gia để tình nguyện cho bạn tạo ảnh trên máy của họ.
Tất cả những gì bạn cần làm là vào trang web này để đăng ký tài khoản. Sau khi bạn đăng ký, stable horde sẽ cho bạn một API key, sau đó vào lại trang chủ và kéo xuống phần “Usage” để xem hướng dẫn cách sử dụng nhé.
Link: https://stablehorde.net
Mage Space
Mage Space là một trang web dịch vụ cho bạn tạo ảnh từ Stable Diffusion, họ đã set up hết Stable Diffusion rồi, các bạn chỉ việc tạo ảnh thôi. Mage Space được mình thêm vào vì lí do họ có cho sử dụng miễn phí các tính năng cơ bản.
Nếu bạn không có nhu cầu cao mà chỉ muốn thử qua Stable Diffusion AI, thì bạn hoàn toàn có thể thử bằng việc sử dụng Mage Space nhé.
Link: https://mage.space
Các trang web có nhiều models
Huggingface
Huggingface giống như github của model machine learning và AI. Nó lưu trữ và cho phép sử dụng thử các model machine learning được open-source. Một số link có thể hữu ích từ huggingface.
Stable Diffusion 2.0: https://huggingface.co/stabilityAI/stable-diffusion-2
Stable Diffusion 1.4: https://huggingface.co/CompVis/stable-diffusion-v1-4
Civit-AI
Có lẽ không cần nói nhiều các bạn cũng tự hình dung được trang web này có nhiều model đến mức nào khi nhìn vào trang chủ, hãy truy cập vào link này : https://civitAI.com
Nguồn chia sẻ, thảo luận hoặc học hỏi thêm về Stable Diffusion AI:

2. Cách cài đặt Stable Diffusion AI trên máy tính

2.1. Thông số yêu cầu để cài đặt Stable Diffusion AI trên máy tính

Với điện thoại hoặc hầu hết các máy tính xách tay có cấu hình thấp, Stable Diffusion AI sẽ không thể chạy hay hoạt động được. Nó chỉ có thể chạy trên PC có cấu hình trung bình đáp ứng các yêu cầu dưới đây:

  • Hệ điều hành Windows 8, 10 hoặc 11.
  • GPU có ít nhất 6GB VRAM, bao gồm hầu hết các GPU NVIDIA hiện đại.
  • Dung lượng lưu trữ khoảng 10GB trên ổ thể rắn hoặc ổ cứng.
  • Cài đặt Miniconda3 và Git.
  • Tải về tệp khuếch tán ổn định từ GitHub.
  • Stable Diffusion ổn định cũng có thể chạy trên macOS và Linux
Nếu PC của bạn không đáp ứng các yêu cầu này, bạn có thể lựa chọn các thay thế như
  • Dùng Stable Diffusion trực tuyến.
  • Sử dụng thông qua dịch vụ Google Colab.
  • Hoặc tải bản cài đặt Stable Diffusion tự động.

2.2. Cài đặt Stable Diffusion AI trên Windows thủ công

Các bước cài đặt Stable Diffusion AI trên Windows:
  
Bước 1: Cài đặt Python
  
Để chạy Stable Diffusion AI, bạn sẽ cần cài đặt Python 3.10.6. Chọn trình cài đặt windows 64bit hoặc sử dụng liên kết tải xuống trực tiếp tại đây.
  • Mở trình cài đặt Python để bắt đầu cài đặt
  • Sau khi tải xuống bạn tiến hành cài đặt như thông thường. Lưu ý: Đảm bảo tích chọn “Add Python 3.10 to PATH”.
  • Nhấp vào “Install Now” để bắt đầu cài đặt.
Nếu bạn gặp lỗi, rất có thể là do bạn đã cài đặt Python trước đó. Xóa mọi phiên bản Python đã cài đặt trước đó và cài đặt lại phiên bản Python 3.10.6.
Stable-Diffusion-02
  Cài đặt Python 3.10.6
  
Bước 2: Cài đặt Git
  
Git là một hệ thống quản lý kho mã. Bạn sẽ cần nó để cài đặt và cập nhật AUTOMATIC1111.
  • Truy cập trang này để tải xuống phiên bản windows.
  • Mở trình cài đặt. Nhấp vào “Install” để chấp nhận giấy phép và cài đặt phần mềm.
  • Làm theo hướng dẫn để hoàn tất cài đặt.
Stable-Diffusion-03
  Cài đặt Git
  
Bước 3: Sao chép Web-ui
  
Đây là bước khó nhất trong quá trình cài đặt đòi hỏi bạn cần thực hiện cẩn thận:
  • Bấm tổ hợp phím Window + R trên bàn phím
  • Sau đó gõ cmd vào hộp thoại và bấm Open.
  • Trước tiên, hãy đảm bảo rằng bạn đang ở trong thư mục chính của mình bằng cách nhập lệnh sau rồi nhấn Enter. (Mẹo: Bạn có thể sử dụng nhấp chuột phải để dán vào Câu Lệnh.)
  cd %userprofile%
  
Bạn sẽ thấy câu lệnh hiện thị kiểu như C:\Users\YOUR_USER_NAME>.
  • Tiếp theo gõ lệnh sau và nhấn Enter để sao chép kho lưu trữ AUTOMATIC1111.
  git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
  • Một thư mục có tên stable-diffusion-webui sẽ được tạo trong thư mục chính của bạn. Bạn có thể sao chép kho lưu trữ vào một thư mục khác thay vì %userprofile%, miễn là bạn có thể tìm thấy thư mục stable-diffusion-webui mới tạo. Bạn sẽ cần thay đổi vị trí thư mục cho phù hợp trong các bước sau.
Stable-Diffusion-04
  Sao chép Web-ui
  
Bước 4: Tải xuống file model
  • Vào thư mục vừa tạo trong File Explorer. Nhập câu lệnh sau vào thanh địa chỉ và nhấn Enter
  %userprofile%\stable-diffusion-webui
  • Tiếp tục truy cập vào thư mục Models và sau đó là Stable-diffusion. Bạn sẽ thấy một tập tin “Put Stable Diffusion checkpoints here.txt” như dưới đây.
  • Download file model checkpoint Stable Diffusion v1.5 (link tải). File model checkpoint có đuôi .ckpt sau đó đặt nó vào thư mục trên.
Stable-Diffusion-05
  Tải xuống file model
  
Bước 5: Chạy webui
  • Bây giờ trong File Explorer, quay lại thư mục stable-diffusion-webui ban đầu. Tìm một tệp có tên webui-user.bat. Bấm đúp để chạy và hoàn tất cài đặt.
  • Bạn sẽ cần chờ đợi một lúc và nhận được một thông báo như bên dưới
Running on local URL: http://127.0.0.1:7860
  • Tiếp theo bạn mở trình duyệt web và truy cập URL: http://127.0.0.1:7860/ bạn sẽ thấy giao diện của công cụ Stable Diffusion webui AUTOMATIC1111!
  • Bây giờ hãy gõ thử một câu prompt (ví dụ: “a cat”) và nhấn Generate để kiểm tra xem Stable Diffusion AI có chạy chính xác hay không.
Vậy là đã hoàn thành xong các bước để cài đặt Stable Diffusion trên PC của bạn. Sau khi sử dụng xong Stable Diffusion AI, hãy đóng cửa sổ cmd màu đen để tắt.
  
Để chạy lại Stable Diffusion AI, bạn chỉ cần nhấp đúp vào tệp webui-user.bat.
Stable-Diffusion-06
  Nhấp đúp vào tệp webui-user.bat

2.3. Cài đặt Stable Diffusion AI trên Windows và macOS tự động

Quá trình cài đặt Stable Diffusion AI có thể gây khó khăn và phức tạp cho một số người dùng nhất định, bạn có thể tham khảo phương pháp khác. Hãy xem hướng dẫn cài đặt Stable Diffusion AI trên Windows và macOS tự động chỉ bằng 1 cú click chuột bên dưới đây.
  
Có 3 trình cài đặt tự động Stable Diffusion AI trên PC để lựa chọn. Đây là những bộ cài đặt được phát triển từ cộng đồng Stable Diffusion AI và có thể phù hợp với nhiều loại máy tính hơn:
  1. Bộ cài đặt Stable Diffusion WebUI Easy A1111: tự động hóa hầu hết các bước tải xuống và cài đặt trong cách làm thủ công. Đây là một gói cài đặt duy nhất và bạn chạy nó ngay. Tuy nhiên, nó vẫn có thể không tương thích với một số máy tính. Nếu có lỗi trong quá trình cài đặt, bạn có thể sử dụng bộ cài đặt khác bên dưới.
Link tải: Stable Diffusion WebUI Easy A1111
  1. Bộ cài đặt NMKD Stable Diffusion GUI Portable: đây là một bản di động (portable) tất cả được chứa trong một gói duy nhất, bạn chỉ cần giải nén và chạy. Điểm đặc biệt của gói NMKD này là nó của thể hoạt động tốt trên GPU AMD (bản cài đặt thông thường chỉ hộ trợ GPU NVIDIA).
Link tải: NMKD Stable Diffusion GUI Portable
  1. Đối với người dùng MacOS, bộ cài đặt DiffusionBee là một tùy chọn thích hợp, nó hoạt động tốt với bộ xử lý của Apple (chậm hơn một chút với chip Intel). DiffusionBee yêu cầu macOS 12.5.1 trở lên.
Link tải: DiffusionBee

2.4. So sánh WebUI trên Windows với DiffusionBee trên MacOS

Theo một số người dùng, so với giao diện của DiffusionBee trên macOS được chia sẻ ở trên thì WebUI có lẽ sẽ hơi rối. Nhưng một khi đã nắm rõ hết mọi chi tiết cùng tính năng của từng chi tiết, thì chúng ta sẽ nhận ra công cụ này mạnh và tự do hơn rất nhiều so với DiffusionBee.
Từ khóa
Tính năng
StableDiffusion checkpoint
Mô hình đã được huấn luyện để tạo hình ảnh nhờ từ khóa
Prompt
Ô gõ từ khóa để thuật toán tạo hình ảnh
Negative prompt
Những từ khóa có thể tạo ra những chi tiết hình ảnh không mong muốn, gõ những từ khóa này thì thuật toán sẽ lờ chúng đi trong quá trình nội suy hình ảnh
Sampling method
Giải pháp lấy mẫu trong quá trình nội suy. Mỗi giải pháp lấy mẫu lại phù hợp với một dạng hình ảnh khác nhau. Có cái hợp với DDIM, có cái lại hợp hơn với DPM2 a. Chọn sampler nào phụ thuộc hoàn toàn vào quá trình thử nghiệm của bạn
Restore faces
Dùng thuật toán CodeFormer để tinh chỉnh chi tiết gương mặt cho chân thực
Tiling
Tạo ra những hình ảnh lặp đi lặp lại, rất hữu ích khi chế ra những hoa văn họa tiết mới
Hires. fix
Dùng những thuật toán khác để tiếp tục nội suy, tăng độ phân giải
Upscaler
Lựa chọn thuật toán để nội suy tăng độ phân giải hình ảnh
Upscale by
Tỷ lệ tăng kích thước hình ảnh. Đừng để quá cao, vì dễ nội suy hỏng do hết VRAM. Hình cỡ lớn có thể tạo ra ở tab Extra, tốn ít tài nguyên máy tính hơn so với việc tăng kích thước hình cùng lúc với quá trình nội suy của AI
Hires steps
Số bước thuật toán nội suy dùng để tăng độ phân giải và chi tiết hình ảnh
Denoising strength
Mức độ can thiệp của thuật toán nâng cấp hình ảnh, chèn lên thuật toán tạo ra hình ảnh trước đó. Số càng thấp thì can thiệp càng ít
CFG Scale
Viết tắt của Classifier Free Guidance, giống hệt DiffusionBee, số càng nhỏ thì hình ảnh càng có tính sáng tạo
Seed
Tham số thuật toán dùng nội suy hình ảnh
  
Sau khi đã làm quen xong hết thao tác và thông số quan trọng để tạo ra tấm hình ưng ý, giờ là lúc bạn tự do khám phá những từ khóa để thuật toán làm việc. Một ví dụ, cụ thể như sau:
  • Từ khóa nội suy: ((darth vader riding a vespa scooter on the street of rAIning Tokyo)), reflection on the ground, neon billboards, cyberpunk, Tokyo night, rembrandt light, fantasy, dramatic sky, cinematic, fisheye lens, f1.8, hyper realistic, ultra detAIl, photorealistic, high contrast
  • Số liệu nội suy: Steps: 35, Sampler: DPM++ SDE Karras, CFG scale: 6, Seed: 786709107, Face restoration: CodeFormer, Size: 768×512, Model hash: 88ecb78256, Model: v2-1_512-ema-pruned, Denoising strength: 0.2, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+
Đến đây là lúc mỗi mô hình ngôn ngữ khác nhau, được huấn luyện theo cách khác nhau phát huy tác dụng. Mỗi mô hình dựa trên Stable Diffusion AI đều có thế mạnh và nhược điểm khác nhau. Muốn tạo ra tấm hình ưng ý nhất luôn luôn phải trải qua quá trình thử sai để tìm ra lựa chọn tối ưu, tạo ra hình ảnh đẹp mắt nhất.

2.5. Chạy Stable Diffusion AI trên Google Colab

Với các bạn không có điều kiện chạy Stable Diffusion AI trên máy cá nhân, có thể tận dụng Google Colab. Về cơ bản thì đây là nền tảng để phục vụ chạy mô hình của Google, cho phép bạn chạy mã nguồn dưới dạng 1 cuốn sổ tay, kết hợp ghi chú và kết quả. Bạn được sử dụng 1 cấu hình máy khá khủng online, free hoàn toàn, nhưng chỉ chạy được tối đa 12h liên tiếp.
  
Các bước tiến hành:
  
Bước 1: Lưu file này về Google Drive của bạn và mở lên: https://colab.research.google.com/github/pharmapsychotic/AI-notebooks/blob/mAIn/pharmapsychotic_Stable_Diffusion.ipynb
  
Bước 2: Click Connect ở góc trên, bên phải màn hình, gần bên dưới avatar Google. Nếu bị hỏi thì click Run anyway
  
Bước 3: Click run cell (nút Play) với lần lượt các mục Check GPU, Mount Google Drive and Prepare Folders, Installation. Colab sẽ hỏi có muốn kết nối với Google Drive không, chọn Authorize và cấp quyền cho Colab.
  
Bước 4: Tải file này về Google Drive. Đây là file trọng số của mô hình.
  
Bước 5: Sửa lại đường dẫn đến file trọng số của mô hình trên Google Drive của mọi người ở mục Load Model. Click run cell
  
Bước 6: Trong mục Image Creation, mọi người tuỳ chỉnh tham số, ý nghĩa giống hệt phần ở trên.

3. Sử dụng Stable Diffusion AI để tạo ảnh

3.1. Cách vẽ tranh bằng Stable Diffusion AI

Các bạn có thể sử dụng Stable Diffusion AI tạo hình ảnh dễ dàng thông qua website của nó. Các bước thực hiện sau đây:
  
Bước 1: Truy cập vào website của phần mềm AI theo đường link sau: Stable Diffusion Online.
Stable-Diffusion-07
  Truy cập vào website của Stable Diffusion AI
  
Bước 2: Các thông tin về nền tảng và cách thức hoạt động được cung cấp trên website và bạn có thể thấy một tùy chọn người dùng sử dụng bản MIỄN PHÍ.
  
Bước 3: Sau khi lựa chọn sử dụng phiên bản miễn phí, chúng sẽ chuyển hướng xuống sâu hơn trên website. Bạn sẽ nhìn thấy một hộp để chèn văn bản (lệnh). Bên cạnh đó, một ô trống khác sẽ hiển thị cho bạn hình ảnh được tạo ra.
  
Thông qua những bước trên, các bạn có thể sử dụng Stable Diffusion AI để tạo hình ảnh một cách nhanh chóng. Tuy nhiên, hãy lựa chọn đoạn văn bản rõ ràng, mạch lạc để tránh mất nhiều thời gian nhé!
  
Những câu lệnh sử dụng trong stable diffusion AI:
  • N_samples: dùng chỉ định số lượng mẫu được tạo, tuy nhiên, hầu hết các máy tính không có đủ VRAM để hỗ trợ.
  • Plms: dùng để chỉ định cách hình ảnh sẽ được lấy mẫu.
  • N_iter: dùng để chỉ định số lần lặp bạn muốn tạo cho mỗi lời nhắc, tốt nhất là 5 nhằm xem bạn nhận được loại kết quả nào.
Trong phần mềm có rất nhiều lệnh khác nhau mà bạn có thể triển khai nhằm điều chỉnh kết quả của mình. Ví dụ, chạy python scripts/txt2img.py –help để xem danh sách đầy đủ các đối số mà bạn có thể sử dụng được. Bạn có thể tham khảo các lệnh tại cộng đồng trên Reddit (hoặc những nơi khác) để thuận tiện trong việc tạo ra hình ảnh bằng AI cho riêng mình.
Stable-Diffusion-08
  Hình ảnh AI được vẽ bởi Stable Diffusion AI

3.2. Sử dụng Controlnet để điều chỉnh các thông số

Một số khái niệm mọi người cần nắm rõ trước khi triển khai:
  • ControlNet: Đây là một cách rất hay để AI có thể vẽ ra được một bức tranh đẹp từ một bản vẽ tay mà vẫn giữ được các chi tiết của bản vẽ tay đó.
  • Model (Checkpoint): AI đã được trAIn từ một bộ dự liệu lớn để áp dụng.
  • Lora: đây là phương pháp fine-tune model, có thể thay đổi style ảnh mà mình muốn.
Các bước triển khai:
  
Bước 1: Chọn model và Lora từ CivitAI. Model thường chọn sẽ là Meinamix_meinaV8 và Lora RAIdenShogunRealistic. Các bạn tải về và bỏ vào folder Model và Lora tương ứng.
  
Bước 2: Ở phần ControlNet, bạn upload bản vẽ tay nhân vật mà mình muốn AI tạo ra, sau đó chọn Model Canny, đây là model thường dùng để AI tạo ra hình từ sketch, một lựa chọn model khác nữa là Scribble, bạn có thể test thử model này. Sau đó bạn chọn Enable để kích hoạt ControlNet.
 
Bước 3: Bạn điều chỉnh tỷ lệ của ảnh tạo ra theo hAI thông số width và high sao cho tỷ lệ này trùng với tỷ lệ của bản vẽ tay đưa vào.
  
Bước 4: Nhập lệnh Prompt, trong Stable Diffusion AI có 2 loại prompt là Positive Prompt và Negative Prompt, thông thường chúng ta sẽ nhập lệnh prompt ở phần Positive Prompt, còn Negative Prompt sẽ dùng để hạn chế những chi tiết mà chúng ta không muốn AI tạo ra trong ảnh. Các bạn nhập lần lượt như sau:
  • Positive Prompt: beautiful girl, (modern), lighting,((beautiful face)), ((colorful clothes)), (ultra realistic, raw photo:1.2, 8k), (modern city background:1.2), ((blue hAIr))<lora:rAIdenShogunRealistic_rAIdenshogunHandsfix:0.7>
  • Negative Prompt: ((extra fingers, mutated hands)), ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), ((missing arms)), ((missing legs)),(fused fingers), (too many fingers),ugly, tiling, cross-eye, body out of frame, blurry, bad art, bad anatomy, (((bad face)))
Bước 5: Các bạn bấm Generate và đợi kết quả.
  
**Lưu ý: Chỉ số Sampling Methods, các bạn có thể tùy chỉnh từ 20-40 đến khi xuất hiện ảnh các bạn ưng thì thôi. Các bạn có thể chỉnh chỉ số Batch Count để mỗi lần tạo ảnh thì Stable Diffusion sẽ tạo ra số ảnh mà bạn nhập, ảnh nào các bạn ưng thì có thể chọn.

4. Những lưu ý khi sử dụng Stable Diffusion

  • Hãy luôn giữ tab Google Colab hoạt động trong quá trình sử dụng giao diện người dùng trên web. Tab này sẽ cung cấp thông báo và cho phép bạn theo dõi quá trình làm việc trên giao diện người dùng.
  • Bạn có thể truy cập giao diện người dùng thông qua đường dẫn mà có thể sử dụng trên bất kỳ thiết bị nào có truy cập internet. Tuy nhiên, chỉ có thể chạy một lệnh tại một thời điểm trên trình duyệt và các lệnh khác trên trình duyệt sẽ phải chờ đợi.
  • Hãy tránh sao chép phiên bản lưu trữ của Google Colab về máy của bạn, vì điều này sẽ không cập nhật các bản vá mới trong tương lai và có thể gặp nguy cơ bị tấn công nếu không sử dụng liên kết chính thức trên trang web.
  • Sau mỗi lần sử dụng, hãy đảm bảo ngắt kết nối với Google Colab để tiết kiệm tài nguyên. Điều này có thể được thực hiện bằng cách truy cập “Runtime” => “Disconnect and Clear Outputs”.
  • Nếu bạn nhận được thông báo về dung lượng, hãy bấm bỏ qua và tiếp tục quá trình làm việc.
  • Nếu bạn nhận được thông báo dừng do hết dung lượng ổ cứng trên Colab (thường xảy ra với tài khoản Colab miễn phí khi sử dụng tùy chọn đầy đủ), hãy thử lại bằng cách chọn một số model ít hơn trong thư viện hoặc thay đổi phiên bản của ControlNet base để giảm dung lượng.

5. Tổng hợp lỗi thường gặp khi tạo ảnh AI với Stable Diffusion

5.1. Lỗi tạo ảnh A.I bị xuất hiện hai đầu trong Stable Diffusion AI

Với những người dùng đã quen sử dụng Stable Diffusion AI sẽ thường gặp sự cố lỗi hình ảnh 2 đầu kết nối như dưới hình. Nó thường xảy ra bởi việc sử dụng kích thước hình ảnh dọc khác với tỷ lệ khung hình 1:1 đều có khả năng xảy ra lỗi.
Stable-Diffusion-09
  Lỗi hình ảnh 2 đầu trong Stable Diffusion AI
  3 cách để giải quyết vấn đề hai đầu:
  • Tạo nhiều hình ảnh và loại bỏ những hình ảnh có hai đầu. (Đó không phải là một ý tưởng tồi nhưng có thể khiến bạn mất thời gian và tiền bạc.)
  • Giảm tỷ lệ khung hình. Tỷ lệ càng gần với 1:1, bạn càng ít có khả năng gặp phải lỗi.
  • Tạo một hình ảnh toàn thân.

5.2. Lỗi không hiện thị ảnh A.I toàn thân

Thông thường để tạo ảnh toàn thân bạn thường dùng từ khóa “full body” trong câu lệnh prompt. Tuy nhiên, nó vẫn không hiệu quả đối với bức ảnh mà bạn đang tạo. Hãy xem xét một số cách xử lý sau cho vấn đề này:
Stable-Diffusion-10
  Lỗi không hiện ảnh toàn thân trên Stable Diffusion AI
  
Nếu tự khóa full body bị bỏ qua, bạn nên thêm vào câu prompt những từ mô tả về phần thân dưới của chủ thể ví dụ như các từ khóa:
  • standing (đứng)
  • long dress (áo dài)
  • legs (chân)
  • shoes (đôi giày)
Bạn thường được khuyên sử dụng kích thước theo khung hình 1:1 khi tạo ảnh A.I với Stable Diffusion AI. Nhưng trong trường hợp bạn muốn hiện thị toàn thân của nhân vật bạn nên điều chỉnh lại kích thước xuất ảnh dọc bên cạnh việc sử dụng các từ khóa “standing” và “legs”.

5.3. Lỗi khuôn mặt bị cắt xén và vấn đề về đôi mắt

Với người dùng Stable Diffusion AI, vấn đề méo mó trên khuôn mặt thường xảy ra khá phổ biến. Trên thực tế, các bộ phận khác trên cơ thể cũng sẽ xảy ra lỗi nhưng chúng ta sẽ đặc biệt chú ý hơn đến khuôn mặt nhân vật. Để xứ lý nó bạn có thể áp dụng một số cách sau:
Stable-Diffusion-11
  Lỗi khuôn mặt và đôi mắt trên Stable Diffusion AI
  
Cách 1: Đánh dấu vào lựa chọn Resto Face trong giao diện GUI của Stable Diffusion AI
 
Cách 2: Nếu Stable Diffusion AI của bạn không có lựa chọn này có thể sử dụng một số trang web miễn phí cho việc khôi phục khuôn mặt và xử lý hậu kỳ như:
Cách 3: Sử dụng công cụ VAE. Đây là bản cập nhật vá lỗi do Stability phát hành. Nếu chưa có hãy tải xuống ở link bên dưới 1 trong 2 bản và đặt nó vào thư mục: stable-diffusion-webui/models/VAE. Sau đó vào phần cài đặt và đánh dấu tích vào tùy chọn SD VAE.

5.4. Lỗi về các vấn đề ở ngón tay khi tạo ảnh A.I với Stable Diffusion AI

Stable Diffusion AI thường được cho là khó khăn trong phần xử lý ở phần bàn tay và ngón tay. Nếu gặp các lỗi ở phần tay, bạn nên thử theo 2 cách sau:
  • Thêm các từ khóa mô tả bàn tay và ngón tay vào câu nhắc, điều này giúp AI nhận biết và xử lý bàn tay có chi tiết hơn. Ví dụ bạn có thể thêm “beautiful hands” và “detAIled fingers” vào prompt.
  • Cách khắc phục thứ hai là sử dụng inpainting. Tạo một mặt nạ trong khu vực có vấn đề. Sử dụng inpainting để tạo nhiều hình ảnh và chọn hình ảnh bạn thích.

6. Câu hỏi thường gặp khi cài đặt và sử dụng Stable Diffusion AI

6.1. Stable Diffusion AI có hoạt động trên GPU AMD không?

Câu trả lời là không.
  
Stable Diffusion AI chỉ hoạt động trên GPU NVIDIA. Tuy nhiên, nếu máy tính của bạn đang dùng GPU AMD bạn có thể chạy bản NMKD Stable Diffusion GUI Portable này.

6.2. Stable Diffusion AI có miễn phí không?

Câu trả lời là có.
  
Stable Diffusion AI là mô hình mở vì vậy nó miễn phí, bạn có thể tải xuống và cài đặt trên bất kỳ máy tính cá nhân nào.

6.3. Stable Diffusion AI chạy được trên điện thoại không?

Câu trả lời là không.
  
Stable Diffusion AI là công cụ AI đòi hỏi phải có máy tính cấu hình trung bình với GPU NVIDIA từ 4GB mới có thể chạy được. Nếu máy tính của bạn cấu hình yếu, bạn có thể sử dụng phương án cài đặt Stable Diffusion AI thông qua dịch vụ Google Colad.

6.4. Nếu có lỗi xảy ra trong quá trình cài đặt tôi phải xử lý như thế nào?

Nếu phát sinh lỗi trong cài đặt, bạn cần kiểm tra lại các thông tin sau:
  • Cấu hình máy tính của bạn có đảm bảo đúng yêu cầu.
  • Các bộ cài đặt của bạn có được tải từ các nguồn đáng tin cậy.
  • Bạn đã làm đúng theo các bước hướng dẫn.
Nếu vẫn chưa thể cài đặt được. Bạn nên chọn các phương án thay thế như sử dụng online, cài bản portable hoặc thông qua Google Colad.

6.5. Có công cụ sử dụng Stable Diffusion AI trực tuyến nào không?

Nếu bạn không quá am hiểu về công nghệ, có thể trải nghiệm Stable Diffusion AI trực tuyến. Đây là 2 trang website demo Stable Diffusion AI mà bạn có thể tham khảo: huggingface.co và stablediffusionweb.com
  
Để sử dụng Stable Diffusion AI trực tuyến bạn cần quan tâm hai trường văn bản:
  • câu nhắc (prompt) mà bạn muốn công cụ AI tạo ảnh theo mô tả. Ví dụ: “một bức ảnh chân thật về một con mèo ngồi cửa sổ, bên ngoài có nhiều hàng cây vào mùa thu lá rụng”.
  • lời nhắc phủ định (negative prompt) yêu cầu thuật toán xóa các mục đó khỏi hình ảnh mà nó sắp tạo. Ví dụ như loại bỏ các ảnh xấu xí, không đối xứng, ảnh hoạt hình,…
 
Bạn cũng có thể thiết lập thêm trong Tùy chọn nâng cao như số hình, số bước, tốc độ và độ chính xác, nếu kéo chỉ số càng cao thì thuật toán sẽ bám sát các từ đầu vào càng chặt chẽ. Đặt giá trị này quá cao và bạn sẽ có một mớ hỗn độn ở bức ảnh đầu ra, nhưng vẫn đáng để thử nghiệm để xem những gì bạn có thể nhận được.
  
Những bản demo này khá hạn chế và chậm vì các tính toán đang được thực hiện trên máy chủ. Nếu bạn muốn nhiều hơn ở một bức ảnh đầu ra, thì bạn cần tải xuống công cụ Stable Diffusion AI và cài đặt trên máy của chính mình.

7. So sánh Stable Diffusion AI với Midjourney và Dall-E

So sánh về thành quả đầu ra với Midjourney và Dall – E, Stable Diffusion AI cho độ liền mạch cao hơn, tuy nhiên nếu không có 1 số tuỳ chỉnh nhất định thì nhìn khá nhạt nhoà, nhìn hơi giống tranh 3D độ phân giải thấp ngày xưa. Bạn có thể tham khảo thông tin so sánh chi tiết tại đây.
Stable-Diffusion-12
So sánh Mid Journey & Dall – E & Stable Diffusion

Kết luận

Có thể thấy, công nghệ AI vẽ tranh đang trở thành xu hướng mới và các công cụ trí tuệ nhân tạo như Stable Diffusion AI giúp bạn thỏa sức sáng. Hy vọng bài viết trên đã cung cấp cho bạn thông tin tổng quát nhất về Stable Diffusion AI để ứng dụng trong cuộc sống của mình. Đừng quên theo dõi Genlogin.com để biết thêm nhiều kiến thức bổ ích hơn n

Leave A Reply

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *