文生图

〔022〕Stable Diffusion 之生成视频篇

✨ 目录 🎈 视频转换 / mov2mov🎈 视频转换前奏准备🎈 视频转换 mov2mov 使用🎈 视频转换 mov2mov 效果预览🎈 视频无限缩放 / Infinite Zoom🎈 视频无限缩放 Infinite Zoom 使用 🎈 视频转换 /…

【文生图】Stable Diffusion XL 1.0模型Full Fine-tuning指南（U-Net全参微调）

文章目录前言重要教程链接以海报生成微调为例总体流程数据获取POSTER-TEXTAutoPosterCGL-DatasetPKU PosterLayoutPosterT80KMovie & TV Series & Anime Posters 数据清洗与标注模型训练模型评估生成图片样例宠物包商品海报护肤精华商品海报一些TipsMata：…

文章目录一、概述二、Stable Diffusion v1 & v22.1 简介2.2 LAION-5B数据集2.3 CLIP条件控制模型2.4 模型训练三、Stable Diffusion 发展3.1 图形界面3.1.1 Web UI3.1.2 Comfy UI 3.2 微调方法3.1 Lora 3.3 控制模型3.3.1 ControlNet 四、其他文生图模型4.1 DALL-E24.2 I…

〔012〕Stable Diffusion 之中文提示词自动翻译插件篇

✨ 目录 🎈 翻译插件🎈 下载谷歌翻译🎈 谷歌翻译使用方法🎈 谷歌翻译使用效果🎈 翻译插件在插件列表中搜索 Prompt Translator可以看到有2个插件选项：一个是基于谷歌翻译〔推荐〕、一个基于百度和deepl翻译推荐使用谷歌翻译，因为是离线翻译，所以使用时不用在乎是…

Prompt工程师指南[应用篇]：Prompt应用、ChatGPT|Midjouney Prompt Engineering

Prompt工程师指南[应用篇]：Prompt应用、ChatGPT|Midjouney Prompt Engineering 1.ChatGPT Prompt Engineering 主题： 与 ChatGPT 对话 Python 笔记本 Topics: ChatGPT介绍审查对话任务与ChatGPT对话Python笔记本 ChatGPT介绍 ChatGPT是OpenAI训练的…

文生图大模型三部曲：DDPM、LDM、SD 详细讲解！

1、引言跨模态大模型是指能够在不同感官模态(如视觉、语言、音频等)之间进行信息转换的大规模语言模型。当前图文跨模态大模型主要有： 文生图大模型：如 Stable Diffusion系列、DALL-E系列、Imagen等图文匹配大模型：如CLIP、Chinese CLIP、…

〔AI 绘画〕Stable Diffusion 之解决绘制多人或面部很小的人物时面部崩坏问题篇

✨ 目录 🎈 脸部崩坏🎈 下载脸部修复插件🎈 启用脸部修复插件🎈 插件生成效果🎈 插件功能详解 🎈 脸部崩坏相信很多人在画图时候，特别是画有多个人物图片或者人物在图片中很小的时候&…

MACBOOK PRO M2 MAX 安装Stable Diffusion及文生图实例

以前偶尔会使用Midjourney生成一些图片，现在使用的头像就是当时花钱在Midjourney上生成的。前段时间从某鱼上拍了一台性价比还不错的macbook，想着不如自己部署Stable Diffusion（以下简称SD）尝试一下。网上有很多教程&#xff0c…

〔013〕Stable Diffusion 之图片自动评分和不健康内容过滤器篇

✨ 目录 🎈 下载咖啡美学评价插件🎈 咖啡美学评价使用🎈 不健康内容过滤器插件 🎈 下载咖啡美学评价插件想让系统帮你的图片作品打分评价，可以下载咖啡美学自动评价插件插件地址：https://github.com/p1at…

〔018〕Stable Diffusion 之批量替换人脸篇

✨ 目录 🎈 下载插件🎈 插件基础使用🎈 基础使用效果🎈 批量处理图片🎈 多人脸部替换 🎈 下载插件如果重绘图片的时候，你只想更换人物面部的话，可以参考这篇文章扩展地址&#xff…

GAN,VAE,Diffusion对比

GAN 优点生成的图片逼真缺点由于要同时训练判别器和生成器这两个网络，训练不稳定GAN主要优化目标是使图片逼真，导致图片多样性不足GAN的生成是隐式的，由网络完成，不遵循概率分布，可解释性不强 VAE 优点学习…

AI生图王者之战！深度体验实测，谁是真正的艺术家？

10月11日凌晨，设计软件巨头Adobe宣布推出一系列图像生成模型，其中Firefly Image 2作为新一代图像生成器，通过改善皮肤、头发、眼睛、手和身体结构增强了人体渲染质量，提供更好的色彩和改进的动态范围，并为用户提供更大…

MagicVideo-V2：多阶段高保真视频生成框架

本项工作介绍了MagicVideo-V2，将文本到图像模型、视频运动生成器、参考图像embedding模块和帧内插模块集成到端到端的视频生成流程中。由于这些架构设计的好处，MagicVideo-V2能够生成具有极高保真度和流畅度的美观高分辨率视频。通过大规模用户评估&…

Stable Diffuse 之本地环境部署/安装包下载搭建过程简单记录

Stable Diffuse 之本地环境部署/安装包下载搭建过程简单记录目录 Stable Diffuse 之本地环境部署/安装包下载搭建过程简单记录一、简单介绍二、注意事项三、环境搭建 git 下载和安装 python 下载和安装 stable-diffusion-webui 下载和安装测试 stable diffuse w…

阿里开源AnyText：可在图像中生成任意精准文本，支持中文！

‍随着Midjourney、Stable Difusion等产品的出现，文生图像领域获得了巨大突破。但是想在图像中生成/嵌入精准的文本却比较困难。经常会出现模糊、莫名其妙或错误的文本，尤其是对中文支持非常差，例如，生成一张印有“2024龙年吉祥…

Stable Diffusion (version x.x) 文生图模型实践指南

前言：本篇博客记录使用Stable Diffusion模型进行推断时借鉴的相关资料和操作流程。相关博客： 超详细！DALL E 文生图模型实践指南 DALLE 2 文生图模型实践指南目录 1. 环境搭建和预训练模型准备环境搭建预训练模型下载 2. 代码 1. 环境搭建…

Stable Diffusion 微调及推理优化实践指南

随着 Stable Diffsuion 的迅速走红，引发了 AI 绘图的时代变革。然而对于大部分人来说，训练扩散模型的门槛太高，对 Stable Diffusion 进行全量微调也很难入手。由此，社区催生了一系列针对 Stable Diffusion 的高效微调方案&#xf…

超详细！DALL · E 文生图模型实践指南

最近需要用到 DALLE的推断功能，在现有开源代码基础上发现还有几个问题需要注意，谨以此篇博客记录之。我用的源码主要是 https://github.com/borisdayma/dalle-mini 仓库中的Inference pipeline.ipynb 文件。运行环境：Ubuntu服务器 ⚠️注意…

创意无限，场景惊喜：让你的描述变成现实（Skybox Labs）

你是否曾经想象过能够用文字来创造出一个全新的世界？你是否曾经想过能够用一句话来生成一个令人惊叹的360天空盒？如果你的答案是肯定的，那么你一定要试试Skybox Labs，这是一个由Blockade Labs开发的AI-powered解决方案&#xff0c…

DreamBooth论文解读

文章目录摘要问题算法3.1 文生图扩散模型3.2 个性化文生图模型3.3 特定类别先验保留损失实验评估方式比较消融实验PPL类别先验应用限制结论论文： 《DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation》 project&#xf…

年终盘点文生图的狂飙之路，2023年文生图卷到什么程度了？

目录前言发展1月2月3月4月5月6月7月9月10月11月12月思考与总结参考文献前言说到文生图，可能有些人不清楚，但要说AI绘画，就有很多人直呼： 2022可以说是AI绘图大爆发的元年。 AI绘画模型可以分为扩散模型（Diffusio…

开发一个训练LORA的WebUI

文章目录效果原理界面参数说明安装步骤代码效果原理基于开源项目kohya-ss/sd-scripts增加了Gradio UI，精简了训练参数，更适合初级“炼丹宝宝”的炼丹炉！核心思想还是比较简单的，通过Gradio UI来收集设置的训练参数，并通过python的 subprocess 库来执行命令 accelerat…

AI - stable-diffusion(AI绘画)的搭建与使用

最近 AI 火的一塌糊涂，除了 ChatGPT 以外，AI 绘画领域也有很大的进步，以下几张图片都是 AI 绘制的，你能看出来么？ 一、环境搭建上面的效果图其实是使用了开源的 AI 绘画项目 stable-diffusion 绘制的，这是…

政安晨【AIGC实践】（一）：在Kaggle上部署使用Stable Diffusion

目录简述开始配置执行安装完毕，一键运行结果展示政安晨的个人主页：政安晨欢迎 👍点赞✍评论⭐收藏收录专栏: 人工智能数字虚拟世界实践希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提…

Stable Diffuse 之安装文件夹、以及操作界面 UI 、Prompt相关说明

Stable Diffuse 之安装文件夹、以及操作界面 UI 、Prompt相关说明目录 Stable Diffuse 之安装文件夹、以及操作界面 UI 、Prompt相关说明一、简单介绍二、安装文件相关说明三、界面的简单说明四、prompt 的一些语法简单说明 1、Prompt ：正向提示词 &am…

如何利用 AI 做乘法，制作一款龙年贺卡小程序

2022 年底 AIGC 的出现，让 2023 年成为通用人工智能元年。这是最好的时代，利用 AI，之前仅能存在幻想中的事物落地成现实。只需要寥寥几句话，就可以描绘一张斑斓的画，真实而又丰富的画。目前 AI 生图的大模型不多…

国内可用免费AI工具集

1、Kimi Chat 由月之暗面科技有限公司（Moonshot AI）开发的人工智能助手。擅长中英文对话，能够提供安全、有帮助且准确的回答。它的能力包括阅读和理解用户上传的文件，访问互联网内容，以及结合搜索结果来回答问题。比如…

〔014〕Stable Diffusion 之超分辨率图像生成篇

✨ 目录 🎈 下载超分辨率插件🎈 下载 SD2.1 768 模型〔推荐〕🎈 下载 SD2.1 512 模型🎈 安装可选组件 Tiled Diffusion & VAE🎈 安装可选组件官方 VQGAN VAE🎈 扩展使用方法🎈 使用 Tiled Diffusion & VAE 方法🎈 使用 24GB 显存的推荐设置🎈 下载超…

Midjourney|文心一格prompt教程[Text Prompt（上篇）]：品牌log、App、徽章、插画、头像场景生成，各种风格选择：科技风、运动风

Midjourney|文心一格prompt教程[Text Prompt（上篇）]：品牌log、App、徽章、插画、头像场景生成，各种风格选择：科技风、运动风 1.撰写 Text Prompt 注意事项 Midjourney 跟 ChatGPT 在 prompt 的使用上有很多不一样的地…

【AIGC】手把手使用扩散模型从文本生成图像

手把手使用扩散模型从文本生成图像从 DALLE 到Stable Diffusion使用diffusers package从文本prompt生成图像参考资料在这篇文章中，我们将手把手展示如何使用Hugging Face的diffusers包通过文本生成图像。从 DALLE 到Stable Diffusion DALLE2是收费的&#xff0c…

【扩散模型】如何用最几毛钱生成壁纸

通过学习扩散模型了解到了统计学的美好，然后顺便记录下我之前文生图的基础流程~ 扩散模型简介这次是在DataWhale的组队学习里学习的，HuggingFace开放扩散模型学习地址扩散模型训练时通过对原图增加高斯噪声，在推理时通过降噪来得到原图&…

Datawhale-Sora技术原理分享

目录 Sora能力边界探索 Sora模型训练流程 Sora关键技术拆解物理引擎的数据进行训练个人思考与总结参考 https://datawhaler.feishu.cn/file/KntHbV3QGoEPruxEql2c9lrsnOb

【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds

InstantID:秒级零样本身份保持生成理解摘要Introduction贡献 Related WorkText-to-image Diffusion ModelsSubject-driven Image GenerationID Preserving Image Generation Method实验定性实验消融实验与先前方法的对比富有创意的更多任务新视角合成身份插值多身份区域控制合…

〔017〕Stable Diffusion 之常用模型推荐篇

✨ 目录 🎈 模型网站🎈 仿真系列🎈 国风系列🎈 卡通动漫系列🎈 3D系列🎈 一些好用的lora模型 🎈 模型网站由于现在大模型超级多，导致每种画风的模型太多，那么如何选择最…

〔015〕Stable Diffusion 之模型管理和信息管理插件篇

✨ 目录 🎈 模型管理🎈 添加预览图🎈 添加详细描述🎈 模型分组🎈 下载 Civitai Helper 插件🎈 插件 Civitai Helper 使用方法 🎈 模型管理点击生成按钮下的显示/隐藏扩展模型 Show/hide extr…

【扩散模型】不同组件搭积木，获得新模型

学习地址： https://github.com/huggingface/diffusion-models-class/tree/main/unit3 VAE The Tokenizer and Text Encoder UNet In-Painting 例如：基于contrlnet做的校徽转图片

〔011〕Stable Diffusion 之解决绘制多人或面部很小的人物时面部崩坏问题篇

✨ 目录 🎈 脸部崩坏🎈 下载脸部修复插件🎈 启用脸部修复插件🎈 插件生成效果🎈 插件功能详解 🎈 脸部崩坏相信很多人在画图时候，特别是画有多个人物图片或者人物在图片中很小的时候&…

唐顿庄园的AI圣诞设计（ideogram.ai ）

唐顿庄园是一部经典的英国历史剧，讲述了 Crawley 家族在 20 世纪初生活的故事。该剧以其精美的服装、场景和道具而闻名，因此它是圣诞装饰的绝佳灵感。在本文中，我们将使用 ideogram.ai 创建一个 Downton Abbey 圣诞设计。ideogram.ai 是一个…

DALL·E 2 文生图模型实践指南

前言：本篇博客记录使用dalle2模型进行推断时借鉴的相关资料和DEBUG流程。相关博客：超详细！DALL E 文生图模型实践指南目录 1. 环境搭建和预训练模型准备环境搭建预训练模型下载 2. 代码3. BUG&DEBUGURLErrorCUDA errorRuntimeErrorPyd…

Stable Diffuse 之本地环境部署 WebUI 进行汉化操作

Stable Diffuse 之本地环境部署 WebUI 进行汉化操作目录 Stable Diffuse 之本地环境部署 WebUI 进行汉化操作一、简单介绍二、汉化操作附录： 一、Install from URL 中出现 Failed to connect to 127.0.0.1 port 7890: Connection refused 错误&#xf…

OpenAI全新发布文生视频模型：Sora！

OpenAI官网原文链接：https://openai.com/research/video-generation-models-as-world-simulators#fn-20 我们探索视频数据生成模型的大规模训练。具体来说，我们在可变持续时间、分辨率和宽高比的视频和图像上联合训练文本条件扩散模型。我们利用对视频和…

【腾讯云AI绘画】与AI绘画和解，和AI绘画共成长

前言六月份的时候，买了腾讯AI绘画的资源包。可当通过API去使用AI绘画后，我顿时就被整破防了，于是写了一篇文章，算是无声控诉。被腾讯云AI绘画整破防了！ 再回首，腾讯绘画不仅提供了API调用，还构…

〔024〕Stable Diffusion 之模型训练篇

✨ 目录 🎈 训练集准备🎈 训练集预处理🎈 数据清洗🎈 下载训练源码🎈 训练文件配置🎈 脚本运行🎈 实战测试🎈 训练集准备声明：该文中所涉及到的女神图片均来自于网络，仅用作技术教程演示，图片已码一般同一个训练集需要准备 20~40 张不同角度的照片，当然可…

Stable Diffusion 提示词技巧

文章目录背景介绍如何写好提示词提示词的语法正向提示词负向提示词随着AI技术的不断发展，越来越多的新算法涌现出来，例如Stable Diffusion、Midjourney、Dall-E等。相较于传统算法如GAN和VAE，这些新算法在生成高分辨率、高质量的图片方面表…

【MVDiffusion】完美复刻场景，可多视图设计的生成式模型

文章目录 MVDiffusion1. 自回归生成全景图1.1 错误积累1.2 角度变换大 2. 模型结构2.1 多视图潜在扩散模型(mutil-view LDM)2.1.1 Text-conditioned generation model2.1.2 Image&text-conditioned generation model2.1.3 额外的卷积层 2.2 Correspondence-aware Attenti…

开发一个文生图的功能

文章目录效果开发环境原理核心代码代码仓库问题效果开发环境 Python 3.10PyCharm原理借助开源项目stable-diffusion，通过该项目封装python库diffusers，可以轻易的实现文生图的功能。关于更多diffusers的功能请访问：https://huggingface.co/docs/diffusers/index 核心代…

〔019〕Stable Diffusion 之单图中绘制多人分区域写提示词篇

✨ 目录 🎈 下载区域绘制插件🎈 区域绘制使用🎈 参数讲解和基础使用🎈 Lora 自组🎈 Lora 自组的使用🎈 分区扩散🎈 分区域提示 🎈 下载区域绘制插件在绘制图片时，经常绘…

AI大模型开发架构设计（2）——AI绘画技术架构应用实践

文章目录 1 AI绘画整体流程2 AI绘画技术架构文生图核心算法原理文生图工程架构 3 AI绘画的应用实践 1 AI绘画整体流程第一步：输入 Prompt 提示词：/mj 提示词第二步：文生图(Text-to-Image)构图第三步：图片渲染第四步：…

〔021〕Stable Diffusion 之提示词反推、自动补全、中文输入篇

✨ 目录 🎈 反推提示词 / Tagger🎈 反推提示词 Tagger 使用🎈 英文提示词自动补全 / Booru tag🎈 英文提示词自动补全 Booru tag 使用🎈 中文提示词自动补全 / tagcomplete🎈 中文提示词自动补全 tagcomplete 使用🎈 提示词自动翻译 / Prompt-all-in-one🎈 提示…

Stable Diffusion——文生图界面参数讲解与提示词使用技巧

Clip终止层数什么是Clip CLIP（Contrastive Language-Image Pretraining）是由OpenAI于2021年开发的一种语言图像对比预训练模型。其独特之处在于，CLIP模型中的图像和文本嵌入共享相同的潜在特征空间，这使得模型能够直接在图像和…