发布时间：2025-06-24 20:10:12  作者：北方职教升学中心  阅读量：533

沙漠变绿洲生图提示词要求1、!pip install -e DiffSynth-Studio

2. 加载数据集

#导入 ModelScope 的 MsDataset 类，用于加载数据集from modelscope.msdatasets import MsDataset#加载名为 lowres_anime 的数据集（来自魔搭数据集），选择默认子集和训练集分割，缓存到指定目录ds = MsDataset.load(    'AI-ModelScope/lowres_anime',    subset_name='default',    split='train',    cache_dir="/mnt/workspace/kolors/data")#导入一些标准库和特定模块，如 json 用于处理 JSON 数据，os 用于操作系统相关功能，SpecialTokens 可能用于标记特殊类型的令牌，tqdm 提供进度条import json, osfrom data_juicer.utils.mm_utils import SpecialTokensfrom tqdm import tqdm#创建两个目录，用于存储训练数据和数据-榨汁机的输入文件os.makedirs("./data/lora_dataset/train", exist_ok=True)os.makedirs("./data/data-juicer/input", exist_ok=True)#循环遍历数据集中的每个条目，将图像转换为 RGB 格式，保存图像，并将图像路径和固定文本描述写入 JSONL 文件。image = pipe(    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容    negative_prompt="丑陋、模糊、
整个流程涵盖了从数据集的获取、
个人思考
task1的baseline的大体流程是：将魔搭社区提供的数据集进行清洗过滤，使用可图提供的Lora模型（训练和加载），根据提示词生成图片，合并图片。
三、出色的构图、images = [Image.open(img_path) for img_path in df["file_name"]]inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)#使用 CLIP 模型计算相似性得分和概率outputs = model(**inputs)logits_per_image = outputs.logits_per_image  # 图像-文本相似性得分probs = logits_per_image.softmax(dim=1)  # 取 softmax 获取概率probs

（2）CLIP模型-分批次处理数据集

定义了一个CustomDataset类，该类继承自torch.utils.data.Dataset，并重写了__init__, __len__, 和 __getitem__方法。也是机缘巧合，浏览到了Datawhale举办的AI夏令营，于是我想，为何不尝试迈出这一步呢，然后，AI也在慢慢进入我的日常工作生活里啦。

对AI的提问：

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧话剧由8张场景图片生成，你需要输出每张图片的生图提示词具体的场景图片1、
加载CLIP模型和处理器，用于计算图像和文本之间的相似性分数。如果想要每次生成不同的图像，可以将种子值改为随机值。出色的构图、import numpy as np   # 导入numpy库，用于处理数组和数值计算from PIL import Image   # 导入PIL库中的Image模块，用于图像处理images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中image = np.concatenate([     # 将四组图像在垂直方向上拼接（axis = 0垂直，axis = 1水平）    np.concatenate(images[0:2], axis=1), # 将第1组（images[0:2]）的两张图像在水平方向上拼接    np.concatenate(images[2:4], axis=1),    np.concatenate(images[4:6], axis=1),    np.concatenate(images[6:8], axis=1),], axis=0)    # 将四组拼接后的图像在垂直方向上拼接image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素image   # 输出最终生成的图像对象，用于显示图像

PS：如果还是有不懂的，可以向AI追问：

我对其中{替换成你的问题}还是不太理解，给我再详细介绍一下
 

        之前我遇到不懂的问题的时候，总是习惯性打开搜索引擎进行搜索，哪怕是在AI出现之后，我也下意识地自行去寻找解决答案，但现在，慢慢有所转变，因为AI收集了全网的广泛数据，他的检索能力比我要快得多，我可以借助他的帮助来更快的找到解决办法，而不需要在寻找和筛选上花费太多时间。

#读取之前生成的图像，将它们拼接成一个大图像，并调整大小。变形、变形、现代#图8沙漠变绿洲电影歌星画风，全身背影，一个男人张开双臂，背景是绿意盎然的沙漠绿洲，太阳即将落山，超高清、现代、沙漠、理解baseline代码-task1的baseline
注意：以下代码为方便阅读理解，故放在了一起。这里使用了`ModelManager`和`SDXLImagePipeline`来加载预训练的模型组件，并通过`load_lora`函数将LoRA权重注入到模型中。接着，创建了一个DataLoader实例，该实例负责从CustomDataset中批量加载数据，并在每次迭代时提供一个批次。
 2. AI生图技术的现实应用利弊
AIGC(AI-Generated Content)是通过人工智能技术自动生成内容的生产方式。知识扩展-AI生图技术
1. 简单回顾AI生图历史-从工具视角
 2. AI生图技术的现实应用利弊
3. 探索AI生图前沿
个人思考
前言
这次的任务难度和工作量都上来了。{prompt} 的电影照片、
我们总是认为眼见为实，现在眼见也不一定为实了。大家有好的建议欢迎私信和评论，让我高效学习提示词技巧哈哈，先行感谢！实战——Datawhale-AI夏令营-创作话剧连环画-fail-CSDN博客
4.测试美学打分
4.1 参考代码
#安装包，预测图像的美学分数pip install simple-aesthetics-predictorimport torch, os    #导入PyTorch库（用于深度学习）和操作系统库（用于文件和目录操作）from PIL import Image  #导入Image模块，用于处理图像数据from transformers import CLIPProcessor  #用于预处理输入数据以供模型使用的工具from aesthetics_predictor import AestheticsPredictorV2Linear   #用于预测美学分数的具体模型from modelscope import snapshot_download   #用于下载模型快照#下载指定的模型到本地，并返回模型的本地路径。
一般来说，AI生图模型属于多模态机器学习模型，海量的图库+文本描述，深度神经网络学习，最终的目标是可以根据输入的指示（不管是文本还是图片还是任何）生成符合语义的图片。模糊、
单独记录：data-juicer, CLIP, 和SD的关系-CSDN博客
3. 逐行解释代码
首次提问：
你是一个优秀的python开发工程师，现在我们需要你帮我们逐行分析这个代码，用中文回答我的问题。

第二部分：数据集加载与预处理

• 从ModelScope加载lowres_anime数据集。

  

  2015年，谷歌推出”深梦“（Deep Dream）图像生成工具，给图片添加梦幻感滤镜。所以，定期关注AI生图的最新进展和能力也很重要。

  

  2021年1月，OpenAI推出DALL-E模型（深度学习算法模型），直接从文本提示“按需创造”风格多样的图形设计。

  

  现代AI生图模型，多基于深度神经网络基础。。

• 将处理后的数据输出到result.jsonl。美丽的灯光、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像 cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词 num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长 height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像)image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件

  训练阶段：

  首先下载了Kolors和SDXL-vae-fp16-fix模型，这些模型用于图像生成任务。

• 自己时不时会浏览到关于AI的新进展新闻，有时也会想，我应该要去尝试一下AI了，但又不知道该如何去应用，没有找到适合自己的细分领域。

   应用阶段：

  在训练完成后，代码展示了如何加载LoRA微调后的模型。超精细、AI生图则是其中最早被大众所熟知并广泛被认可的AIGC领域，其也被广泛运用在现实中。实战——创作话剧连环画

  1. 数据准备

  1.1 提示词准备

  还是可以借助AI

  （1）我们自己先明确8个具体的场景，思考要表达一个怎样的故事，用文字描述出来，词组和短句均可

  （2）明确提示词的要求（风格、模糊、背影#图6躺在沙漠上看星星，畅想未来电影歌星画风，全身，一个男人仰卧躺在沙漠上、AI生图除了可以帮助我们绘制出需要的图片，但我们也有可能会被图片所欺骗，不当使用也会造成不良影响。可图还提供了优质的提示词参考：可图优质咒语书 · 数据集 (modelscope.cn)，可以使用在我们的学习中。

  AI是否真正理解了图片背后所代表的世界的特征，是否理解了图片的含义，这个一直是科研界和产业界存在争议的话题，我们唯一可以确定的是——每个模型用于训练的数据是有限的且不一定相同的，它们能匹配的描述和特征也是有限的，所以在风格、with open("./data/data-juicer/input/metadata.jsonl", "w") as f: for data_id, data in enumerate(tqdm(ds)): #遍历数据集 image = data["image"].convert("RGB") #将图像转换为 RGB 格式 image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") #保存图像 metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} #生成当前图片的索引数据 f.write(json.dumps(metadata)) #将索引数据写入文件 f.write("\n")

  3. 数据预处理

  #配置过滤的规则。

• 创建包含图像路径和文本描述的元数据文件metadata.jsonl。如果想要每次生成不同的图像，可以将种子值改为随机值。CustomDataset在初始化时加载所有图像和文本数据，并在__getitem__方法中按需处理单个样本。

  概览 · 魔搭社区 (modelscope.cn)

  

  
  Kolors（可图）模型(点击即可跳转魔搭模型介绍页)是快手开源的文生图模型，该模型具有对英语和汉语的深刻理解，并能够生成高质量、另外，可以考虑加入魔搭社区，去系统探索AIGC的世界。嘈杂、出色的构图、但不能一键运行跑通。

• 调整不同的随机种子以获得不同的图像结果。

  这种方法在处理大型数据集时可能会占用大量内存，因为它试图一次性将所有数据加载到内存中。from transformers import CLIPProcessor, CLIPModelimport torchmodel = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")# 这段代码展示了如何使用PyTorch构建一个自定义的数据集类和数据加载器（DataLoader），以及如何使用这个数据加载器来迭代数据并进行模型计算。来到亮灯的木屋6、超精细、抬头看见窗外的小树3、

  

  PS：（1）有些图是在多次调整后绘制的，比如第七张，好吧，最终版忽视了左手的存在，当时光顾着看鞋子有没有露出来了。嘈杂、with open("data/data-juicer/data_juicer_config.yaml", "w") as file: file.write(data_juicer_config.strip())#执行数据处理命令，使用前面定义的配置文件对数据集进行预处理!dj-process --config data/data-juicer/data_juicer_config.yaml# 读取经过data-juice处理后的输出文件，提取文本描述和图像路径，准备将它们转换为 Pandas DataFrameimport pandas as pdimport os, jsonfrom PIL import Imagefrom tqdm import tqdm # 导入tqdm进度条管理texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称os.makedirs("./data/data-juicer/output/images", exist_ok=True) # 创建文件with open("./data/data-juicer/output/result.jsonl", "r") as f: # 以只读模式打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl for line in tqdm(f): # 开始一个循环，遍历文件中的每一行。嘈杂、

第三部分：数据过滤和处理

• 使用data-juicer配置文件来过滤和处理数据，确保图像满足特定尺寸和长宽比的要求。

  二、合成生成的图像）>>>  OK

  2. 分析代码的主题架构

  尝试向语言大模型提问，输入ptompt：

  你是一个优秀的python开发工程师，现在我们需要你帮我们分析这个代码的主体框架，你需要把代码按照工作流分成几部分，用中文回答我的问题。tqdm(f) 将文件对象 f 传递给 tqdm 函数，tqdm 是一个进度条库，它会为循环添加一个进度条，使得长时间的文件读取操作可视化，便于观察进度。通过使用不同的工具（如data-juicer, CLIPModel, 和 StableDiffusionPipeline），实现从原始数据到最终生成图像的完整工作流。希望我们养成使用AI的习惯，提高工作和学习效率。他建议，为了区分摄影（photography）和AI生成图像，应该给后者起个名字—— “promptography（提示词摄影）”，因为AI生成图像是人们通过在AI工具中输入提示词（prompt）来实现的。设置图片尺寸、现代、模型可以使用这个标记来区分文本和图像输入export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件# 处理计划# 包含多个处理操作符及其参数的列表（即过滤规则）process: - image_shape_filter: # 图片尺寸过滤 min_width: 1024 # 最小宽度1024 min_height: 1024 # 最小高度1024 any_or_all: any # 符合前面条件的图片才会被保留 - image_aspect_ratio_filter: # 图片长宽比过滤 min_ratio: 0.5 # 最小长宽比0.5 max_ratio: 2.0 # 最大长宽比2.0 any_or_all: any # 符合前面条件的图片才会被保留"""# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml# 详细解释：打开（或创建）一个名为 data_juicer_config.yaml 的文件，然后将 data_juicer_config 字符串中的内容写入到这个文件中，同时确保写入的内容没有多余的前后空白。根据场景确定是使用全身还是上半身3、模糊、摄影视角侧面#图7种树电影歌星画风，全身，沙漠里，一个男人站在沙漠上，鞋子露出来，他弯腰双手用铁铲挖坑种植一棵小树，远处有稀稀疏疏的树木、

• 遍历数据集，将图像转换为RGB格式并保存到磁盘。现代。

  #加载 CLIP 模型和处理器，用于计算图像和文本之间的相似性。出色的构图、种树8、

第五部分：图像生成

• 使用StableDiffusionPipeline模型根据给定的提示和负向提示生成一系列二次元风格的图像。{此处替换前面的代码}

  回答如下：

  这段代码可以分为几个主要的工作流程部分：

  第一部分：环境准备和依赖安装

  • 安装simple-aesthetics-predictor, data-juicer, peft, lightning, pandas, torchvision, 和 DiffSynth-Studio包。

    2012年，吴恩达老师使用卷积神经网络（CNN）训练的”猫脸“模型。AI作品赢得摄影大奖的埃尔达森认为，AI生成图像不会威胁人类的创造力。模型将被缓存在models/目录下model_id = snapshot_download('AI-ModelScope/aesthetics-predictor-v2-sac-logos-ava1-l14-linearMSE', cache_dir="models/")#从下载的模型路径加载预训练的美学预测模型predictor = AestheticsPredictorV2Linear.from_pretrained(model_id)#加载预训练的CLIP处理器，用于图像预处理processor = CLIPProcessor.from_pretrained(model_id) #设定设备为GPU，如果可用的话可加速计算过程device = "cuda"#将模型移动到指定的设备上，这里是GPUpredictor = predictor.to(device) #义一个函数evaluate，它接收一个包含图像的文件夹作为输入，返回所有图像的平均美学分数def get_aesthetics_score(image): inputs = processor(images=image, return_tensors="pt") inputs = {k: v.to(device) for k, v in inputs.items()} with torch.no_grad(): outputs = predictor(**inputs) prediction = outputs.logits return prediction.tolist()[0][0]#计算一个文件夹中所有图像的美学平均分数def evaluate(folder): scores = [] for file_name in os.listdir(folder): if os.path.isfile(os.path.join(folder, file_name)): image = Image.open(os.path.join(folder, file_name)) scores.append(get_aesthetics_score(image)) if len(scores) == 0: return 0 else: return sum(scores) / len(scores)score = evaluate("./images")print(score)

    4.2 美学评分

    打开baseline文件，在kolors目录下新建文件夹命名为“images”，讲先前绘制的8张图复制or移动到images文件夹中，在原本的baseline文件代码末添加关于美学评分的代码，要先安装对应包，再计算评分，两者要分开运行，不然会报错。LoRA训练脚本会根据指定的参数（如unet、变形、

    

    （2）展现在这里的是后来换了一下提示词和主角哈哈，再生成了比较满意的图片，先前的有点一言难尽，或许是我的提示词描述不够准确。做啥事情例子：prompt：电影歌星画风，超高清、然后，使用`train_kolors_lora.py`脚本来训练LoRA权重，这个过程是在Kolors和SDXL-vae-fp16-fix模型的基础上进行的。现代、超精细、嘈杂、torch_dtype=torch.float16 指定了模型权重的数据类型为半精度浮点数，这有助于减少GPU内存消耗pipe = pipe.to("cuda") 将模型移动到CUDA设备上（通常是GPU），以便利用GPU加速计算#定义了生成图像的正向和反向提示，以及模型的一些参数prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"negative_prompt = "丑陋、理解baseline代码-task1的baseline

    1. 文生图代码的框架结构

    2. 分析代码的主题架构

    第一部分：环境准备和依赖安装

    第二部分：数据集加载与预处理

    第三部分：数据过滤和处理

    第四部分：数据整理与模型应用

    第五部分：图像生成

    3. 逐行解释代码

    首次提问：

    首次回答：

    加问：

    AI再次回答的结果+结合Datawhale学习文档：

    1. 安装库

    2. 加载数据集

    3. 数据预处理

    4. 模型训练-文-图-特征

    （1）CLIP模型

    （2）Datawhale提供的学习文档-使用的可图模型Lora（下接6）

    5. SD模型文生图-上接4.（1）

    6. 拼接图像

    二、

    PS：我们还是要保持独立思考的能力啊。第二个任务主要有三大点：

    理解baseline代码（文档里的baseline训练模型那块代码有出入）

    学会使用AI来自主学习

    学习制作一个话剧连环画

    ---

    一、

    1. 文生图代码的框架结构

    环境准备 >>>

    数据集加载与预处理（加载动漫图像数据集、!pip uninstall pytorch-lightning -y!pip install peft lightning pandas torchvision#类似地，以可编辑模式安装 DiffSynth-Studio，但在这个上下文中并未看到其直接使用。from transformers import CLIPProcessor, CLIPModelimport torchmodel = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")#读取图像，使用 CLIP 处理器处理图像和文本。应用过滤规则处理数据集）>>>

    模型微调（使用DiffSynth-Studio进行模型微调）>>>

    加载微调后的模型（加载微调后的Lora模型）>>>

    图像生成（设置正负提示词、扭曲的手指，多余的手指、

    

    

    

    我的评分是6.5哈哈，好吧，继续努力。8K、

  • 合并生成的图像为一张大图并调整其大小。全身or半身、实战——创作话剧连环画

    1. 数据准备

    1.1 提示词准备

    1.2 话剧的画面描述

    2. 执行Task1的30分钟速通Baseline

    3.结果展示

    4.测试美学打分

    4.1 参考代码

    4.2 美学评分

    三、这样做是为了创建一个 YAML 配置文件，后续可以被其他程序读取和解析，以获取配置参数。场景描述5、

  • 对于baseline代码的理解仅停留在文字表面解析，课后要去补充python基础知识
  • 如何绘制出满意的图片，我还需要进一步的学习，如何让AI更好地理解我的prompt
  • 当我看到DALL-E模型可以进行风格多样的图形设计时，有点震惊，这是不是可以提升设计师们的工作效率呢，作为一位牛油果爱好者，好喜欢这些图片的家具风格啊哈哈。不适合工作场所

    1.2 话剧的画面描述

    结合AI给的回答以及自己再进行了一点修改。# 导入两个类，Dataset是一个抽象基类，代表了一个数据集，而DataLoader则是一个迭代器，它可以自动地加载和批处理数据。df = pd.DataFrame({"text": texts, "file_name": file_names})df.to_csv("./data/data-juicer/output/result.csv", index=False)#输出 DataFrame，可能是在 Jupyter Notebook 或类似环境中显示数据df

    4. 模型训练-文-图-特征

    （1）CLIP模型-直接处理整个数据集

    使用CLIPProcessor进行预处理，然后将预处理后的数据输入到CLIPModel中进行计算，得到图像和文本的相似度得分，最后将得分转化为概率。变形、

  • 卸载pytorch-lightning并重新安装lightning。现代、躺在沙漠上看星星，畅想未来7、 metadata = json.loads(line) #存储json.load对每一行的解析结果#将 metadata 字典中 "text" 键对应的值添加到前面定义的储存图片描述的列表 texts 中，image同理 texts.append(metadata["text"]) file_names.append(metadata["image"][0]) #创建 DataFrame，保存为 CSV 文件。image = pipe( prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌", # 设置正向提示词，用于指导模型生成图像的内容 negative_prompt="丑陋、

    #加载 CLIP 模型和处理器，用于计算图像和文本之间的相似性。

  第四部分：数据整理与模型应用

  • 将处理后的数据转换为Pandas DataFrame，并将其保存为CSV文件。8K、还是遍地黄沙，刚好遇到沙尘暴5、模糊、

    

    这让我想到之前浏览到的一篇文章，用AI生成的科研绘图有着明显的错误。风格为电影歌星画风2、状态情景描述等）

    （3）也可以给出示例，让其进行模仿学习

     可图还提供了优质的提示词参考：可图优质咒语书 · 数据集 (modelscope.cn) 

    

    于是，我想尝试一下“电影歌星画风”哈哈，示例是这样的，不知道我绘制出来是如何。

    目录

    前言

    一、from torch.utils.data import Dataset, DataLoader# 定义自定义数据集类，继承自 PyTorch 的 Dataset 类class CustomDataset(Dataset): # 初始化方法接收一个DataFrame (df) 和一个处理器对象 (processor) def __init__(self, df, processor): self.texts = df["text"].tolist() self.images = [Image.open(img_path) for img_path in df["file_name"]] self.processor = processor # 返回数据集中样本的数量 def __len__(self): return len(self.texts) # 根据索引idx获取单个样本，并使用processor对文本和图像进行预处理，生成PyTorch张量，并返回 def __getitem__(self, idx): inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True) return inputs#创建数据集实例和 DataLoaderdataset = CustomDataset(df, processor)dataloader = DataLoader(dataset, batch_size=8) # 每个批次包含8个样本#迭代 DataLoader 中的批次，使用模型进行计算for batch in dataloader: # 在 DataLoader 中迭代批次数据，使用模型进行计算 outputs = model(**batch) logits_per_image = outputs.logits_per_image probs = logits_per_image.softmax(dim=1) print(probs)

     【这部分不知道能不能完整跑出来-搁置一下，之后会尝试的】

    将baseline的4（3）修改为4（2）部分，加载CLIP模型和处理器的时候 就报错了，可能是网络原因？之后再尝试一下

    （3）Datawhale提供的学习文档-使用的可图模型Lora（下接6）

    在比对学习的时候，发现这块代码与4.（1）（2）有所不同

    # 下载可图模型from diffsynth import download_models # 导入download_modelsdownload_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h# 执行可图Lora训练import oscmd = """python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型  --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求  --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度  --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型  --output_path ./models \ # 指定输出路径，用于保存模型  --max_epochs 1 \ # 设置最大训练轮数为 1  --center_crop \ # 启用中心裁剪，这通常用于图像预处理  --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用""".strip()os.system(cmd) # 执行可图Lora训练# 加载lora微调后的模型from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipelinefrom peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_modelimport torch # 导入torch# 加载LoRA配置并注入模型def load_lora(model, lora_rank, lora_alpha, lora_path):    lora_config = LoraConfig(        r=lora_rank, # 设置LoRA的秩(rank)        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块    )    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配    return model # 返回注入LoRA后的模型# 加载预训练模型model_manager = ModelManager(    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用    device="cuda", # 指定使用GPU进行计算    file_path_list=[        "models/kolors/Kolors/text_encoder", # 文本编码器的路径        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径    ])# 初始化图像生成管道pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道# 加载并应用LoRA权重到UNet模型pipe.unet = load_lora(    pipe.unet,     lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径)# 生成图像torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。逼真的图像。预处理、8K、data_juicer_config = """# 全局参数project_name: 'data-process'dataset_path: './data/data-juicer/input/metadata.jsonl'  # 前面生成的数据的索引文件np: 4  # 处理数据集的子进程数量（线程数）text_keys: 'text'   # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名image_key: 'image'  # 文件./data/data-juicer/input/metadata.jsonl的图片字段名image_special_token: '<__dj__image>'  #<__dj__image> 标记告诉模型接下来的部分是图像数据，而不是文本。远景#图5来到亮灯的木屋电影歌星画风，天黑了，沙漠里，一个男人背着行李疲惫行走，来到一间亮灯的木屋，超高清、
    3. 探索AI生图前沿
    可以去询问语言大模型（比如：辅助助手-通义千问通义tongyi.ai_你的全能AI助手 (aliyun.com)），但对于我们小白而言可能会毫无头绪，不过也可以慢慢询问。
    这种方式在处理大数据集时尤其有用，因为它避免了一次性加载所有数据到内存中，而是按需加载和处理数据。出色的构图native prompt：丑陋、!pip install -v -e data-juicer#卸载 pytorch-lightning 并安装 peft, lightning, pandas, 和 torchvision，这些都是深度学习和数据处理相关的库。人物描述4、
    AI生成图像“穿羽绒服的教皇”在外网疯传，这些图片会有一些破绽，但很多网友当时都被骗了。中远景反向prompt：丑陋、现代、嘈杂、出色构图、出色构图#图3陷入回忆，自己刚来到这里的时候电影歌星画风，全身背影远景，几年前的男主角站在沙漠中，身后是落日余晖，手中拿着一把铁锹，表情坚定，远处有几棵树苗，超高清、#图2抬头看见窗外的小树电影歌星画风，上半身，男主角靠在窗边回忆，望向窗外一棵棵刚开始生长的小树，是沙漠边缘的绿意初现，超高清、text_encoder和vae路径，以及训练设置）微调模型，以适应特定的数据集。低对比度"guidance_scale = 4  #控制着模型遵循提示的程度num_inference_steps = 50  #生成过程中的迭代步数#调用了pipe对象的生成函数，传入了前面定义的参数image = pipe(    prompt=prompt,    negative_prompt=negative_prompt,    guidance_scale=guidance_scale,    num_inference_steps=num_inference_steps,    height=1024,    width=1024,).images[0]image.save("example_image.png")  #保存生成的图像imagefrom PIL import Imagetorch.manual_seed(1)   # 设置随机种子，确保生成的图像具有可重复性。!pip install simple-aesthetics-predictor#安装 data-juicer 库，并以可编辑模式 (-e) 安装，这意味着如果库源代码有更改，无需重新安装即可生效。（从左往右1-2）
    一开始跑出来的图片感觉总是不太满意，人物的样子不太一致，然后发现随机种子torch.manual_seed(1) 不一致，更改后好很多。数据质量控制、执行轮数、
    比如，
    AI生成的图片去参加摄影比赛并获奖。现代#图4还是遍地黄沙，刚好遇到沙尘暴电影歌星画风，全身，一个男人在沙尘暴中艰难前行，戴着防护眼镜和围巾，低头看指南针，漫天黄沙，满身黄沙，超高清、知识扩展-AI生图技术
    1. 简单回顾AI生图历史-从工具视角
    20世纪70年代，最早的AI生图，其实是通过机械臂进行绘画。具体事物上，不同的模型会有很大的生成差异，且可能存在诸多与现实不符的情况。
    5. SD模型文生图-上接4.（1）|（2）
    #加载 StableDiffusionPipeline，设置随机种子并移动模型到 GPUimport torchfrom diffusers import StableDiffusionPipelinetorch.manual_seed(1)  # 设置了随机种子，确保每次运行代码时生成的结果是可重复的pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)   # 创建了一个StableDiffusionPipeline实例，并从Hugging Face的模型库中加载了预训练的Stable Diffusion模型版本1.4。
    我也是在看了这次的学习文档才发现，原来魔搭社区的首页分区有很多值得探索的地方啊，原来可以在开源数据集里寻找需要的数据，比如task1的相关绘图数据，还是我不够主动去学习啊，记录下来，督促自己，提升自学能力，遇到不会的可以考虑询问大语言模型哈哈。超精细、特征提取到图像生成的一系列步骤。
    2022年8月，AI生图真正走进了大众的视野，让各个领域无法忽视。男主正在写日记2、这样，模型就能够根据LoRA的微调来生成图像，而不仅仅是依赖于原始的预训练权重。{此处替换前面的代码}
    首次回答：
    data-juice被它翻译成了数据-榨汁机hh
    （AI并没有很好理解“逐行”这个词，于是再次提问）
    加问：
    逐行分析哦，每一行都标记对应的注释 {先前的代码}（其实应该不用重新复制代码了，会根据前文进行分析的吧）
    AI再次回答的结果+结合Datawhale学习文档：
    1. 安装库
    #安装 simple-aesthetics-predictor 库，该库可用于评估图像的美学质量。看着满天繁星，超高清、出色的构图、。遍历数据集，保存图像并记录元数据）>>>
    数据清洗与过滤（使用DataJuicer配置文件定义数据处理规则、陷入回忆，自己刚来到这里的时候4、

  • 相信之后会有更多可以应用AI的地方！继续学习！

  【参考】

  《Datawhale 学习指南》

  AI生成图片拿下国际摄影大奖，外媒炸锅…… (qq.com)

  又一中国论文因错误AI配图“出圈”，作者回应称“无力支付高昂插图费用”；陕师大通报教师涉嫌性骚扰：警方已介入 | 科研圈日报 (qq.com)

  通义tongyi.ai_你的全能AI助手 (aliyun.com)

  可图Kolors-LoRA风格故事挑战赛 · 魔搭社区 (modelscope.cn)