[lora模型训练] Pony模型真人lora训练

SDXL真人模型始终没有替代SD1.5模型，其中一个原因就是SDXL模型在构图方面并没有明显优势，微调效果也赶不上SD1.5领先几年的积累。

如今Pony系真人大模型已经初见成效，虽然c站上排行靠前的几个真实模型始终都摆脱不了2.5D，尤其是亚洲系模型更是重灾区，但这其中也有比较优秀的模型，比如Pony Realism，在比较复杂的构图上也能维持部分真实质感。

众所周知Pony模型训练二次元角色lora的效果碾压普通sdxl模型，最近社区也开始尝试用Pony模型训练真人lora，不过目前圈子里训练Pony系真人lora的还不多，我就来抛砖引玉一回。

LORA训练成果：

左AI图，右真实图

训练效果可以说完全吊打SD1.5模型，你要说有缺点，那就是少了SD1.5模型特有的AI感（悲）。

底模Pony Realism v2.1+sdxl_vae，训练集一共47张图（可以更少，图片质量优先），在线4090训练1h。训练集处理跟SD1.5的一样，按我之前真人lora训练的帖子~~（图裂了只剩文字）~~来完全没问题。

整个训练流程下来，我简单总结了几个不同的点：

1. 训练集图片默认大小是1024x1024，不需要1:1，只要长宽都>768就行
2. lora训练train_unet_only，不要训练text encoder
3. 训练需要引入VAE，即sdxl_vae
4. 单人lora模型network_dim只需要32，alpha设置为1即可

具体训练参数可以参考https://civitai.com/articles/5545/pony-realism-lora-training-and-preset，见其参数附件。

其他需要注意的点：

1.对训练集质量要求非常高，建议用4K以上原图集裁剪到合适分辨率（低分辨率或者复杂构图数据集直接抛弃，或者可以尝试用AI先进行超分）。
如果原图集背景比较单一，还是需要剪裁背景的（换成白底），建议用photoshop精裁（精修），ps的“识别主体”功能效果比rembg等移除背景功能都要强，可惜没有自带后处理，所以记得把轮廓毛边处理掉；
如果数据集服饰单一，可以用AI跑几张图生图，这里就不得不推荐一下我之前发的自动去衣工作流了，对提高泛化性还是有一定帮助的。

2.图片打标跟SD1.5的一样，不需要诸如score_9等美学评分或者rating分级。
同样地，也需要精简合并重复提示词，如果有一些不希望变化的概念比如发型发色，就不要打标了。
触发词我就直接用1girl/1boy+<自定义名>。

3.不要用吐司或者civitai等网站的在线训练，可配置参数不全。很多线上显卡租赁训练也是很方便的，价格也远比这些网站训练便宜，具体就看各显神通了。至于炼丹炉，只要能训练sdxl lora的都行。