声明：本文来自微信微信官方账号量子位(ID:QbitAI)，雷锦来自奥菲寺。它是经授权复制和出版的。

四个美少女，用AI画画，在ChatGPT的热浪中杀了一个世界。

新“魔术”一出，瞬间吸引了全场的目光：

原来是四个闺蜜在沙滩上的普通照片：

在新魔的加持下，“邦一”画风反转，瞬间进入唯美动画风格：

不仅动画风格惊艳，连人物姿势都保持“原汁原味”，美女们分分钟实现了动画自由。

此效果一出，也引来众多网友围观，并称之为“在线教程”:

也有很多人呼吁这款游戏的商业化：

两个人工智能大师之间的联系

做这个AI组合拳的是一个叫“viggo”的中国小哥哥博主。

他手握的两大法宝是：左手的StableDiffusion和右手的ControlNet。

StableDiffusion，相信很多朋友已经很熟悉了。是一款可以根据输入提示的文字快速画图的AI画图神器。

新流行的AI插件control net(GitHub上线2天抢购4.6K星)，相当于给AI绘画加了buff，可以精确控制手部细节和整体结构。

哥哥的做法也比较简单，就是先导入原图，用稳定扩散的图片变成文字。

然后用Text2Prompt插件展开，找到对应的关键词；最后用ControlNet插件绑定骨骼，开始换关键词试试效果。

当然，原图中四位美女的姿势也可以根据小哥哥画的骨骼结构不同而变化。例如：

与原图中的人物位置相比，上图中的人物更加分散，站成一排；而且上臂的姿势也变了。

由于具有稳定扩散的能力，AI生成的绘画也可以在绘画风格上产生完全不同的效果：

惊人的效果已经让部分网友难以承受。根据弟弟的陈述，他们“重新出现”并说：

第一次接触，很好玩，试着重现一下，感觉还不错。

不过据说AI画图新顶流插件ControlNet的“魔力”可不止这些。

简单几笔也能画出真人效果。

比如微博里的博主“海心风信子”，分享了他使用ControlNet插件后“素描变美颜”的玩法。

他先画了一个线稿：

然后开启ControlNet的scribble模块细化效果，结果如下：

栩栩如生的效果也很惊艳。

“风信子”还测试了同一种子下不同参数的影响：

有些朋友要问了，那么ControlNet关闭了会怎么样呢？别担心，博主也做了测试，效果是这样的：

“海鑫风信子”的操作也得到ControlNet作者的认可：

这也让博主本人激动不已，大呼“尖叫”:

当然，ControlNet还可以实现许多其他功能。比如装修设计，可以输入一张拍摄好的卧室图，分分钟输出不同风格的草图和效果图：

并且在ControlNet的在线网站中，也有很多不同的功能玩法体验，感兴趣的朋友可以尝试一下：

给人工智能绘图模型添加buff

ControlNet的原理本质上是给预先训练好的扩散模型增加一个额外的输入，控制其生成的细节。

这里可以有各种类型的输入，作者给出了八种，包括草图、边缘图像、语义分割图像、人体关键点特征、Hough变换检测直线、深度图、人体骨骼等等。

那么，让大模型学会“根据输入条件生成图片”的原理是什么呢？

ControlNet的总体思想和体系结构划分如下：

具体来说，ControlNet首先复制扩散模型的权重，得到一个可训练的副本。

相比之下，原来的扩散模型已经经过了数十亿张图片的预训练，所以参数是“锁定”的。而这个“可训练副本”只需要在特定任务的小数据集上训练，就可以学习条件控制。

作者认为，即使数据量很小(不超过5万张图片)，模型经过训练后的条件生成效果还是不错的。

“锁定模型”和“可训练副本”由一个称为“0卷积层”的11卷积层连接。

卷积层的权值和偏差初始化为0，这样训练速度会很快，接近微调扩散模型的速度，即使在个人设备上。

例如，一块NVIDIA RTX3090TI用200，000个图像数据训练不到一周：

基于目前火势的稳定扩散，笔者进行了具体的实施，主要框架如下：

对于不同的输入，作者也给出了不同的模型，效果也不错。

具体的效果，正如我们刚刚展示的。

还有一点

最后，温馨提示.男生们，过了这个2月14号的情人节就不要有安全感了。

然后可能是白色情人节(3月14日)，黑色情人节(4月14日)，玫瑰情人节(5月14日)，接吻情人节(6月14日).

赶紧学会这套“AI组合拳”，送给老婆/女朋友一份精美的礼物吧！

参考链接：

[1]https://Twitter . com/deco hack/status/1627378506857611264

[2]https://Weibo . com/time Rainer 1015

[3]https://github . com/lllyasviel/control net

[4]https://Twitter . com/lvminzhang/status/1627142848788463616

(报道)