ControlNet新玩法爆表：绘制可扫描图解 随意指定内容链接

近日，一组神秘的“虚拟妻子”照片在国内外社交媒体上疯传。

发生了什么？

试试用手机扫一扫，就能找到其中的奥秘——

原来这些看起来很自然的照片都是隐藏了二维码的图片。不仅可以被手机摄像头识别，而且重定向的网站也是有效的：

从推特到Reddit，这些二维码照片隔几条帖子就能刷出来，下面全是“被扫出来”的感叹。

最重要的是，这些照片不是手工绘制的，而是使用Stable Diffusion 生成的，再一次借助其背后神奇的ControlNet 魔法。

生成二维码的图片风格远不是二维虚拟人像中唯一的一个，一起来看看吧~

8种图片风格随意选择。除了上述二维插（lao）画（po）式，作者还演示了另外八张二维码图片的生成效果。

这是一个看起来像城市真实照片的三维二维码图像：

有网友感叹，真实的二维码城市竟然可以在物理世界中构建：

甚至只能在特定地点、特定日期、特定时间扫出，颇有寻宝游戏的内在味道。

这类立体作品不仅可以控制细节（比如更多的植被），还可以改变风格生成更机械科幻的二维码图：

3D的城市不好看，还有2D抽象风格的作品，资料都藏在小房子里：

此外，二维码还可以融入中国传统图案，或者巧妙地放置在瓷器或壁画等装饰品中：

也可以hold住更文艺的水墨风格，无缝衔接画的笔迹：

或者这张水彩风格的画：

日本浮世绘风格也没有问题：

它还可以嵌入到PCB 样式图像中。以后想找电路板售后服务直接扫码（doge）：

显然，除了二维码图片可控之外，模特甚至插画风格都可以得到很好的控制。

这背后是什么技术？

LoRA和ControlNet一起调度。要实现这种图像风格+二维码可控效果，Stable Diffusion需要结合LoRA和ControlNet来实现。

其中，LoRA负责控制整体图像风格，ControlNet负责确保将二维码“放入”到图像中。

LoRA的全称是Low-Rank Adaptation of Large Language Models，可以很好地实现少样本学习，从而更精确地控制Stable Diffusion图像风格的生成。

也就是说，至少需要几十张相同风格的图片，才能训练出一个LoRA来调整Stable Diffusion产生的效果。

目前，作者已经在Civitai、Hugging Face等平台开源了相应的LoRA模型，用于国风、浮世绘等更具特色的图像。

和浮世绘风格的LoRA模型一样，在Civitai上已经可以直接下载了：

训练这样一个浮世绘风格的LoRA 模型不需要很多照片。像这个模型，只用了葛饰北斋的《富士山三十六景（增十景）》浮世绘46幅。

对于更多样化的风格，比如生成不同中国传统图案的图片，训练只需要近百张图片：

你可以获得一个可以绘制不同图案的LoRA 模型：

QR Code ControlNet是作者专门为QR码图像生成训练的一个新的ControlNet模型，目前还在优化中。

作者尝试了Stable Diffusion Checkpoint、LoRA 和QR Code ControlNet 的不同组合来生成上述二维码图像的效果。

值得一提的是，结合最近PS新增的生成填充功能，这些二维码也可以很好的嵌入到AI生成的大图片中：

有网友调侃说，以后连广告都变好看了。

作者简介做这个二维码生成项目的作者有四位，分别来自中国传媒大学和北京航空航天大学。

其中，倪好、陈柏宇为中国传媒大学本科高年级学生，王兆涵为中国传媒大学研究生一年级学生，陈志勇为北京航空航天大学本科高年级学生。

在这个AI二维码图像生成项目之前，倪好和陈志勇已经做了一个参数化二维码生成器，但主要是用图形技术。

据倪好介绍，他们之前的研究方向主要集中在图形和交互艺术上。随着这段时间AIGC的爆发，团队也对这项技术产生了兴趣。

这段时间他们开发了很多不同风格的LoRA模型，还有可以控制光影的ControNet等等，目前的模型也都放在了Civitai上。

团队表示，目前二维码图片生成模型还在优化中，如果后续有更多进展更新，也会同步到本站。

可以等一波~

团队开发的AI模型：

https://aigc.ioclab.com/index.html

参考链接：

[1]更多二维码效果展示：https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPw

[2] https://www.reddit.com/r/StableDiffusion/comments/141hg9x/controlnet_for_qr_code/

[3]https://twitter.com/dahbiahmed/status/1665778398084431872

本文来自微信公众号：量子位（ID：QbitAI），作者：小小