ControlNet新玩法爆火:画出可扫码插画,内容链接任意指定

来源:IT之家   发布时间:2023-06-08 11:53:38   阅读量:8386  

一组神秘的“虚拟老婆”照片,最近在国内外社交媒体上传疯了。

怎么回事?

试着用手机扫一下,就能发现其中的玄机 ——

最关键的是,这些照片并非手动绘制,而是用 Stable Diffusion 生成的,背后再一次加持了神奇的 ControlNet 魔法。

8 种图像风格任意可选

甚至它只能在特定的地点、特定的日子、特定的时间被扫出来,有寻宝游戏内味了。

3D 城市看得不过瘾,还有 2D 抽象风格的作品,数据都藏在小房子里了:

更具艺术性的水墨风格也能 hold 住,无缝衔接画作笔迹:

又或是这种水彩风格的画作:

日式的浮世绘风格也没问题:

还能嵌进 PCB 风格图像里,以后电路板要找售后,直接扫码就行:

这背后究竟是依靠什么技术实现的?

LoRA 和 ControlNet 齐出动

LoRA 全称 Low-Rank Adaptation of Large Language Models,能很好地实现少样本学习,从而对 Stable Diffusion 的图像风格生成进行更精准的控制。

目前,比较有特色的如中国传统风格和浮世绘风格的图像,作者们都已经在 Civitai 和 Hugging Face 等平台上开源了对应的 LoRA 模型。

像浮世绘风格 LoRA 模型,就已经可以在 Civitai 上直接下载:

训练这样一个浮世绘风格的 LoRA 模型,并不需要很多照片,像这个模型就只用了 46 幅葛饰北斋《富岳三十六景》的浮世绘。

就可以得到能画出不同纹样的 LoRA 模型:

有网友调侃,未来就连广告也会变得更好看了。

作者介绍

其中,倪豪和陈柏宇是中国传媒大学大四本科生,王照涵是中国传媒大学一年级研究生,陈智勇是北京航空航天大学大四本科生。

据倪豪介绍,他们之前的研究方向主要集中在图形学和交互艺术上,随着这段时间 AIGC 爆火,团队也对这方面的技术产生了兴趣。

这段时间里,他们开发了不少不同风格的 LoRA 模型,以及可控制光影的 ControNet 等,目前模型也都已经放在 Civitai 上。

可以码住期待一波了~

团队已开发的 AI 模型:

参考链接:

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

为你推荐

火速护盘!当天制定回购方案,当天下场买股!上市公司真金白银看好后市

火速护盘!当天制定回购方案,当天下场买股!上市公司真金白银看好后市

4月25日,不少上市公司在下跌中果断实施回购。25日晚间,恒瑞医药、建霖家居、劲嘉股份等公司纷纷公告在盘中实施了回购;威...更多

2022-04-26 01:11:00
人弃我取时间已到!券商首席一致看多,A股迎接反攻时刻?

人弃我取时间已到!券商首席一致看多,A股迎接反攻时刻?

4月25日,上证指数重挫逾5%,失守3000点,创下2020年7月以来新低。盘后,券商中国记者采访了多位券商策略、宏观分...更多

2022-04-26 01:11:00
实实在在赚钱了!2021年收入增34%,这家公司要冲击“纯SaaS业务模

实实在在赚钱了!2021年收入增34%,这家公司要冲击“纯SaaS业务模

4月25日,新三板挂牌公司和创科技晒出了2021年“成绩单”,2021年实现收入1.45亿元,同比增长34%;经营现金流...更多

2022-04-26 01:00:00
高玩不买单了水冷头一哥EKWB裁员1/4:业绩持续暴跌

高玩不买单了水冷头一哥EKWB裁员1/4:业绩持续暴跌

虽然AIO一体式水冷很方便,但分体式水冷依然是目前散热最好、效果最炫的方案,只不过价格很贵,只有高玩才会折腾。然而这个高...更多

2022-04-26 00:38:00
IEEE发布首个供应链金融区块链国际标准蚂蚁集团牵头制定

IEEE发布首个供应链金融区块链国际标准蚂蚁集团牵头制定

,IEEE计算机协会区块链和分布式记账标准委员会召开全体会议,《基于区块链的供应链金融标准》正式发布。这是IEEE发布的...更多

2022-04-26 00:37:00
外媒预计在建设P3晶圆厂后三星电子还将在平泽建设P4晶圆厂

外媒预计在建设P3晶圆厂后三星电子还将在平泽建设P4晶圆厂

,据国外媒体报道,此前有报道称,三星电子2020年年中开始在韩国平泽建设的P3晶圆厂,将在下月开始设备的安装,设备的进入...更多

2022-04-26 00:35:00
万华化学首季净利降近两成2021年分红超78亿

万华化学首季净利降近两成2021年分红超78亿

25日盘后,万华化学披露2022年第一季度报告。一季度,公司在营业收入增超30%的情况下,净利润回落近两成。具体来看,一...更多

2022-04-26 00:35:00
盈利下滑、应收账款和现金流状况恶化!泽达易盛股价较高点已跌超八成

盈利下滑、应收账款和现金流状况恶化!泽达易盛股价较高点已跌超八成

董事长、财务总监协助调查,股价暴跌,业绩下滑,笼罩在泽达易盛头上的疑云久久不散。3月17日晚,泽达易盛发布重大事项公告,...更多

2022-04-26 00:34:00