第(2/3)页 顾屿抄起触控笔点亮四块拼接屏,调出网络架构图和过去三个月的训练日志。 “林博士,搞技术的就不整酒桌寒暄那套了,直接看东西。” 触控笔尖敲了敲屏幕左上角的模块: “雪浪纸走的是扩散模型路线,现在学术界主流的生成对抗网络,咱们全扔了。正向往图像里逐步加高斯噪声,反向用U-Net结合交叉注意力机制去噪还原。” 顾屿划动屏幕调出底层代码库: “过去三个月,宋阳他们把五百一十二乘五百一十二分辨率的单主体生成跑通了,但眼下卡在两个工程死穴上。” “第一,多主体交互时空间注意力溃散。文本编码器的语义特征在深层网络里互相污染,画出来的人手多长指头,或者背景结构错位。” “第二,马尔可夫链采样步数太长。传统DDPM采样器得跑上千步,换成上个月刚改的加速算法,出一张高清图还得跑五十步迭代,耗时将近四秒。” 林元庆站在大屏前,脸上的客套笑意早收了。 他往前迈了半步,推了下无框眼镜,视线盯着顾屿笔尖划过的那几行红色损失函数公式。 来锦城前,林元庆读过顾屿挂名通讯作者的那篇《AttentiOn IS All YOU Need》。 但他毕竟在大厂待久了,总觉得这位年轻首富也就是把控个大方向,具体代码和数学推导肯定得靠底下博士生。 可刚听完这三分钟,林元庆后背有点发紧。 对U-Net跳跃连接层梯度消失的定位,对采样器微分方程求解器步长的拆解,这根本不是看几页汇报PPT能背下来的词儿。只有天天泡在代码堆里调参的总架构师,才能张嘴就来。 这年轻老板把扩散模型的底裤都摸透了。 顾屿没留意林元庆的脸色,手指在屏上一划,切出另一个打着加密水印的独立代码分支。 “全尺寸高清文生图算力开销太大,留给你接手后慢慢带团队啃。” 顾屿拿笔指着新模块, “不过在死磕文生图之前,上个月我带宋阳他们把早期扩散底座剥出来一块,专门针对Inpainting做了轻量化裁剪。” 他在白板上随手画了个带缺口的方框。 Inpainting,图像修复与补全。 传统算法只能修点小划痕或者纯色背景,要是照片里抠掉个大活人或者电线杆,只能拿周围像素硬涂,补出来糊成一团。 但用扩散模型做Inpainting,是先拿掩码把不要的残缺处圈出来,往局部注入高斯噪声。 模型读取缺口周围的光影、纹理和透视关系,再调用预训练底座里的现实世界常识,在噪声里一步步去噪重构,把缺掉的画面顺理成章地“脑补”出来。 顾屿点点屏幕上的延时测试数据: “我让他们把参数量裁剪量化到两亿以内,锁死局部掩码的注意力感受野。不用它凭空画世界名画,只根据周围像素上下文,填补重绘局部区域。” 林元庆盯着测试对比图,脱口道: 第(2/3)页