一键空中“画”窗户!MIT和IBM联合发布“GAN 绘画工作室”

  • 时间:
  • 浏览:3

对照片里的某个物品不满意为何么办?

其他其他人是因为会想到P图,有后来P图的效果...手残党是因为无福消受,有后来耗时耗力。

有不能自己 一款应用是因为软件还后能 在照片指定的位置很自然地编辑场景中的物体呢?

是的,又是GAN再一次不负众望,一家由麻省理工学院和IBM团队建立的“GAN绘画工作室”,还后能 自动生成逼真摄影图像并编辑其中对象的系统。

先附上在线制作地址:点此进入

图片场景的编辑演示

上文给出的链接是GAN绘画工作室在线交互平台,允许用户上传自选图像以从多种宽度修改其外观——从更改对象的大小到加上全新的物体(如树木和建筑物),哪些地方都还后能 哦,感兴趣的读者还后能 先尝试一番。

下图是文摘菌给出的示例图片,在平台中取舍 橡皮擦工具,取舍 图片中的chairs还后能 删除,得到Output result的生成图片,图片的无损、自然地还原许多人许多人再一次对AI惊叹!

除了还后能 删除场景中的物体外,在线平台还支持物体的加上,如下图在选中的黄色区域中生成了兩个多窗户,输出图与原图相比并都在显得很突兀。

不能自己 神奇,是为何么做到的?

透过间题看本质:揭开神秘面纱

在讲解这种 系统实现前,先来简单介绍下GAN——生成对抗网络。

GAN是为內部网络相互对抗而开发的一组神经网络,从二人零和博弈中受到启发。在这种 状态下,兩个多网络是逼真图像生成器,而第兩个则是鉴别器(以保证不被生成器欺骗)。每次鉴别器认为生成器在骗人时,它都前要”说明“当时人做出此判断的是因为——这很利于生成器不断提高当时人骗人的本领。

这好像有点儿抽象,下面将解释具体的原理。很显然这种 任务从原始的Input photo得到输出图片Out result,属于在原始图片的基础上生成新的图片,前要用到GAN强大的图像生成的功能。不能自己 是如何生成的呢?

以上图为例,为了在图像X上执行语义编辑任务,前要执行以下兩个多步骤:

  • 许多人许多人先用兩个多后面 向量z=E(x)代表图像x;

  • 有后来使用ze=edit(z)向量表示诸如:移除、加上等改变图像语义的操作概念;

  • 最后,许多人许多人从修改后的ze重新生成图像。

值得注意的是,通常输入图像x不能自己 由处于器G精确生成,有后来(c)使用生成器G创建编辑后的图像G(xe)将是因为其他原始图像的细节和属性的丢失,处于器G生成的G(z),丢失了原始图像书桌旁边的柜子,后续操作只会是因为“错加上错”。有后来,为了生成图像,许多人许多人提出了新的最后一步(d)学习图像特定的生成器G',其还后能 产生在未编辑区域中与原始图像x无异的x'e = G'(ze)。

这种 策略具有可行性,但在技术上仍然面临两大挑战,列举如下:

不能自己找到兩个多潜在的后面 向量z,使得还后能 利用宽度生成模型生成G(z)来捕获图像的视觉内容;上图中的(b)只不过是(a)图的粗略表达;

在一系列操作前一天,来自生成模型的新合成像素通常与现有图像内容不相容,这使得新内容拼接成原始图像的背景具有挑战性。

在相关论文中提出使用图像特定的自适应方法防止了上述兩个多间题。关键点是学习图像特定的生成模型G'≈G,此模型产生的图片高精度的还原了输入图像x,如上图(d)所示,有后来使x≈G′(z)在图像的编辑区域之外。

Bau,Strobelt,Torralba和Zhu与前CSAIL博士生Bolei Zhou,博士后助理Jonas Wulff和本科生William Peebles参与撰写了相关论文,感兴趣的读者可展开后续研究。

附上论文地址:点此进入

会有bug吗?能在空中画窗户吗?

答案是不必。

这种 研究有一项意外的发现:系统似乎学着了其他关于物体之间关系的简单规则。它知道其他物体不属于其他特定场景,比如窗户就不该在天空中。它还知道如何创造不同场景的视觉效果。例如,是因为图像含有两栋前要系统为之加上门的建筑,它不必简单地加上相同的门,其他其他非常不同的两扇门。

“所有绘图应用系统程序都会遵循用户指令,但许多人许多人这种 不一样。是因为用户让它把一件物体装进全部太久花费的地方,它是因为会拒绝哦。”,Torralba说。“这是一件个性鲜明的绘图工具。它为许多人许多人打开了一扇窗户,许多人许多人理解GAN是如何学着绘画的。”

“这项工作帮助许多人许多人直观地看了GAN真的开使英文‘理解’常识性知识了,这固然 让人兴奋呢。“,芬兰阿尔托大学副教授Jaakko Lehtinen说。“这项能力对于搭建最终利于自主运行的系统真的很关键——毕竟人类世界多样化多变,具与否限是因为性。”

仅仅是为了编辑图像?NO!

麻省理工学院教授安东尼奥·托拉尔巴(Antonio Torralba)是MIT-IBM沃森人工智能实验室的牵头人。他指出该项目具有巨大的潜在应用价值。

应用1:影视视频场景的编辑

设计师和艺术家还后能 使用它来变快地调整许多人许多人你会的视觉效果。而对系统做出其他改进使其适应视频剪辑搞笑的话,则将帮助计算机图形编辑器快速组成特定镜头所需对象的特定排列。想象一下其他其他 兩个多应用场景吧:是因为一位导演拍摄了演员的全部场景,但忘记了在背景含有有兩个多对剧情有点儿要的东西,这种 项目就能派上用场啦。

应用2:剔除“假”图像

IBM的研究科学家Hendrik Strobelt说:“其他其他 ,每当GAN产生非常不切实际的图像时,哪些地方地方错误的来源其他其他兩个多谜。”“许多人许多人发现哪些地方地方错误是由特定的神经元触发的,许多人许多人还后能 剔除它们以提高图像的质量。”

“知己知彼,百战不殆。”这位CSAIL的博士后说。“这种 理解是因为利于许多人许多人更轻松地检测假图像。”

为了开发该系统,该团队首先取舍 了GAN內部与特定类型的对象(如树木)相关的单元。后来对哪些地方地方单元进行单独测试,看看它们处于否与否会决定其他物体与否老要出现。重要的是,许多人许多人还取舍 了是因为视觉错误的单元,并努力将其移除以提高图像的整体质量。

该团队的目标是许多人许多人更好地控制GAN网络。有后来许多人许多人认识到,随着权力的增加,滥用的是因为性也将大大增加——允许医生使用哪些地方地方技术来拍摄照片其他其他兩个多潜在的例子。相互相互公司合作 Jun-Yan Zhu表示,深入了解GAN以及其所犯的错误将非常利于研究人员更好地消除伪造图像。

带来的反思

通过分析前要删除的“工件”单元,GAN绘画工作室还可用于改进和调试正在开发的其他GAN。在这种 AI工具的原理不必说清晰却使图像防止比以往更容易的时代,它还后能 帮助研究人员更好地理解神经网络及其底层社会形态。同時 研究人员都在提到,“这种 系统为更好地理解GAN模型打开了一扇大门,这将利于许多人许多人对GAN进行多方面的研究。”

其他功能如图片中的风格切换功能还未成熟期期期期期的句子的句子 应用,如下图中改变整个树木的色调以呈现不同的季节:

“目前,机器学习系统固然其他其他其他许多人许多人不必说老要知道如何改进的黑盒子。这都在点儿像哪些地方地方你不敲一下就不必出声儿的旧电视机,”,主笔写过一篇关于这种 系统的文章的Bau说。 “这项研究表明,固然拆开电视研究一下后面 都在些啥是因为会让人望而生畏,但那真的利于提供其他有用信息的。”

AI不能自己 “智能”,这肩上带给许多人许多人哪些地方反思呢?读者还后能 在后台留言交流。