首页视觉资讯用机器学习划分艺术站长QQ:926563750

浏览

0

回复

用机器学习划分艺术

作者:admin | 分类:视觉资讯 | 标签:机器学习 微软 

 

美术作品分类是件非常复杂的事情。确定作品的风格、流派、艺术家和时期,那是艺术专家干的事情。而要想发现艺术家之间的关系和相互影响,只有艺术史学家才能办到。

所以,如果说计算机可以对油画进行分类并寻找其间的关联未免有点可笑。但是新泽西罗格斯大学的 Babak Saleh 及其同事就让计算机办到了。


左图:委拉斯开兹的《教皇英诺森十世肖像》,1650年;右图:培根的《教皇英诺森十世肖像习作》,1953年

研究人员采用了某些最新的图像处理与分类技术,实现了发现艺术家相互影响程度过程的自动化。甚至还发现了一些艺术史学家也从未发现的关联。

艺术专家通常根据若干高级概念来比较作品,比如空间、纹理、形式、形状、颜色等。更高级的可能还得考虑运动、调和、平衡、对比、比例、模式等。甚至还要包括主题、笔画、意境、历史背景等一些要素。可见这是一件非常复杂的事情,一般人干不了。

那就更不要说这方面能力有限的计算机了。计算机的计算能力是很强,但是艺术鉴赏绝对是它的弱项。要想把这么复杂的二维图像比较过程自动化,可能吗?

可能。

达特茅斯学院和微软剑桥研究院就联合开发出了一项技术,该技术可根据画作内含的视觉概念进行识别分类。这些视觉概念被称为类素(classme),包括了从简单的对象描述,如鸭子、飞盘、人、独轮车等,到色彩明暗,乃至于死尸、水体、走路等高级描述。

然后就对作品的图像描述文字的比较,这一块难度要小很多,目前已经有若干成熟的技术。这些比较有助于对作品及艺术家之间的关联进行研究。

Salah 和他的同事就在此基础上对 66 位艺术家的 1700 多幅画作按照 13 种风格进行了研究,这些作品跨度很大,早至 15 世纪初,晚至 20 世纪末。为了对计算机的研究结果进行评判,研究人员又整理出了专家对这些作品相互影响情况的意见。

为了保证计算效率,研究人员把每幅画作的概念数和兴趣点数限制在 3000 以下。然后生成出一份描述文字清单,你可以把这份清单想象为一个矢量。接下来的任务就是利用自然语言技术和机器学习算法寻找相似的矢量。

不过确定影响会更加困难,因为影响本身是很难定义的概念。因为一幅画作与另一幅很相似就可以认为这位艺术家对另一位产生了影响吗?还是说他们之间应该有若干类似的画作才能认为如此?如果是这样的话,那这个数量应该定多少才合适呢?

Saleh 和同事对若干不同的指标进行了试验。最终他们画出了不同指标分列不同轴向的二维图表,然后根据结果把艺术家标到图表上,从而判断其相互的接近情况。

结果很有趣。在许多情况下,他们的算法清楚地识别出了艺术家之间已被发现影响。比方说,图表显示,奥地利画家克里姆特与毕加索和布拉克在图表的位置很接近,而事实上专家的确认为克里姆特受到了这两位画家的影响。算法还发现了法国浪漫主义画家德拉克罗瓦对印象派画家巴吉尔的影响,以及挪威画家蒙克对德国画家贝克曼的影响,德加对卡耶博特的影响等。


左图:布拉克的《Man with a Violin》;右图:毕加索的《西班牙静物:日光与阴影》,均创作与1912年

此外,算法还识别出了不同画作之间的相互影响。比方说,算法认为布拉克的《Man with a Violin》与毕加索的《Spanish Still Life: Sun and Shadow》之间存在相互影响:事实上正是这两幅均创作于 1912 年的画作开启了立体主义运动。


左图:梵高的《老葡萄园的农妇》,1870年;右图:洛克威尔的《Shuffleton的理发店》,1950年

算法还将梵高的《老葡萄园的农妇》与米罗的《农场》联系到一起,这两者均有着类似的对象和场景,但是表现出来的情绪和风格不同。

除了上述已被艺术史学家熟知的关联外,算法甚至还独具慧眼。下面的两幅图中,左边是巴齐耶 1870 年的《康德迈恩 9 号艺术家的工作室》,右边则是洛克威尔 1950 年的《Shuffleton 的理发店》,算法认为这两幅作品存在相似之处。如红色、黄圈、蓝框标注所示,算法发现了这两幅作品的相似之处。研究人员经过查证发现这是此前艺术史学家从未发现过的东西。


左图:巴齐耶的《康德迈恩9号艺术家的工作室》,1870年;右图:洛克威尔的《Shuffleton的理发店》,1950年

这真的是令人吃惊的发现。当然,就目前阶段而言,算法仍未无法替代艺术史学家的工作,因为它的发现仍建立在现有概念的基础之上,但是这次的研究至少表明了一点,在学习艺术方面,计算机是个好学生,甚至偶尔还能青出于蓝而胜于蓝。以前我们一直认为,在科技进步日新月异的情况下,艺术可能是人类最后的领地,现在看来在这一领域也未必能高枕无忧。

如果你对研究内容感兴趣,可到此处下载论文。

[本文编译自:medium.com]

本文链接:http://cvchina.net/post/109.html
原创文章如转载请注明:转载自计算机视觉网-AI技术供需平台-计算机视觉论坛谢谢!

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。