【IEEE】基于神经网络+小波分析的梵高作品特征识别
导言：
从历史上看，人在理解文字之前就已经接触图像。但这并不意味人对图像的把握胜于对文字的理解。人们有时对艺术作品的视觉理解相当有限。
机器学习算法拾取的作品特征可以协助人们理解画家的作画风格。文森特·梵高是最知名的后印象派画家之一，其作品对二十世纪艺术产生了深刻影响。梵高的作品以其对互补色的大胆运用、富有节奏感的笔触，和其天马行空的表现风格而著称。艺术史学家的研究表明，梵高的作画风格和笔法在不同时期有不同的特征：
梵高早期以阴沉的色调为主。其中最著名的是《吃马铃薯的人》（The Potato Eaters）（1885年）。
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
1886年，梵高去巴黎和画家科尔蒙一起学习，并遇到了毕沙罗，莫奈和高更等印象派画家。受此影响，他开始使画面变得明快，颜色变得亮丽，并以印象派风格的短笔触绘画。
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
1888年，梵高决定向南前往阿尔勒（Arles），和朋友一起创建艺术学校。这段时间也是梵高现今著名画作的集中爆发时间，诸如《向日葵》(sunflower)、《罗纳河上繁星点点的夜晚》(Starry Night Over the Rhone)，都具有热烈鲜明的色彩、自由挥洒的笔触和强烈的象征意义。
Oil on canvas 91.0 x 72.0 cm. Arles: August, 1888
Munich: Neue Pinakothek
Medium Oil on canvas Location Musée d’Orsay,
Paris Dimensions 28.5 in × 36.2 in 72.5 cm × 92 cm
但梵高孤僻的性格导致其无法与人愉快相处，在我们都知道的“割掉耳朵”事件后，他和朋友分道扬镳，并住进了圣雷米精神病院。在那里，他画出了著名的《星夜》(De sterrennacht)。它们使用了大胆的线条和色彩，将自然景物脱离实体，并为它们赋予了情感。
Oil on canvas 73.0 x 92.0 cm. Saint-Rémy: June, 1889
New York: The Museum of Modern Art
神经网络算法可以从梵高及其当代画家的数字化绘画中提取笔触，并分析这些笔触的特征。一项基于梵高博物馆和克罗勒·穆勒博物馆的藏品中的45幅数字化油画的研究对原始绘画的彩色大幅面透明胶片进行了高分辨率扫描，并数字化输入到了神经网络中，希望得到梵高作品的绘画特征。
一、基于小波变换的笔触提取
小波一词由 Morlet和 Grossman 在 1980 年代早期提出，之后不断发展为最常用的图像识别方法。类似于傅里叶变换将信号展开为一组正弦函数，小波变换将信号展开为一组小波基，以此来分析信号特征。
小波变换的具体介绍可见此专栏：
由于小波变换对边缘突变敏感，小波变换常应用于边缘检测。当进行小波变换时，边缘处会出现较大的灰度梯度变化，由此得到边缘的位置。因此，自然而然地，有研究使用小波变换提取梵高作品的笔触——即画面的纹理。例如下图梵高的《装苹果的篮子》，可以用小波变换清晰地得到苹果的笔触走向和纹理。
小波变换提取画作笔触信息算法简要如下：
1.边缘检测，并记录坐标
2.边缘封闭。
3.提取笔触：如果封闭区域的某些特征参数范围在设定阈值之间，那么它被识别为笔触。
使用这种方法，可以清晰地提取笔触结果，而不会破坏画作本身，我们可以看到使用这种算法从梵高巴黎时期作品提取出的短促笔触：
Paris, October-November 1887, oil on canvas, 50.2 cm x 64.3 cm
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
Oil on canvas 32.5 x 40.5 cm.Arles March, 1888
Amsterdam Van Gogh Museum
oil on canvas, 50.5 cm x 103 cm
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
二、基于神经网络的特征识别
接下来，将提取出的笔触输入神经网络进行分析和特征提取。
人工神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。1943年，心理学家W. S. McCulloch和数理逻辑学家W. Pitts建立了神经网络的MP数学模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开启了人工神经网络的大门。神经网络由大量的人工神经元组成。给定的输入信息会传达到所有神经元进行计算，进而得到输出值。
常用于图像识别的是卷积神经网络，即多层人工神经元组成的神经网络。单层神经元的输出信息会作为下一层神经元的输入继续计算，经过多层计算后，得到分类函数。这种多层处理的方法使得其非常适用于图像识别，自然也就能用来分析绘画作品。
对于一幅画，卷积神经网络将其视为一组二维像素，并从画中取出一小块像素输入卷积神经网络，学习小方块的图像特征；逐个小方块看完整个画，最后再将学习到的特征拼回到画上，得出判断。这个过程类似于艺术鉴赏家用放大镜一点点地看画的细节，最后再把所有细节结合起来，进行综合评估和作品分类。
神经网络算法可以处理通过边缘检测、聚类分析大量自动提取的笔触，并分析这些笔触的特征，可以将梵高的作品与其他人的作品区分开。
除此之外，神经网络还能将学习到的作品特征运用到其他图像，生成梵高作品风格的“作品“
三、参考文献
[1] 丁宁.西方美术史十五讲[M]，北京：北京大学出版社，2016.6，p.001
[2] C. Richard Johnson, Jr., Ella Hendriks, Igor J. Berezhnoy, Eugene Brevdo, Shannon M. Hughes, Ingrid Daubechies, Jia Li, Eric Postma, and James Z. Wang “Computerized analysis of Vincent van Gogh’s painting brushstrokes” IEEE SIGNAL PROCESSING MAGAZINE pp.37-48 2008
[3] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge “A Neural Algorithm of Artistic Style” arXiv:1508.06576v2 2015
