Combining markov random fields and convolutional neural networks for image synthesis

Combining markov random fields and convolutional neural networks for image synthesis

用马尔科夫场作图像风格转换

本文亮点在于添加了一个MRF LOSS function，这个用于计算图像的风格，对于一副图片，输入VGG后，在某一层输出得到一个特征图。

• 在这个特征图上取一个patch，计算这个patch于style图上最邻近的patch，以他们之间的距离，作为该patch的loss
• 距离计算方法是normlizaed cross-correlation（NCC），也就是归一化的点积
• 可以用CNN来加速计算，具体步骤： 1.类似CNN，先用stride=1的3×3窗口在内容图片的特征图上滑动，得到一个个patch 2.每个patch归一化 3.所有的patch作为卷积核，在style图片的特征图上滑动，计算出NCC最小的值所在的patch(也就是说相差最大的patch),用这两个patch的均方误差作为loss