主页 > 新闻 > 人工智能 | 深度学习涉足美妆领域,网红博主要失
2018年

人工智能 | 深度学习涉足美妆领域,网红博主要失

场景描述:风靡各大年夜直播平台的美妆博主,凭借高超的化妆技巧吸金无数。而人工智能也已经开始进修这一本领。使用深度进修与谋略机视觉技巧,仅仅根据人的眼睛特性,就能给出得当用户的美妆搭配。

关键词:几何变换 triplet 丧掉函数 迁移进修

近年来,收集上涌现出越来越多的美妆博主,他们解说美妆技术,分享化妆品试用效果,以此积累粉丝,与商家相助贩卖产品。

比如,前段光阴大年夜火的李佳琦,被称为「口红妖怪」的美妆博主。他曾猖狂地在一次直播中一口气试了380 种口血色号,并创下一分钟内售出 14,000 支口红的记载。

然而,很多爱化妆的妹子应该早有融会,明明买了和博主如出一辙的口红,可画出来效果却不一样。看到「李佳琦」们试用的色号很美很仙很贵气,可到了自己嘴上怎么就……

口红界的「卖家秀」和「买家秀」

没错,恰是由于每小我的脸型、肤色、唇形等等都不一样,才导致了「卖家秀」和「买家秀」的结果。

那么问题来了,如何才能知道最得当自己的美妆产品是哪款呢?一个叫做 MIra 的公司给出的谜底是:用深度进修。

深度进修也爱美妆

许多人印象中,人工智能、深度进修这些名词和美妆应该八竿子打不着关系,但位于美国洛杉矶的创企 Mira 可不这么想。

这家公司抉择用人工智能技巧赞助广大年夜爱美男士,比如获取化妆灵感,购买相宜的美妆产品等。

美妆前后,效果堪比换脸

在随机和数十位美妆人士详聊后,Mira 团队懂得到,今朝女性破费者在探求相宜的化妆产品和美妆措施时,碰到的最大年夜艰苦是,没有势力巨子且可托的声音能针对她们小我的美容需求做出指示。

在本文我们就聊聊 Mira 的技巧团队若何用深度进修和谋略机视觉技巧发明切中这个问题症结的实例:找到解说人类详细眼型和面部肤色的美妆大年夜咖、图片和视频等信息。

沿着这种要领, Mira 团队借助三个简单但强大年夜的常识——几何变换、triplet 丧掉函数和迁移进修,只用最小限度的人类输入数据就能办理各种艰苦的美妆揣摸问题。

AI 帮你选择最相宜的眼妆

眼部分类示意图

爱化妆的女士都知道,找到得当自己眼睛的美妆产品和措施是很艰苦的——每小我的眼型和面部肤色都不一样。

即就是同一种眼妆(比如烟熏妆),根据眼型不合,所用的化妆措施也大年夜不相同。

虽然像 Birchbox 等推出了一些有用的化妆指南,但 Mira 团队颠末查询造访发明,美妆喜欢者们平日照样爱好听听专业且可托的建议,尤其是和自己眼型相似的人的化妆建议,她们对这些建议的注重程度以致都跨越了美容专家的意见。

使用人工智能技巧,现在我们根据自己的眼部特性,以及自己其它独特的面部特性,就能让自己知道怎么化妆、买什么化妆品。

AI 美妆第一步:探求相似性

我们把问题形式化一下:根据一组面部照片,以及少许数量的人工标记的照片(标记了眼睛颜色、眼睑外形等),找到两个眼睛之间的视觉相似性度量(《红楼梦》中「这个妹妹我曾见过的」便是这个意思)。然后用分类器捕捉人工标记的属性。

本文先重点解说若何确定眼睛之间的相似度,后面会具体解释若何进行分类义务。

原始图像并不是很得当谋略视觉相似性或者进行分类义务。由于它们包孕的很多相似性都是外面上的(比如画的妆很相似,因为强光才造成肤色看起来不合)。

而这些和人物真正的眼部布局及面部肤色并没有关系。而且,原始图像一样平常都处于高维空间,这就必要大年夜量的有标记练习数据用于分类义务。

如上图,假如仅直接对照图像像素,人物的眼睛都高度相似,但仔细注领悟发明,虽然人物的眼影、毫光和视线偏向同等,但她们的眼睛颜色和面部肤色却各不相同。

处置惩罚原始图像的艰苦所在:虽然上图两人的眼睛大年夜不相同,但初始数据对照起来却很相似

那么 Mira 的重要义务便是:要得到眼部照片的低维和密集的数学表达形式,也便是我们所说的「嵌套」(embeddings)。

它只会捕捉义务所需的图像品德(嵌套是一种分类特性,以继续值特性表示。平日,嵌套是指将高维度向量映射到低维度的空间。)这样一来,「嵌套」该当轻忽这些信息:

眼睛姿势/视线偏向

详细的毫光状况(当然还有强大年夜的滤镜这些)

不管是脸部画了什么样的妆

当用三重函数练习眼睛嵌入时,系统学会了轻忽不相关特性

AI 美妆第二步:投影变换进行图像归一化

我们可以经由过程一个简单的预处置惩罚步骤——投影变更删除一全部类其余外面相似性。

虽然裁减过的眼部照片会呈现很多显着的布局性差异(比如眼睛不在照片中间,或者因为头部倾斜的缘故原由呈现扭转等),但投影变更能让我们「扭曲」照片,这样就能包管相同的眼部标志处于相同的坐标。

借助一丁点的线性代数道理,我们就可以将一张图像「扭曲」,这样一组点会映射为一个新的抱负的外形。扭转和拉伸图像的历程如下所示:

应用投影变更,可以将上面的图像进行扭曲处置惩罚,上图中的 4 个红点会组成一个矩形,从而将红点围住的文本「拉直」。Mira 团队在将眼部照片进行正常化处置惩罚时,利用了同样的措施。

钻研职员接用 dlib 检测出脸部标记(假如你对 dlib 感兴趣,可以在以下链接中懂得:http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html)。

剪裁照片中的眼部部位,将其「扭曲」处置惩罚,确保它们对齐和同等。这步操作能让他们专注于让「嵌套」不受人物头部姿势和倾斜角度的影响。

接着进行图像归一化:检测出面部标志,剪裁眼部图像,然后用投影转换将眼部图像「扭曲」至标准位置。

图像预处置惩罚流程中的图像样本

AI 美妆第三步:用 triplet 丧掉函数进行表示进修

「扭曲」处置惩罚后的图像进行直接对照时,仍会体现出一些外面相似性,包括视线偏向和相似的化妆等。深度进修技巧便是办理这个问题的药方。

钻研职员练习了一个卷积神经收集,用眼部照片输入它后会输出向量,比拟不合人之间,同一小我眼部照片输出的向量更具相似性。神经收集会进修输出每小我眼在不合情况下的稳定持续的表示形式。

当然,这里以是靠的恰是前面所说的triplet 丧掉函数,其公式如下所示:

这具体阐清楚明了当函数将详细个体(锚点和正样本)的两个「嵌套」放置的位置比锚点和无关个体(负样本)的位置更近时,模型的丧掉和优化目标会递减。

模型架构示意图

当钻研职员将眼部照片利用到模型中时,他们发明天生的「嵌套」很好地指出了具有相似眼部布局和面部肤色的两张照片。

眼部嵌套相似的照片示例

这里所用的措施着实和谷歌的FaceNet 很像,也便是经由过程对比片进行「扭曲」和同等性处置惩罚,利用 triplet 丧掉函数,天生脸部级其余图像嵌套。

AI 美妆第四步:合并嵌套

钻研职员对天生的嵌套进行了简单调试,让其同样适用于支持人级(Person-level)的眼部表示——提掏出每个帧的整个噪声数据。

经由过程应用上面神经收集的预练习权重,钻研职员又采纳了新的丧掉函数,该函数将多组嵌套的匀称值放在极为邻近的位置(相对付无关个体),如下所示:

应用先前神经收集的预练习权重,钻研职员可以让收集能够以求匀称值的要领将眼部嵌套合并在一路,能看到模型快速收敛。这个历程便是常说的迁移进修。

迁移进修让嵌套能够合并为一个个体眼睛的更为整体的表示。虽然此时神经收集架构异常繁杂了,但模型因为采纳了迁移进修的缘故原由能够快速收敛。

终极,钻研职员用数据集对模型进行了验证,发明模型天生的嵌套能够捕捉个体之间的很细微的相似性,如下所示:

每一行人物的眼部嵌套之间异常相似

看你一眼,就给出完美妆容建议

经由过程得到单张照片中人眼的高质量数学表示,钻研职员就能找出人物眼睛构造的相似性,这就为只根据人的眼睛,为他/她匹共同适的眼妆风格打下了根基。

Mira 技巧团队表示接下来的义务是利用几种监督式进修措施(分类眼型、回归眼睛颜色等),以及一些阐发措施,搭建出能为人们供给化妆建议的 AI 模型。

也便是说,未来,妹子们不必再发愁画什么样的妆最得当自己的眼睛和肤色了,更不必机器地参考标准化妆指南和美妆博主试色效果,AI 会为你保举更得当你自己的美妆术。

如斯一来,美妆博主们生怕要被抢饭碗了?不过,李佳琦也不用再那么费力地,在一次直播中试色 380 次了。

注:本文所有代码和结果的实现用到了 NumPy,SciPy,Matplotlib,Chainer,dlib 和 SqueezeNet 架构。

超神经百科

迁移进修

迁移进修是一种机械进修措施,便是把为义务 A 开拓的模型作为初始点,从新应用在为义务 B 开拓模型的历程中。

深度进修中,在谋略机视觉义务和自然说话处置惩罚义务中,将预练习的模型作为新模型的动身点是一种常用的措施,平日这些预练习的模型在开拓神经收集的时刻已经耗损了伟大年夜的光阴资本和谋略资本,迁移进修可以将已习得的强大年夜技能迁移到相关的的问题上。

以下是两个常用的措施:

1. 开拓模型的措施

2. 预练习模型的措施