日前，两年一度的计算机视觉领域顶级学术会议 ICCV 在加拿大蒙特利尔圆满闭幕。在此期间，与大会同期举行的首届LargeFineFoodAI技术研讨会，由美团视觉智能中心联合中科院计算所、北京智源、巴塞罗那大学在Kaggle竞赛平台上共同主办，会议核心聚焦计算机视觉技术在大规模细粒度食品分析领域的应用。

首届 LargeFineFoodAI 比赛分为 Recognition 和 Retrieval 两个赛道，根据研讨会评选结果得知，深兰DeepBlueAI团队在Large-ScaleFine-Grained Food Retrieval 赛道中取得了冠军的成绩。

01

赛题介绍

与通用图像识别及检索相比，食品细粒度识别及检索技术难度更大。许多不同类型的食品外观看起来可能非常相近，而同一种类型的食品也可能由于做法不同看起来差异较大，此外光线、拍摄角度、不同的拍摄背景都可能对算法的精度产生影响，即便对于专业人员也较难快速准确的进行辨别。

另一方面，相关技术具有广泛的应用场景和实际的应用价值，例如降低商家端食品图片的审核成本，提升C端食品图片和视频的分发效率等。美团作为国内领先的生活服务平台，准确把握住消费升级趋势给餐饮行业的经营、消费方式带来的革命性变化，率先提出借助计算机视觉算法对食品图像进行细粒度分析，来快速响应和满足商户和用户大量多样的在线食品图像审核、管理、浏览、评价等需求。


本次挑战赛所用数据集来自美团自建数据集"Food2K"，该数据集每一张美食图片均由不同个人，采用不同设备，在不同环境场景下拍摄获取，是难得的可以公正评价算法鲁棒性和效果的图片数据，挑战也非常大。并且所有图像均由美团公司的食品专家进行评估，确保了数据的高质量。相比其他主流食品图像识别数据集，"Food2K"数据集完全人工标注，数据集噪声比例控制在 1% 以内；数据分布与真实场景相符，不平衡现象显著；而且类别粒度更细。以披萨为例，主流数据集（例如Food-101）仅具有披萨类，而"Food2K"进一步将其划分为多种多样的披萨，如鲜虾披萨、榴莲披萨等。


02

评测指标

此外，为了进一步推进食品视觉分析领域的研究与实践，吸引更多行业相关团队关注参与，美团发起了以LargeFineFoodAI为主题的挑战赛。该竞赛将分为两大赛道，其一是“大规模食品图像细粒度识别”，将采用Food1K数据集（包含1500种类别中的1000种食物类别），通过Top-1分类准确率进行算法评估；其二是“大规模食品图像细粒度检索”，将使用同赛道一的训练和验证集，使用剩余的Food500作为测试集，使用MAP@100进行算法评估。


03

团队成绩

团队成绩排名


获奖证书



04

题目特点以及常用方法

图像检问题现有研究比较多，但对于大规模、细粒度的图像检索比较新。图像检索最主要的就是特征提取网络，现有的的特征提取网络主要基于卷积神经网络如ResNet、ResNest和EfficientNet等，无法像transformer一样提取到更加丰富、区分度更高的特征。提取完特征后，在度量两张图片相似度的阶段单纯使用余弦距离来计算精度很低，DeepBlueAI团队使用ReRank的方法将欧式距离和雅可比距离加权来度量query和gallery之间的相似度。


05

比赛数据与数据分析

本次比赛数据集包含超过1000个细粒度食物类别和超过50000张图像的数据集。它包含西餐和中餐，每个类别的图像数量在范围内[153; 1999]，与现有的食物数据集相比，显示出更大的类别不平衡。下图显示了它的本体和数据集的详细统计信息：




从图中可以看出，LargeFoodAI数据集，具有类别多、细粒度和类别不平衡等特点。


06

PIPELINE

如下图所示，DeepBlueAI团队首先采用五折交叉验证的方法对数据进行划分；然后用Swin Transfomrer作为主干网络提取特征；接着用BNNeck模块对所提特征进行归一化操作；最后使用交叉熵和label smooth函数对模型进行优化。




07

实验模型

Swin Transforme主干网络


DeepBlueAI团队基于Swin Transformer主要实验了4种结构，swin_base_224, swin_base_384、swin_large_224和swin_large_384模型。下图为Swin Transfomer的结构图：



Sharpness-AwareMinimization

(SAM)优化器


SAM优化器通过一种新的、有效的方法来同时减小损失值和损失的锐度，在领域内寻找具有均匀的低损失值的参数。该方法通过求解最小-最大优化问题，使得梯度下降可以有效地执行，在各种基准数据集上都改善了模型得泛化能力。下图为SGD优化器和SAM优化器的示意图：



CutMix数据增强


DeepBlueAI团队采用CutMix数据增强的方法来扩充数据的多样性，同时也能提高模型对相似类别数据的区分度。



Rerank_qe


DeepBlueAI团队将所有数据中和query特征最为相似的40个特征的平均值作为新的query特征，用0.25的权值对欧式距离和雅可比距离进行加权。ReRank方式如下图所示：




08

模型融合

模型融合是算法大赛中常用的提高模型精度方法，DeepBlueAI团队最终选择了swinb_224、swinb_384、swinl_224和swinl_384等不同主干和训练尺度生成的特征进行模型融合，最终模型融合的结果为82.813mAP@100，取得了本次比赛第一的成绩。



# 深兰DeepBlueAI团队总结

我们在最初做这个任务的时候，尝试了许多基于CNN的主干网络，如ResNet、ResNeSt和EfficientNet等，但是发现这些主干网络无论分类还是检索的效果都不是很好。在分类任务使用Swin Transformer取得远优于CNN网络的效果之后，就把它移植到检索任务里来，取得了不错的成绩。在进一步的使用ReRank、Ensemble等检索任务常用trick之后，取得了检索任务第一的成绩。


在数据处理方面，我们发现CutMix方法有效的增强了不同类别之间特征的区分度。SAM优化器和LabelSmooth损失函数的采用，也进一步的提高了模型的泛化能力和识别精度。