成果展示
ACMMM2024-HMAI
论文投稿
【投稿会议】计算机视觉、多媒体顶会 ACMMM 2024
【论文标题】“Special Relativity” of Image Aesthetics Assessment: a Preliminary Empirical Perspective
【作者次序】第一作者
介绍
图像美学评估 （IAA） 主要从以用户为中心的角度检查图像质量， 可用于指导各种应用，包括图像捕获、推荐和增强。 IAA的基本问题围绕着图像美学的量化。 现有方法依赖于分配标量（或分布）来表示基于传统实践的美学价值， 这将该标量限制在特定范围内并人为地标记它。 然而，传统方法很少纳入可解释性研究，特别是缺乏对以下三个基本问题的系统回应：
1）审美品质可以量化吗？ 2）量化美学的本质是什么？ 3）如何准确量化美学？
在本文中，我们提出了一个称为IAA的“狭义相对论”（SR-IAA）的定律， 以解决上述核心问题。我们开发了一个整体和多属性的IAA框架（HMAI）， 该框架在现有数据集中作为SR-IAA的初步验证，并实现了最先进的（SOTA）性能。
IJCAI2022-TANet
论文发表
【投稿会议】人工智能顶会 IJCAI 2022
【论文标题】Rethinking Image Aesthetics Assessment: Models, Datasets and Benchmarks
【开源地址】Github → (opens in a new tab)
【作者次序】第三作者
介绍
数据集
首个面向多主题场景的美学评估数据集、算法和benchmark。
以主题为核心，以开源为理念，我们建立了一个包含6万6千张左右图像的数据集， 可用于图像美学评估。建立这样一个数据集的初衷， 源自于组内同学在标注图像美感时的困惑， 我们如何去评价一朵花和一个人之间美感的区别呢？ 显然，不同主题的图片，通常包含了不同的评分规则， 标注人员在标注图像的过程中，隐性的会考虑到当前图像的主题， 但现有的数据集，通常将所有类别的图像混合在一起进行标注， 这可能会引入大量的噪声。因此，我们通过半年多的时间， 收集，整理和标注了一批图片，包含了47种常见的主题， 每个主题包含1千张以上的图像，各个主题的图像分开标注， 每张图像至少被1200以上的人浏览和评价过，计算出平均分作为分数。
模型
我们提出了一个以主题为核心的网络架构TANet，在搭建这个网络的过程中， 希望其能提取出当前图像的主题用于进一步的美感评估， 因此将一个百万级别的数据集Place用来预训练我们其中的一个分支。 Place数据集包含多数现实场景，虽然场景无法直接等效于主题，但据我们所知， 这是目前最好的能进行主题感知的方法。值得注意的是， 我们发现经过预训练的分支会出现注意力弥散现象， 这会导致费尽力气预训练获得的主题感知能力丧失， 这一点在此前用ImageNet进行预训练的工作中也有体现， 因此我们会将该分支直接冻结。为了让网络能够自适应的利用主题信息， 融合的权重是其学习得到的； 为了能够让其获得图像中不同区域色彩的分布及关系信息， 我们专门加了一个类似自注意力机制的分支。
