情感感知音乐的方式，精准把控用户喜爱音乐类型，体验音乐的魅力

由于音乐流媒体和推荐服务，音乐收听在过去十年中急剧增加。虽然它们提供基于文本的搜索功能并提供具有显着实用性的推荐列表，但它们的典型交互模式是单维的，即它们提供连续曲目的列表，用户通常按顺序检查这些曲目。

此类系统的用户体验受到认知偏差（例如，位置偏差，人类倾向于更多地关注有序列表的第一个位置）以及算法偏差（例如，流行偏差，推荐系统倾向于过度代表流行项目）的严重影响。

这可能会通过禁用用户找到要欣赏的新音乐来引起用户的不满。鉴于这些系统和偏见，我们提出了一个名为EMOMTB的智能视听音乐探索系统。

它允许用户以自由非线性的方式浏览整个给定集合。导航由一组个性化的情感感知建议辅助，这些建议可作为探索体验的起点。EMOMTB采用了城市的隐喻，其中每条轨道（可视化为彩色立方体）代表建筑物的一层楼。

高度相似的轨道位于同一栋大楼内;中等相似的邻域形成主要对应于流派的邻域。位于不同社区之间的曲目创造了流派之间的逐渐过渡。用户可以使用智能手机作为控制设备来导航这座音乐城市。

他们可以探索知名音乐区或决定离开他们的舒适区。此外，EmoMTB集成了一个情感感知音乐推荐系统，该系统根据用户的自我识别情感或EMOMTB的Twitter频道中表达的集体情感，重新排列建议的探索起点列表。

EMOMTB的评估以三种方式进行：通过量化城市建设基础聚类的同质性，通过测量情绪预测器的准确性，以及通过开展由开放性问题组成的基于网络的调查，以获得用户的定性反馈。

听音乐是人类生活的重要组成部分。在过去的十年中，数字音乐流媒体平台已成为音乐消费的主要方式。Spotify，Deezer或Amazon Music等服务提供商为用户提供数千万份录音的访问权限。

为了帮助用户管理如此庞大的收藏并识别适合他们口味的音乐，流媒体平台通常提供基于文本的搜索和推荐功能。前者提供了一种有效的方法来查找用户已知名称的特定艺术家、专辑或曲目。

后者推荐为音乐听众量身定制的曲目列表。然而，这些列表受到其单维结构的限制，尽管主要的音乐推荐平台最近引入了诸如货架，频道或轮播之类的机制，以提供额外的再次线性组织的音乐曲目列表。

虽然列表表示形式是呈现检索和建议结果的有效和广泛采用的方式，但它们存在许多缺点。

由于自然认知偏差，用户只能有效地与有限长度的列表进行交互，即使使用此类列表，他们也倾向于更多地关注位于第一个位置的项目。

这与推荐算法中经常存在的偏差相结合，导致相当一部分潜在有价值的项目从未呈现给用户。

超越这种与音乐收藏互动的单维线性方式的一种可能性是基于聚类的视听界面。它们使用户能够以非线性方式探索大型音乐收藏，利用视觉作为人类感官和最大的信息带宽。

本文介绍了这样一种新颖的视听用户界面，我们称之为情感感知音乐塔块（EMOMTB）。EMOMTB采用城市的隐喻来允许导航大型音乐收藏。这座城市由许多建筑物（塔楼）组成，每个建筑物（塔楼）都由几个立方体组成。

每个立方体代表一个音乐曲目。描述了界面的一般外观。城市的布局，即街区和建筑物的位置，由底层降维算法确定，该算法识别具有相似音频属性和流派的轨道集群。

因此，在同一栋楼里可以找到高度相似的歌曲。附近的建筑物形成了某种类型的区域。立方体被着色以区分其流派。

采用这种策略，EMOMTB 使用户能够在他们的舒适区内（停留在他们喜欢的流派区域）或之外（离开知名的流派社区）探索音乐收藏。用户可以使用智能手机作为控制设备在城市中导航。

此外，他们可能会根据自己的音乐偏好请求推荐，并可以直接在景观中探索它们。除了这些仅根据其音乐品味进行个性化的推荐外，还会向用户提供符合其情绪状态的推荐曲目。

为此，EMOMTB 采用情感识别技术，根据从音乐平台 Last.fm 收集的用户生成标签，将每首曲目分为四个情感类别之一。

基于这种分类，推荐列表然后根据用户的自我识别情绪状态或从发布到EMOMTB的Twitter频道中预测的情绪进行定制。

手头的工作被嵌入到智能音乐探索界面、音乐情感识别和情感感知音乐推荐等研究领域。

促进音乐收藏的交互式视听探索的现有用户界面通常会为可发现的音乐作品创建空间安排。早期的系统包括Music Islands ，nepTune和deepTune。

这些界面根据其音频特征组织集合的音乐轨道，其中相似的轨道聚集在一起形成从海洋（稀疏区域）升起的“岛屿”（密集区域），采用地理景观的隐喻。

以类似的方式，Music Galaxy 将采用宇宙隐喻的音乐收藏可视化。代表音乐曲目的星星的位置由根据音频特征计算的距离指标确定。星星也可以重新排列并适应用户的口味。

天文馆的比喻用于Songrium，这是一个基于网络的应用程序，用于促进视频流媒体平台上音乐的交互式探索。Songrium应用相似性保持投影技术，根据音频和网络内容将歌曲映射到星系。

它为用户提供了银河系的各种视角，使他们能够探索衍生的音乐作品。最近，Shen等人提出了MusicLatentVIS工具，一种调查和探索中国传统音乐收藏的工具。

为此，通过深度学习算法（特别是自动编码器）学习音乐特征表示，其潜在表示通过应用t-student分布随机邻域嵌入（t-SNE）投射到二维空间中。

在生成的交互式界面中，用户可以调出其他信息可视化，例如平行坐标或声学相似性矩阵的可视化。Schedl等人提出了一个利用音频特征和流派数据的界面，以及t-SNE数据投影，以创建用户可以导航的天际线景观。

景观的不同部分可以根据音频描述符（例如能量）或流派的值进行着色。还有一些包含情感信息的音乐探索界面。

例如，Vad等人从他们从音频中提取的歌曲的情感相关描述符中创建基于t-SNE的可视化。用户可以与可视化交互，并通过在二维t-SNE投影中绘制线条来创建播放列表。

梁和威廉森提出了一个视听界面，以发现基于情感的新音乐流派。它们使用通过Spotify的音频特征和分析API检索的能量和价特征，并沿着这两个特征表示等高线图可视化中的轨迹，用户可以与之交互。

Knees et al.对智能音乐发现界面进行了更全面的调查。与上述作品相比，我们在下面重点介绍EMOMTB的差异。

（1）EMOMTB创造了一个大型景观，用户可以访问，其中包括近五十万首曲目。报告了EMOMTB与其他类似接口在音乐收藏大小方面的比较。

（2）由于EMOMTB直接连接到流媒体服务Spotify来播放选定的曲目，因此它不需要在本地提供大型音乐收藏，从而将自己与大多数现有界面区分开来。

（3）EMOMTB的景观是通过考虑音频特征和流派信息的聚类方法生成的。这允许它创建一个连续的音乐流派转换的空间，从而更容易在用户熟悉的流派区域内探索新音乐，在他们的舒适区徘徊。

或者在不熟悉流派地图的新区域冒险，从而沿着语义上有意义的流派连续体离开他们的舒适区。

相比之下，过去的接口大多只考虑音频功能。EMOMTB通过提供与 Spotify 的连接器来提供个性化的歌曲推荐列表，使其用户能够将他们的音乐品味（配置文件）定位并嵌入到大型音乐目录中，并前往与景观中相应歌曲对应的块。

这不仅使用户能够收听他们的个性化曲目推荐，还可以探索附近的类似曲目。现有的界面，除了允许用户在可视化中移动之外，最多提供基于文本的搜索来查找景观中的特定轨迹。

在推荐列表的个性化过程中考虑听众的情绪，并将其整合到可视化中。除此之外，其他视听界面都没有这方面的内容，其中情绪信息调整了推荐。

用户使用类似游戏手柄的控制器而不是常用的键盘和鼠标设置通过其个人智能手机导航EMOMTB的可视化。 唯一的例外是Schedl等人和Knees等人，它们允许使用游戏手柄控制器。

对于许多用户，尤其是热爱智能手机的个人来说，这代表了一种更自然的与应用程序交互的方式。

总结和影响。虽然现代音乐推荐系统通过采用算法驱动的方法取得了显着的结果，但由于他们在结果呈现方面的内部偏见和局限性（通过诉诸列表作为显示结果的手段），它们可能经常让用户不满意。

在这项工作中，我们让用户重新进入循环，让他们增强他们的聆听体验，培养他们的好奇心和直觉。

为此，我们提出了EMOMTB，一个身临其境的视听界面，将算法推荐的精确性与免费浏览的偶然性和兴奋性整合到一个体验中。

系统的推荐部分允许用户快速找到他们的音乐之旅的起点，而探索部分则帮助他们摆脱过滤气泡，遇到他们无法找到的新乐趣曲目。近五十万首曲目的整个音乐收藏以城市般的景观呈现在用户面前。

每两个轨道的接近对应于它们在流派和音频特征方面的相似性。这创造了一个连续的音乐流派转换的空间。

给定许多初始推荐作为地标，用户能够立即前往其中一个并开始探索附近的曲目，顺利过渡到相关的音乐风格或流派。地标是亲自推荐给每个用户的，并根据他们的情绪状态重新排名。

通过提供这种出色的功能组合，我们相信EMOMTB有可能影响下一代音乐播放器。

虽然仍然是一个原型，但EMOMTB为用户提供新体验和遭遇的能力，特别是与他们的音乐知识和品味的多样化有关，可能会吸引音乐爱好者并沉迷于偶尔的听众。

我们评估了EMOMTB的各个方面，特别是虚拟城市中附近轨道的类型同质性以及情感识别器的性能。

我们还通过基于网络的体验后问卷进行了一项定性用户研究，其中尝试过EMOMTB的媒体艺术节的参与者提供了宝贵的反馈。

局限性即使EMOMTB在2021年Ars Electronica音乐节上收到了数百人的高度积极的反馈，也很少有人指出限制。首先，由于技术和法律原因，当前版本要求其用户拥有Spotify帐户。

其次，情绪识别器的性能有限，情绪感知到界面中的集成不是很复杂。第三，用户需要两个屏幕才能享受完整的体验，即一个小屏幕（通常是智能手机）用于与大屏幕上显示的风景进行交互，以确保身临其境的音乐探索体验。

今后的工作除了解决上述限制之外，我们还考虑了进一步研究和开发EMOMTB的其他方向。首先，它的交互功能可以扩展，允许用户修改景观，甚至创建自己的个人城市。

其次，可以通过采用额外的隐喻来使可视化更加生动，例如，代表策划或自动创建的播放列表的电车轨道。第三，单用户模式可以增强为多用户体验，不同的头像代表不同的用户。

因此，探索音乐收藏可以变成真正的协作体验。最后，由于流行度偏差是当今音乐推荐引擎的一个主要缺点。

而 EMOMTB 通过授予所有曲目平等的曝光率来提供补救措施（无论其受欢迎程度如何，它们都包含在可视化中），因此应该研究更多研究如何通过智能音乐发现界面来缓解此类偏见。