通过检查一个人的大脑活动，人工智能(AI)可以制作出一首与这个人最近听到的音乐的类型、节奏、情绪和乐器相匹配的歌曲。
科学家们之前已经从大脑活动中“重建”了其他声音，比如人类的语言、鸟的歌声和马的呜呜声。然而，很少有研究试图从大脑信号中重现音乐。
现在，研究人员已经建立了一个基于人工智能的管道，称为Brain2Music，它利用大脑成像数据来生成类似于人们在扫描大脑时正在听的歌曲的短片段的音乐。他们在7月20日发表在预印本数据库arXiv上的一篇论文中描述了这一管道，该论文尚未经过同行评议。
科学家们使用了先前通过功能磁共振成像(fMRI)技术收集的脑部扫描，该技术可以跟踪富氧血液流向大脑的情况，以了解哪些区域最活跃。扫描结果是在五名参与者听15秒的音乐片段时收集的，这些音乐片段涵盖了蓝调、古典、乡村、迪斯科、嘻哈、爵士和流行等流派。
利用部分脑成像数据和歌曲片段，研究人员首先训练了一个人工智能程序，以找到音乐特征之间的联系，包括使用的乐器和类型、节奏和情绪，以及参与者的大脑信号。研究人员用快乐、悲伤、温柔、兴奋、愤怒或恐惧等标签来定义音乐的情绪。
人工智能是为每个人定制的，在他们独特的大脑活动模式和各种音乐元素之间建立联系。
在经过精选数据的训练后，人工智能可以将剩余的、以前看不见的大脑成像数据转换成代表原始歌曲片段音乐元素的形式。然后，研究人员将这些信息输入谷歌此前开发的另一个人工智能模型MusicLM。MusicLM最初是为了从文本描述中生成音乐而开发的，比如“一段平静的小提琴旋律，后面是一段扭曲的吉他即兴段”。
MusicLM利用这些信息生成可以在线收听的音乐片段，并相当准确地模仿了原始歌曲片段——尽管人工智能捕捉到了原始曲调的一些特征，比其他特征要好得多。
“就重建音乐和原始音乐的情绪而言，一致性约为60%，”该研究的合著者、谷歌瑞士软件工程师蒂莫·登克告诉Live Science。在重构音乐和原始音乐的类型和乐器匹配明显比预期的机会更多。在所有类型中，人工智能可以最准确地区分古典音乐。
Denk说:“这种方法在我们评估的五个对象中都非常可靠。”“如果你找一个新人，为他们训练一个模型，很可能也会奏效。”
最终，这项工作的目的是阐明大脑如何处理音乐，合著者Yu Takagi说，他是日本大阪大学计算神经科学和人工智能的助理教授。
不出所料，研究小组发现，听音乐激活了初级听觉皮层的大脑区域，在那里，耳朵发出的信号被解读为声音。高木说，大脑的另一个区域，被称为外侧前额叶皮层，似乎对处理歌曲的意思很重要，但这需要进一步的研究来证实。大脑的这个区域也被认为与计划和解决问题有关。
有趣的是，过去的一项研究发现，当自由式说唱歌手即兴创作时，前额叶皮层不同部位的活动会发生显著变化。
高木补充说，未来的研究可以探索大脑如何处理不同类型或情绪的音乐。该团队还希望探索人工智能是否可以重建人们只是在脑海中想象而不是实际听的音乐。
《生活科学》通讯
通过注册我们的必需品通讯来了解最新的科学新闻。
