当音乐遇上IoT—— 疫情推动音乐物联网创新应用

在身体疏远的时候，音乐物联网的应用变得越来越重要。

之前，我们讨论了物联网和表演艺术的融合领域，这种现象被称为音乐物联网或“ IoMusT”。 这项技术仅在COVID-19时代才变得更加普及，在COVID-19时代，从演唱的意义上讲，不再有许多现场音乐活动，例如音乐会。 

以下是我们看到IoMusT出现在实际应用程序中的几种方法。

 

基于网络的协作

通过网络连接的音乐表演使音乐家既可以到达同一地点，也可以到达偏远的观众。

 

IoMusT网络框图。 

 

一个示例是称为ReacTable的网络音乐表演（NMP）系统，该系统 由桌子的可触摸界面组成，该界面可以跟踪物体在表面上的移动方式，以随后控制音乐输出。该界面允许位于不同位置的音乐家与桌子上的物品进行协作，并在同一场音乐会上进行实时表演。

 

ReacTable接口。图片由ReacTable提供

 

联网的表演还允许各种事物之间的连接，例如智能乐器和可穿戴设备，从而为音乐家和听众成员提供更全面的服务和音乐合作。联网音乐系统可以通过局域网（LAN），广域网（WAN）或无线传感器网络（WSN）进行。  

 

互动表演

交互式表演通常由配备传感器的现场表演者和音乐家组成，他们可以使用身体手势实时控制灯光等媒体元素。数字乐器是现场表演的关键部分，它映射手势以控制乐器的信号。

创作歌手Imogen Heap是互动音乐表演技术的先驱。她以开发MI-MU手套而闻名，这使她能够通过手和手臂的动作将听觉元素引入到她的表演中。

 

MI-MU手套依靠嵌入在织物中的运动传感器。图片由MI-MU提供

 

《华尔街日报》（Wall Street Journal）作家约翰·于根森（John Jurgensen）解释说：“堆女士并没有像许多电子艺术家那样在舞台上摆弄笔记本电脑，而是通过WiFi连接的手套和自定义动作来控制自己的装备，例如张开双臂以增加回声她的声音或捏手指以使合成器音调变亮。”

 

虚拟和增强现实音乐会

VR和AR界面（包括头戴式显示器）可以使用户沉浸在多感官的音乐体验中。最近，这甚至扩展到了将世界各地的人们联系起来的远程音乐会和合作。  

这些虚拟环境有时包括用户自己可以演奏的许多虚拟乐器。身临其境的音乐表演包括3D小部件和图形元素，允许用户控制和可视化音乐。例如，  Melody VR 是一款应用程序，可让您“从沙发上观看音乐会”。

 

Melody VR是一款允许用户使用VR技术体验现场演唱会表演的应用程序。图片由Melody VR提供

 

增强现实通过将现场表演舞台与充满各种数字元素和控件以控制音乐过程的虚拟环境相叠加，从而增强了现场表演。

Coachella是世界上最大的音乐节之一，以使用这种沉浸式技术而闻名。 2017年，音乐会筹划者为节庆者发布了AR / VR应用程序。该应用程序允许参与者使用粉丝的“ Welcome Box”号码作为跟踪标记来访问AR体验。 

 

音乐触觉可穿戴设备

随着物联网技术变得越来越复杂，最近几年可穿戴设备出现了巨大的增长。现在，有许多智能设备可以用作可穿戴设备，它们可以感应，存储，分析数据并将其发送回应用程序。

IoMusT可用的可穿戴设备称为音乐触觉可穿戴设备。

 

该臂章原型是触觉可穿戴设备的示例，该设备可让一组音乐表演者在即兴创作过程中以非语言方式交换音乐指导。屏幕截图由Internet of Musical Things提供

 

这些设备包括触觉仿真，手势跟踪和无线连接。音乐触觉设备促进了位于同一位置和偏远位置的音乐家之间的通信层的增加。

 

通过技术吸引观众

近年来，通过各种互联技术积极吸引观众的趋势已经增加。这称为技术介导的受众参与（TMAP）。在TMAP表演中，观众可以控制通过智能手机在音乐会中传递的情绪和视觉内容。

 

一场开放交响乐表演。图片由 Mathieu Barthet提供

 

这种机制的示例包括被称为“情感驱动的互动音乐表演”的Mood Conductor和Open Symphony，后者是传感器和应用程序的组合，可让听众影响现场环境中播放的音乐。

 

连接音乐爱好者无处不在

尽管工程师们在IoT领域不断创新，但在物理聚会（包括音乐家排练，音乐会和其他音乐聚会）受到限制的时候，IoMusT变得越来越重要。