How to create visuals for music performances?
一些现场演出参考案例
如果您是一个电子乐迷，您可能已经注意到，现在越来越多的艺术家和音乐节开始关注舞台装饰。它通常由固定的布景元素组成，有时还会混合使用视频投影和LED屏幕。 Tomorrowland 或 Dour Festival 等活动就是很好的例子。至于艺术家，其中最著名的像 Amon Tobin, Aphex Twin 或 Eric Prydz。他们是在大型舞台上使用音乐响应式视觉效果的先驱。
然而，这种装置的实施需要很长时间的设计和一个专门的创意团队的合作。要处理的图像的高分辨率以及它们对音乐的反应能力都是需要解决的复杂问题。为了保证现场演出中声音和图像的完美同步，延迟时间必须尽可能短。此外，经常需要使用几台联网的计算机，并使它们相互同步。除了创造性的技能，还有真正的技术知识。所有需要掌握的操作都可以归为VJ技术，可以细分为计算机图形、计算机编程、音视频信号处理、现场录音等技术……
In this article, the goal is to demonstrate that creating responsive visuals for small to medium scale stage performances is actually not as out of reach as one might think. With accessible software and affordable hardware, it is quite possible to build a live audiovisual performance without dedicating weeks of work to it. To illustrate this point, artists Control Random, Neurotypique, Marin Scart and Jean-Michel Light shared the conception stages of their latest performance in a limestone quarry.
现场视觉效果的焦点：FPS和延迟。
在为现场演出制作音乐响应式视觉效果时，两个焦点是 视觉动画的流畅性和音乐 和 视频之间的延迟.
图像的生成速率 至少要达到每秒24帧 ，这是绝对必要的。这个数据被称为帧率，用 FPS (每秒帧数)表示。如果低于这个值，比如每秒12帧，所有动画都会显得卡顿。在快速动画的情况下，通常有必要将目标设定在24 FPS以上： 30甚至60 FPS.
例如，在动画非常快的电子游戏中， 玩家更倾向于帧率而不是分辨率，以免错过任何动作：在全高清下60 FPS的体验比在4K下30 FPS的体验更好。因此，在更好的分辨率和更好的FPS之间存在权衡。
计算机用于资源密集型处理的次数越多，例如视觉效果或同时播放多个高清视频，FPS数值就越容易下降。通常可以通过显卡或所用软件的设置来显示FPS数值。然后由您来找到视觉复杂性和FPS限制之间的最佳平衡，您不应该在现场演出中掉链子。
至于延迟，它是音乐及图像之间的延迟。例如，对于音乐中的每一个“节拍”，您想要关联一个音频响应式扭曲的视觉效果。一般来说，如果两者之间的延迟小于100毫秒，那么对于人类就是不易于察觉的。这个数值没有绝对的规则，但大于100毫秒的延迟将被认为是可察觉的。 FPS越低，音乐响应性视觉效果的延迟就越长。
在音乐会或DJ情况下，当音乐是现场播放而不是预先录制的时候，相对于图像而言，它将永远占据主导地位。不可能为了配合视觉动画而放慢节奏。因此，图像必须适应音乐，以免出现不同步的情况。要么降低图像的效果，以免减慢计算机的速度，要么使用更强大的机型。
许多视频主持人(vj)使用的一种常见技术是将系统分为两部分：播放预渲染的视频剪辑，混合在一起，然后与现场应用的音乐响应式或非响应式的视觉效果结合在一起。然后有必要使用的所有视频剪辑都是相同的FPS，以便VJ可以根据播放的音乐调整其速度。
一个使用音乐反应性视觉效果的现场演出的示例
"(《世界人权宣言》) 石矿投影 表演旨在探索声音与图像之间的交互。这是一场实时视听表演，音乐和图像都是现场创作的。
Control Random、Maison Sagan和Marin Scart都被这种不可能重复两次的想法所感动。他们的共同愿望是创造一个超越每个艺术家的经验和专业知识的多学科项目。意识到被沉积岩包围，他们想要质疑这种材料的过去、现在和未来，以及它所经历的不同状态，并将自己投射到它的未来。在这个由5部分组成的旅程中，音乐反应性视觉效果通过音频和CV信息与声音联系起来，在图像创作软件中驱动生成补丁。
本次现场演出的艺术家们
音乐是由Control Random在现场使用Eurorack模块化合成器系统创建。他的作品大多是现场演奏的，可以在他的 Instagram 和 Bandcamp 个人资料中找到它的作品。
马林-斯卡特 和 Neurotypique 从 萨根之家 创建了一个图像生成系统，该系统由基于模块化合成器的模拟部分和带有 TouchDesigner 和HeavyM软件的计算机部分组成。
最后， Jean-Michel Light 添加了DMX控制的灯光，以便更好地强化采石场的空间感。
在实践中：用于现场演出视觉效果的解决方案
为了创造与音乐节奏一致的视觉效果，Neurotypique和Marin Scart将系统的不同元素连接在一起。Control Random的模块化合成器是由振荡器产生声波的电子模拟仪器。产生的各种信号被发送到Neurotypic的模块，然后这些模块执行滤波和开/关操作。然后，模拟信号被转换成数字信号，由Marin的计算机进行翻译。TouchDesigner可以生成对音乐反应的视觉效果，然后用HeavyM应用的着色器进行修改，最终用MIDI乐器进行控制。最后，视频信号被发送到第二台计算机，它将执行投影，即视觉效果在房间墙壁上的定位。
现场演出系统概述
声源：模块化合成器
它由一个个独立的模块构成，其中每个模块都完成一个基本功能：振荡器、滤波器、效果……组合的可能性是无限的，让艺术家们可以制作出自己独特的音乐。Control Random和Neurotypique使用了Eurorack系统——模块化合成器的标准格式。所有模块都在 Modular Grid 网站上列出。总共有11000多款模块！
当然，无需使用模块化合成器来创造与音乐同步的视觉效果。您可以使用任何音频来源：DJ混音器、计算机插孔，甚至麦克风。
计算机
为了保持帧率接近60 FPS，避免在现场演出中出现延迟问题，设计师选择使用两台计算机。这种配置可以更好地分配处理任务，并在机器之间划分工作负荷。这种解决方案的其他优点包括，它允许成对工作，而不会相互干扰，并且在表演设备调试期间更容易发现问题。
视觉效果计算机
接收音频信息的计算机是一台装有Windows 10、英特尔i7处理器、英伟达Geforce GTX 1650显卡和16GB RAM的塔式机。
Touchdesigner和HeavyM在这台计算机上运行。
图像扭曲计算机
用于将图像匹配到空间中的视频投影计算机，是一台装有Windows 10、英特尔i5处理器、英伟达Geforce GTX 1050显卡和8GB RAM的笔记本。
这台计算机上只运行HeavyM。
想要了解更多关于视频投影计算机的提示，请查看 专门的计算机文章.
投影机
使用的投影机是Optoma WU630，具有 6000流明、全高清、短焦距光学比0.9等参数。
关于选择视频投影机的更多建议，请参考视频投影机的 专门文章 。
LED灯
用于照亮两侧隧道的灯是电池供电的 Astera Titan Tube 。
响应式视听效果软件
Touchdesigner
Neurotypique和Marin Scart在Touchdesigner软件上编写了自己的作曲程序。
Touchdesigner由 Derivative开发，它允许使用节点编程系统生成实时视觉效果。Touchdesigner的优点是无限可能的组合，与图形管线相关联，完美地适应现场演出。不过，掌握它需要一些时间，才能达到您想要的效果。
HeavyM
HeavyM 由Digital Essence开发，它允许您点击几下即可创建音乐响应效果。在石矿投影项目中，HeavyM在两个层面上得到了使用。首先是在Touchdesigner视频输出上使用处理效果着色器。第二个是对整体图像进行扭曲处理，以适应投影空间。
HeavyM直接集成了音频分析功能，使您能够对播放的音乐做出视觉效果的反应。例如，您所要做的就是用插孔电缆将计算机连接到音频源。您也可以使用外置声卡。
表演组件之间的通信
为了生成音乐响应式视觉效果，各种硬件和软件之间必须交换信息。
模块化合成器通过一个特定的模块发送音频信息： ES-9 Expert Sleepers。这是一个模数转换器，将电信号转换成可以被Touchdesigner理解的数字化数据。无需这种类型的硬件，因为HeavyM直接集成了音频分析功能，让您可以使视觉效果对播放的音乐做出反应。例如，您所要做的就是用插孔电缆将计算机连接到音频源。您也可以使用外置声卡。
一旦接收到音乐信息，Touchdesigner就会生成视觉动画，并通过 Spout 链接将它们发送到HeavyM。这是一项可以让您将一个软件的视频输出发送到另一个软件的技术。HeavyM接收视频，并使用MIDI控制器，Marin Scart应用额外的视觉效果。然后使用 NDI技术将HeavyM的输出发送到第二台计算机上的另一个HeavyM实例。这使得视频流能够以最小的延迟通过网络传输。最后，HeavyM修改视频的几何形状，将其发送到视频投影机，在现场演出空间中显示。
为了完成视频投影，在侧面添加了LED灯。它们与投影的颜色相匹配。灯的控制信号是由Touchdesigner通过Wifi网络发送的DMX信息。
舞台交给您了！
为现场演出创造音乐响应式视觉效果需要一些技术知识，而这些知识在互联网上很容易找到。另一方面，从成本和理解的角度来看，所需的硬件变得越来越容易获得。石矿投影项目一开始可能看起来很复杂，但它的优点是提供了可用工具和技术。可以考虑一个简单得多的系统，将其简化为一台计算机和扬声器。许多视听表演者满足于根据他们听到的音乐“凭耳”进行操作，而不必创建音视频链接。这样做的结果有时比让计算机自己做决定的效果更好。
CN 
EN 
FR 
ES 
DE 
IT 
PT 
KR 
JA 
RU