Использование шейдеров

Коротко

Шейдеры — это небольшие графические программы, работающие на графическом процессоре (GPU) и создающие генеративные визуальные эффекты в режиме реального времени. В видеомэппинге они обеспечивают бесконечное разнообразие динамических текстур без необходимости использования объёмных видеофайлов. С помощью таких программ, как HeavyM, вы можете легко импортировать стандартные форматы, например ISF, и управлять генеративными визуальными эффектами, причём для этого совершенно не требуется программирования.

Что такое шейдер?

Шейдер — это тип компьютерной программы, специально разработанной для выполнения на графическом процессоре (GPU). Термин ‘шейдер’ происходит от слова ‘shade’ (тень), поскольку одним из первых применений шейдеров было моделирование теней и отражений в 3D-графике. Однако сегодня, шейдеры используются для решения самых разнообразных задач графической обработки, от наложения текстур и цветов до создания сложных спецэффектов.

Шейдеры работают на очень низком уровне, то есть они обладают прямым и точным контролем над отдельными пикселями, из которых состоит изображение или видео. Они могут очень быстро обрабатывать данные изображения с минимальным использованием ресурсов, что делает их особенно полезно для графических приложений, работающих в режиме реального времени, такие как видеоигры, виртуальная реальность и видеомэппинг.

Различные типы шейдеров

Существуют различные типы шейдеров, в том числе вершинные шейдеры, которые обрабатывают точки 3D-данных (вершины), геометрические шейдеры, которые генерируют новые фигуры из этих точек, и фрагментные шейдеры (также называемые пиксельными шейдерами), которые определяют окончательный цвет каждого пикселя на экране. Шейдеры, как правило, пишутся на специализированных языках программирования, таких как GLSL (язык шейдеров OpenGL) или HLSL (язык шейдеров высокого уровня) для DirectX.

Пиксельные шейдеры или шейдеры фрагментов

Фрагментный шейдер, или пиксельный шейдер, — это шейдер, предназначенный для вычисления цвета каждого пикселя в отдельности. Функция принимает в качестве входных данных информацию о каждом пикселе изображения (координаты, текстурные координаты, цвет) и возвращает его цвет.

Именно эти шейдеры вам будет наиболее интересно использовать с HeavyM. Обычно они .FRAG или .FS — в случае формата ISF. Формат ISF определяет стандарт для фрагментов GLSL шейдеры, что облегчает их интерпретацию интерактивными приложениями.

Вершинные шейдеры

Вершинные шейдеры используются для преобразования вершин в пиксели.

Это .Файлы .VS которые иногда сопровождают пиксельный шейдер, имеют такое же название и должны находиться в той же папке.

Шейдеры с эффектом «HeavyM Shape»

При нажатии на красные значки в правой части интерфейса HeavyM вы получаете доступ к категориям эффектов, которые автоматически адаптируются к нарисованным фигурам. Эти эффекты привязаны к группам на панели слоёв слева. Все фигуры в пределах одной группы имеют одинаковый внешний вид. Чтобы применить разные эффекты к разным фигурам, необходимо создать дополнительные группы и добавить в них фигуры.

В настоящее время добавлять или изменять код существующих шейдеров эффектов в этой категории невозможно.

Шейдеры для генерации изображений

Вы можете добавить шейдеры генерации изображений в качестве источников на панели, доступ к которой осуществляется через белый значок, расположенный на вертикальной панели инструментов справа. Для отображения этих шейдеров необходимо создать плеер. Затем свяжите источник с плеером, щелкнув по значку в форме мишени. У шейдеров генерации изображений нет продолжительности по умолчанию, поскольку они представляют собой программы, выполняющиеся в цикле. Однако вы можете настроить продолжительность отображения источника.

В настоящее время добавлять или изменять код существующих шейдеров эффектов в этой категории невозможно.

Шейдеры для генерации изображений

Вы можете добавить шейдеры генерации изображений в качестве источников на панели, доступ к которой осуществляется через белый значок, расположенный на вертикальной панели инструментов справа. Для отображения этих шейдеров необходимо создать плеер. Затем свяжите источник с плеером, щелкнув по значку в форме мишени. У шейдеров генерации изображений нет продолжительности по умолчанию, поскольку они представляют собой программы, выполняющиеся в цикле. Однако вы можете настроить продолжительность отображения источника.

Обработка шейдеров на игроках

У вас есть возможность применить эффекты обработки изображения к проигрывателю. Для этого выберите проигрыватель и добавьте эффекты на панели «Свойства» в левом нижнем углу с помощью кнопки «+». Эффекты добавляются последовательно. Каждый проигрыватель работает независимо, поэтому исходные данные и эффекты обработки будут различаться между проигрывателями, даже если они находятся в одной группе.

Импорт или создание шейдеров

Где найти шейдеры?

Для использования шейдеров в HeavyM не нужно уметь программировать. Помимо библиотеки, уже входящей в состав программного обеспечения, Существуют платформы, на которых можно найти новые шейдеры не прибегая к их самостоятельному созданию. Сообщество разработчиков шейдеров стремительно растет, и Часто вы можете использовать публикуемые ими материалы в некоммерческих проектах.

Чтобы найти шейдеры с расширением .FS: https://www.interactiveshaderformat.com/

Чтобы найти шейдеры .FRAG: http://glslsandbox.com/ и https://www.shadertoy.com/

Примечание: файлы с расширением .FRAG не распознаются в программе HeavyM. Их необходимо преобразовать в формат .ISF; ниже приведен способ, как это сделать.

Обязательно ознакомьтесь с правами на использование, указанными в лицензии, которая, как правило, находится в начале кода шейдера. Если конкретных указаний нет, по умолчанию действуют авторские права, поэтому мы настоятельно рекомендуем проконсультироваться с автором, если вы намерены использовать шейдер в коммерческих целях.

Импорт шейдеров

Как уже упоминалось, В HeavyM существует две основные категории шейдеров: шейдеры генерации и шейдеры обработки. HeavyM позволяет легко комбинировать шейдеры из этих двух категорий. В HeavyM стандартные шейдеры доступны на вкладках «Библиотека» каждого окна выбора шейдеров. Все эти шейдеры имеют расширение .FS и, следовательно, соответствуют стандарту ISF. Чтобы импортировать собственные шейдеры на вкладку «Мои шейдеры», они должны соответствовать данному стандарту. Таким образом, параметры ваших шейдеров можно легко изменять в интерфейсе HeavyM.

Хотите импортировать шейдеры в других форматах в HeavyM? С помощью этих инструментов конвертировать шейдеры очень просто:

• https://magicmusicvisuals.com/utils/shadertoy_to_isf.php – Бета-версия
• Программа ISF Editor (только для Mac) с использованием функций “Импорт из GLSL Sandbox” и “Импорт из Shadertoy”

Разработка собственных шейдеров

Чтобы создать собственные шейдеры, мы рекомендуем использовать формат ISF напрямую, чтобы обеспечить совместимость с как можно большим количеством приложений. Цель этой статьи не заключается в том, чтобы научить программированию на GLSL — языке, используемом в формате ISF. Для этого мы рекомендуем ознакомиться со следующими очень подробными ресурсами:

• https://thebookofshaders.com/ для GLSL
• https://docs.isf.video/ для ISF

Однако для начала, Не стесняйтесь заходить на сайт ISF и вносить изменения в существующие шейдеры. Этот интерактивный сайт позволяет в режиме реального времени наблюдать за изменениями, вносимыми в шейдер. Также можно начать работу с базового шаблона.

Главный недостаток создания и изменения шейдеров заключается в отсутствии обратной связи об ошибках. При наличии проблем в коде шейдер может не сработать или не отобразить ничего, что затрудняет выявление источника ошибки. Поэтому крайне важно проявлять особую тщательность при написании кода.

Продолжить

Управление реакцией на звуки и музыку

Данное руководство было составлено HeavyM, компания, специализирующаяся на Видеомэппинге с 2013 года.

Если у вас есть вопросы, замечания, предложения и т. д., пожалуйста, воспользуйтесь этой контактной формой: https://help.heavym.net/hc/requests/new. Гарантированный ответ в течение 24 часов.

Часто задаваемые вопросы (FAQ)

Что такое шейдер в Видеомэппинге?

Шейдер — это компьютерная программа, используемая для расчёта эффектов рендеринга на графическом оборудовании с высокой степенью гибкости. В Видеомэппинге шейдеры используются для генерации динамических текстур в режиме реального времени и визуальных эффектов, реагирующих на звук, непосредственно на графическом процессоре, вместо воспроизведения заранее отрендеренных видеоциклов.

Что такое формат ISF?

ISF — это аббревиатура от Interactive Shader Format (интерактивный формат шейдеров). Это стандарт, основанный на GLSL (языке шейдеров OpenGL), который позволяет легко обмениваться и использовать генеративные визуальные эффекты в различных программах для VJing и для видеомэппинга, обеспечивая кроссплатформенную совместимость.

Нужно ли уметь программировать, чтобы использовать шейдеры?

Нет, вам не нужно быть программистом. Хотя шейдеры пишутся на языке программирования (GLSL), современные программы для видеомэппинга, такие как HeavyM позволяет импортировать готовые файлы ISF или использовать встроенные эффекты шейдеров, просто перетаскивая их на фигуры.