<< Constant Index

Software

[NL] Object Score Notation is een software ontwikkeld door kunstenaar-programmeur Simon Yuill in nauwe samenwerking met de spelers. De software kan je downloaden met een GPLicense, voorzien van een handleiding en een gebruikersinterface in functie van de noden van de spelers.

[FR] Object Score Notation est un logiciel développé par l’artiste-programmeur Simon Yuill en collaboration proche avec les joueurs. Ce logiciel est téléchargeable sous une license FLOSS, prévu d’un manuel et d’un interface utilisateur en fonction des nécessités des joueurs.

[NL] De software is gebaseerd op ideeën en technieken uit de geautomatiseerde visuele computertechnologie. De software laat toe om de bewegingen te volgen van mensen en objecten in het dagdagelijkse leven, waardoor die annotatie-elementen worden in een performance-score (te vergelijken met partituren voor muziek en dans). Deze annotatie op basis van beweging wordt gecombineerd met de klassiekere grafische annotatie. Beeld en geluid worden aan de spelers gepresenteerd als een antwoord op hun bewegingen. Dit creëert een nauwe feedback tussen spontane acties en vooraf bepaalde aanwijzingen in het kader van een geïmproviseerde performance.

De software is geschreven in C++ en gebruikt:

– FLOSS software (openframeworks API: http://www.openframeworks.cc)

– GNU/Linux operating system

– 2D opengl-based graphics

– Unicap library for video capture

– Pure Data for audio (zie bijlage2_pure_data)

Een camera filmt de scène van op 4m hoogte. Via een motion-tracking systeem worden de bewegingen op de scène gevolgd en geïnterpreteerd door toevoeging van ‘gevoelige zones’. De gebruikersinterface toont het volledige speelvlak waarop ook de verschillende ‘gevoelige’ zones zijn aangeduid. De spelers en bewegende objecten verschijnen op de interface als lichamen in witte vierkanten, voorzien van een grijze focus die hun referentiepunt aangeeft. Elk lichaam draagt een nummer. Wanneer een lichaam zich in een gevoelige zone beweegt, wordt beeld of geluid getriggerd of wordt een nieuwe spelmap geactiveerd.

Tot 64 voorwerpen kunnen worden getracked. Je kan tot 64 zones bewaren in één speelmap en je kan tot 12 speelmappen bewaren in één project.

De gebruikersinterface wordt geprojecteerd op een groot scherm aan de ene kant van de scène en op twee televisieschermen aan de andere kant van de scène.

De verschillende ‘gevoelige zones’ zijn:

– trigger zones: een eenvoudige aan/af-knop die je activeert wanneer een tracked persoon/voorwerp de zone betreedt. Met deze knop kan je beelden (.png) en geluiden (via OCS-messages) oproepen of weer laten verdwijnen, of je kan een andere speelmap oproepen.
proximity zones: een cirkelvormige zone rond een centraal punt op het scherm. De afstand van bewegende objecten/personen tot dat punt wordt voortdurend gemeten en wordt gebruikt als variabele in PD-patches, voor bijvoorbeeld de snelheid waarmee een bepaald geluid wordt getriggerd.

– difference zones: een zone die het aantal verschillen meet tussen opeenvolgende frames van de live-video en zo een ruwe indicator wordt van de hoeveelheid beweging er is in die zone

– relation zones: een cirkelvormige zone die de afstand meet tussen de verschillende bewegende objecten/personen in de zone

De software werd ontwikkeld voor een workshop van Constant in samenwerking met APT (Advanced Performance Training, Antwerpen) en werd tijdens de daaropvolgende werksessies talloze keren ge-updated. Belangrijke aanpassingen gebeurden in de gebruikersinterface, in de mogelijkheid om verschillende beelden tegelijk te projecteren en te laten verdwijnen en in het specifieke gebruik van de proximity en relation zones voor geluid (in PD).

Deze ‘tailoring’ werd verdergezet tijdens het creatieproces van de performance/installatie. Staan op het programma:

– de integratie van video-bronnen van publieke CCTV-camera’s

– de aanpassing van de software aan de specifieke licht- en geluidsfactoren

– de mogelijkheid om ook triggerzones in geluidsgolven aan te brengen

– een gebruiksvriendelijke interface

– de mogelijkheid van een parallele set-up met een tweede camera

—-

Le logiciel est basé sur des idées et des techniques utilisées en technologie d’ordinateur visuelle automatisée. Le logiciel permet de suivre les mouvements de gens et d’objets dans leur vie quotidienne,qui dès lors puissent devenir des éléments d’annotation dans une partition de performance (comparable aux partitions de musique et de chorégraphie). Cette annotation à base de mouvement est combiné au système d’annotation graphique classique. L’image et le son sont présentés aux joueurs en réponse à leurs mouvements. Ceci crée un feedback serré entre les actions spontanées et les indications prédéfinies dans le cadre d’une performance improvisée.

Le logiciel est écrit en C++ et utilise:
FLOSS software (openframeworks API: http://www.openframeworks.cc)
GNU/Linux operating system
2D opengl-based graphics
Unicap library for video capture
Pure Data for audio (voir annexe 2: pure data)

Une caméra filme la scène d’une hauteur de 4m. Par un système de captage de motions les mouvements sur la scène sont suivis et interprétés par l’ajout de zones sensibles. L’interface utilisateur montre l’espace de jeu entier sur lequel sont indiquées aussi les zones sensibles. Les joueurs et les objets qui bougent apparaissent sur l’interface comme des corps blancs en carrés blancs, fournis d’un focus gris qui indique leur point de référence. Chaque corps est défini par un numéro. Quand un corps bouge en zone sensible, il déclenche une image ou un son ou encore, un nouveau plan de jeu.
Le logiciel permet de suivre jusque 64 objets. Il permet de sauvegarder jusque 64 zones dans un plan de jeu et jusque 12 plans de jeu dans un projet.
L’interface utilisateur est projeté sur un grand écran d’un côté de la scène et sur deux téléviseurs de l’autre côté.

Les différentes ‘zones sensibles’ sont:

– les zones déclencheurs / trigger zones: un simple bouton on/off qu’on active quand un corps suivi entre cette zone. Ce bouton permet d’appeler des images (.png) et des sons (via des messages OCS), de les faire disparaître ou de changer le plan de jeu.

– les zones de proximité / proximity zones: une zone en forme de cercle autour d’un point central sur l’écran. La distance des corps en mouvement vers ce point de référence est mesurée en permanence et utilisée comme variable dans des patches en PD, par exemple pour déterminer la vitesse avec laquelle des sons sont émis.

– les zones de différence / difference zones: une zone qui mesure la quantité de différences entre les séquences d’images enregistrées par la caméra, ce qui permet d’avoir un indicateur approximatif de la quantité de mouvement présente dans cette zone

– les zones de relation / relation zones: une zone en forme de cercle qui mesure la distance entre les différents corps qui bougent dans cette zone

Le logiciel a été développé pour un atelier de Constant pour les étudiants de APT (Advanced Performance Training, Antwerpen) et a été mis-à-jour de multiples fois pendant les sessions de travail suivantes. D’importantes adaptations se sont faites dans l’interface utilisateur, dans la possibilité de projeter et de faire disparaître de différentes images à la fois et dans l’usage spécifiquement sonores (en PD) des zones de proximité et de relation.

Ce travail ‘sur mesure’ est poursuivi pendant le processus de création de la performance/installation. Sur le programme :

– l’intégration des sources vidéo de caméras de surveillance publiques

– la possibilité d’installer des zones de déclenchement dans les fréquences sonores

– une interface d’utilisation optimalisée

– la possibilité d’un set-up parallèle avec une deuxième caméra