Pour faire suite au premier article programmatique de cette minisérie dédiée aux métadonnées optiques, nous vous proposons une plongée détaillée dans ces quelques journées consacrées à la mise en évidence des métadonnées optiques.

Dans de nombreux cas de production classique, il nous semble évident que la présence de métadonnées optiques associées aux rushes permettrait une approche plus efficace de la post-production, pour les corrections de déformation et de vignettage, pour stabiliser un plan, pour faciliter l’intégration de plates dans le cas des fonds verts et bleus… Dans le cas de la production virtuelle, les métadonnées optiques sont une nécessité !
C’est d’ailleurs sans doute l’avènement de la production virtuelle qui a poussé plusieurs fabricants a accélérer le développement des métadonnées optiques. Et pas seulement les fabricants d’optiques ! Car les méta passent par les cameras et autres accessoires. Nous avons donc mis a profit notre réseau de partenaires UCO pour pouvoir traiter ce sujet tentaculaire. Merci à Cooke, Zeiss, Arri, Sony, et Blackmagic et tous les loueurs qui nous ont accueilli pour ce défi.

Pour la première session de mise en œuvre de notre étude, chez PhotoCineRent, nous mettons à l’épreuve le protocole qui nous a semblé pertinent. Il s’agit là d’un protocole un peu expérimental, dans le sens où il n’existe à notre connaissance pas de précédent, comme cela peut être le cas pour les comparaisons de rendus visuels des optiques où la façon dont les capteurs numériques gèrent les hautes et basses lumière. En effet, notre étude des métadonnées optiques se borne à considérer les capacités et le flux de transmission de données des optiques et non leurs qualités et spécificités esthétiques. Un exercice nouveau pour nous !

Un protocole

Nous nous sommes évidemment intéressé à la manière de transmettre les métadonnées issues de la prise de vues à nos collègues de post-production.
Par l’intermédiaire de la CST, que nous associons à nos travaux, nous nous sommes rapprochés de la Compagnie Générale des Effets Visuels (merci à Françoise Noyon, à Pierre Billet et Vanessa Lafaille), pour qu’ils partagent leurs expériences sur l’objet de notre étude et pour établir un protocole viable, c’est à dire qui corresponde à des cas pratiques concrets.
Nous partons du présupposé que chaque plan doit en théorie comporter 7 points de track à chaque image. Ce nombre est un minimum nécessaire pour permettre le calcul de la position dans l’espace de caméra virtuelle reconstituée grâce au tracking 3D. Nous fabriquons donc des cibles de track pour imposer ce minimum.

Concernant les focales fixes, au sein des séries, il ne nous apparaît pas nécessaire de monter toutes les optiques, mais plutôt une ou deux courtes, plus sujettes aux déformations, et un 32mm, un ou 35mm ou un 50mm de référence (selon la série optique et la taille du capteur). Concernant les zooms, priorité sera donnée aux zooms courts (en supposant que les zooms longs de la série ont les mêmes spécificités électronique que les zooms courts).
Chaque configuration donnant lieu à une prise de vue doit être répertoriée, de façon à pouvoir comparer nos notes sur le terrain et les métadonnées effectivement enregistrées. Mais aussi où elles sont enregistrées (intégrées aux fichiers image, dans des fichiers tiers, voire des fichiers de log hors caméra), comment elles sont extraites et par quel logiciel elles peuvent être exploitées.
La disposition des trackers devra idéalement faire l’objet d’une empreinte 3D avec une référence d’échelle. Cela peut se faire simplement via un iPhone (à partir de l’iPhone 12 pro) ou un iPad récents via une application de photogramétrie.
Avec un déroulé indicatif qui doit mettre en évidence la pertinence de l’exploitation des métadonnées optiques, nous savons aussi que nous devrons nous adapter au matériel réellement disponible le jour des prises de vues chez nos partenaires.

Nous partons sur les cas suivants :
– 1. Bascule de point sur pied : exécuter une bascule de point entre deux marqueurs éloignés, une version rapide (2s) et une version lente (10s), afin de tester la dynamique d’échantillonnage.
– 2. Changement de focale (pour les zooms) sur pied : exécuter une bascule de focale entre deux marqueurs éloignés, une version rapide (2s) et une version lente (10s), afin de tester la dynamique d’échantillonnage.
– 3. Bascule de diaph sur pied: exécuter une bascule de diaph, une version rapide (2s) et une version lente (10s), afin de tester la dynamique d’échantillonnage.
– 4. Suivi de point en camera portée : exécuter un plan porté avec déplacement latéral pour créer une parallaxe. Combiner avec un mouvement panoramique pour cadrer tous les marqueurs. Le pointeur se calera sur la profondeur de la rangée médiane.
– 5. Changement de focale (zoom) plus suivi de point en camera portée : exécuter un plan porté avec déplacement latéral pour créer un parallaxe et changement de focales. Combiner avec un mouvement panoramique pour cadrer tous les marqueurs. Le pointeur se calera sur la profondeur de la rangée médiane. 

LDS, /i et eXtended

Ces trois dénominations désignent toutes des technologies de métadonnées optiques :
– LDS est le nom du Lens Data System conçu par Arri
– /i est le protocole conçu par Cooke
– eXtended Data, dérivé du système /i est le protocole développé par Zeiss

Concrètement, les 3 systèmes permettent d’extraire des données clés utiles à la post-production, et par extension aux VFX. Certaines de ces données sont lisibles facilement dans des logiciels de post-production de montage ou d’étalonnage, d’autres sont plus spécifiques et moins accessibles.

Les données de base sont :
– Nom, type et longueur focale de l’optique utilisée
– Distance de mise au point
– Ouverture du diaphragme
– Profondeur de champs
– Distance hyperfocale

Le protocole /i2  (i square ) ajoute des métadonnées gyroscopiques et /i3 (i cube ) des métadonnées de shading et de déformation (jusqu’à 285 i/s).
Le protocole eXtended Data ajoute les données de déformation ainsi que les données de shading précisément basées sur l’ouverture du diaphragme et la distance de mise au point.
Le LDS-2 est annoncé avec un débit de données plus élevé que le LDS-1, ce qui permet une grande précision à des cadences de prises de vues élevées (pour les ralentis par exemple). Par ailleurs, Arri ouvre l’utilisation du protocole LDS-2 à d’autres fabricants.

Caméras, Optiques et boîtiers spécialisés

Concernant les choix de corps caméra et d’optiques, nous nous sommes efforcés de déterminer des configurations classiques de tournage, l’idée étant d’intégrer des optiques modernes équipées de métadonnées ainsi que des optiques anciennes.

Pour notre premier atelier, ce 23 février 2023, nous avons à disposition une Sony Venice 2, une Arri Alexa 35 et même une Phantom Flex. Côté optiques ce sera Zeiss Supreme Prime, Cooke SF+FF et Zeiss Compact Zooms.
Ainsi que deux boîtiers indispensables: un Arri UMC-4 (Universal Motor Controller) et l’ACN-LP Lockit+ de la marque Ambient.

Le boîtier Arri UMC-4 permet de récupérer des métadonnées via la connexion avec les moteurs FIZ (Focus, Iris, Zoom) et de les enregistrer sur une carte SD. Pour interpréter correctement les métadonnées qu’il reçoit, il faut charger dans l’UMC-4 une LDA (Lens Data Archive), un fichier permettant à chaque optique répertoriée (par marque, modèle, focale) d’être reconnue par le boîtier, de sorte que les métas envoyées par l’optique sont bien identifiées et écrites au bon endroit du fichier qui servira en post-production.
Le Lockit+ est chargé à la fois d’alimenter en timecode la caméra (ainsi que le boîtier UMC-4), mais aussi de récupérer les métadonnées directement depuis l’optique si celle-ci est équipée d’un câble Lemo (c’est le cas des optiques /i et eXtended).

Il faut rappeler ici que selon les marques et les modèles, les métadonnées optiques passent soit par les contacts de la monture soit par une prise Lemo spécifique, parfois des deux façons. Il faudrait cependant déterminer si les mêmes informations passent par la monture et par la prise Lemo – sachant que dans le cas de la monture les informations sont destinées à être intégrées aux métadonnées des fichiers image, et dans le cas du Lemo, les informations sont destinées à des dispositifs hors corps caméra).

Le boîtier UMC-4 est bien connu des assistants caméra, qui utilisent les données optiques comme assistance pour le travail du point : grâce aux LDA peuvent être affichées grâce à un dispositif dédié les profondeurs de champs calculés grâce à la focale, l’ouverture et le focus point d’une optique donnée.
L’ACN LP Lockit+ permet d’une part de récupérer les métadonnées des objectifs mais aussi de lier ces données au timecode. Donc de pouvoir enregistrer quelles réglages sur l’optique sont effectués à quel moment, sur toute la durée du plan enregistré. Ce qui permet de disposer des données physiques matérielles qui ont servi à réaliser tel ou tel plan. À peu près une mine d’or pour la post-production et les VFX.
Petite précision tout de même, le Lockit+ intègre dans sa dernière version uniquement l’enregistrement des métadonnées étendues /i3 de chez Cooke. Il était question d’une compatibilité Zeiss dans le futur mais sans certitude à ce jour. Merci au passage à Yannic Hieber qui a bien voulu nous confier un prototype pour nos travaux.

Cela nous a permis d’enregistrer les données brutes des optiques Cooke avec un timecode synchronisé sur carte SD au format YAML. Pour les configurations Zeiss, le boîtier ne faisait qu’injecter le timecode dans la camera et le clap électronique dans le champ. Il fallait compter sur la capacité des cameras à enregistrer les métadonnées par la monture PL.

Les enjeux pour nous sont de plusieurs ordres :
– Trouver comment enregistrer les métadonnées générées par les optiques selon une caméra et une série d’optiques données: est-ce que ces données sont inclues dans les fichiers images ou dans d’autres fichiers générés par les caméras? Est-ce que ces données doivent/peuvent être récupérées par des boîtiers tiers ?
– Pouvoir identifier de quels matériels nous avons besoin pour enregistrer ces données: boîtiers, câbles, montures… Et si nos loueurs français sont en mesure de pouvoir nous les fournir !
– Déterminer quels logiciels peuvent afficher les données enregistrées et les exploiter.
– Affirmer la nécessité d’un dialogue technique entre le tournage et la post-production pour que les métadonnées générées au tournage ne se perdent pas au cours de la post-production, sachant que ces métadonnées intéressent a priori peu le montage mais sont très utiles pour les VFX.

Rappelons que nous nous focalisons sur les conditions de tournages hors studio virtuel.

Premiers contacts

Nous branchons d’abord une Venice 2 équipée d’un 32mm de la série Cooke SF-FF, avec les réglages suivants : X-OCN XT, 8.6K – 3:2 avec 1.8x anamorphose de-Squeeze, obturateur à 90.0°, project frame rate @25fps.
Nous choisissons un obturateur à 90° pour éviter un flou de mouvement trop important. Cette vitesse d’obturation est souvent préconisée pour faciliter le travail d’intégration des VFX sur fond vert/bleu, le motion blur étant ajouté par la suite pour que le rendu de mouvement soit plus naturel à l’œil.

Le plateau et la disposition des trackers par rapport à la caméra sont mesurés à la main et aussi scannés en 3D avec un logiciel de photogramétrie (là Polycam, sur iPad ou iPhone), l’idée est de s’assurer que les distances enregistrées par les métadonnées sont conformes aux mesures de distance réelles.

Un objet rond est positionné en périphérie pour déterminer si déformation il y a et potentiellement calculer un coefficient de déformation précis.

On branche le Lockit+, le câble rouge envoie du TC vers la cam, le câble bleu récupère les données optiques envoyées par l’optique.
Une fois notre ordinateur connecté via wifi au boîtier Lockit+, les données s’affichent et nous pouvons donc enregistrer chaque prise et toutes les métadonnées transmises par l’optique. Les données enregistrées par le boîtier dans un fichier text sont au format YAML (entre XML et CSV), décodables universellement (open source) mais ce sont des données brutes. Il nous faudra par la suite trouver le logiciel qui peut décoder ces données et les fusionner avec  les métadonnées d’un fichier image, sur la base du timecode notamment et des données classiques décrivant le plan (nom, date, numéro de bande etc).

Nous passons ensuite un Zeiss Supreme Prime 15mm en adaptant les réglages caméra, puisque nosu passons en sphérique. En revanche nous conservons l’obturateur à 90°.
Nous chargeons la LDA dans le boîtier UMC-4 et enregistrons les métadonnées issues des moteurs, à comparer avec les métadonnées enregistrées via le boîtier Lockit+.
Notons qu’avec la Venice 2, il nous faut déclencher manuellement l’enregistrement sur le boîtier UMC-4.

Pour avoir un premier aperçu du fruit de nos efforts, nous comparons avec un même rush issu de la Venice les métadonnées effectivement enregistrées.

Avec Raw Viewer, le logiciel de Sony, nous pouvons visualiser le type de l’optique, le capteur, le diaph ainsi que la distance de mise au point en mètres, mais il s’agit d’un point fixe (au tout début du plan?), sans données dynamiques (donc sans évolutions dans la durée du plan).

Dans Da Vinci Resolve, il faut creuser un peu plus !

Avec le boîtier Lockit+, les colonnes sont ainsi libellées: Lens general, Lens shading, Gyro, Focus distance, Hyper focal, Min distance, Max distance.
Selon le type de focale, on pourrait ajouter également les données de vignettage et de déformation)

Nous passons ensuite un Compact Zoom Zeiss 15-30mm, pour ajouter des données dynamiques aux valeurs de focales, qui s’affichent comme les autres valeurs en temps réel sur le boîtier Lockit+. Le Lockit n’est pas compatible avec Zeiss.

Nous décidons ensuite de passer sur Alexa Mini LF (enregistrement en 4.5K) avec le 32mm Cooke SF+FF, puis le 50mm Zeiss Supreme Prime. Les données passent toujours par le câble Lemo relié au boîtier Lockit+.
Le passage sur Arri a pour conséquence que l’enregistrement des données sur la carte SD du boîtier UMC-4 se lance automatiquement dès que l’enregistrement est lancé sur la Mini LF (trigger). C’est une bonne surprise car c’est nettement plus confortable.

Pour terminer la journée et parce que la caméra est devant nous, nous chaussons le 32mm Cooke SF+FF sur la Phantom Flex. La caméra est assez rudimentaire et surtout un problème va se poser rapidement : comment injecter un timecode sur une base temporelle de 1000 images pas secondes ? Et quel intérêt d’écrire des données FIZ sur une carte SD si aucun timecode ne synchronise la caméra simultanément au boîtier UMC-4 ? 

Sans doute y aurait-il matière à des tests supplémentaires, mais ce serait un autre chapitre, vraiment trop spécifique par rapport à l’objet de notre travail en cours.

Dans un prochain article, nous verrons notamment comment des MDO peuvent être générées avec l’utilisation d’optiques qui en sont dépourvues. À suivre !

Merci à Valentine Lequet coprésidente de l’Union, Sara Cornu, Larry Rochefort et Teddy Ajolet, assistant caméra. Un grand merci à toute l’équipe de PhotoCinrent pour leur accueil et leur implication.
Merci également à Françoise Noyon, Yannic Hieber, Vanessa Lafaille et Pierre Billet.