Zeiss a annoncé la sortie de son CinCraft Scenario qui facilite le tracking des caméras pour le live, les VFX ou les studios LED, sans avoir besoin de marqueurs ou de systèmes de caméras externes.
Pour en savoir plus sur ce nouvel ajout dans leur catalogue, j’ai pu interviewer Jacques Bouley, directeur des ventes Europe, et Sundeep Reddy, Directeur Produit et concepteur du système CinCraft Scenario.
Vincent Tartar, UCO : Quelle est la genèse de ce système de tracking ?
JB : Je vois Zeiss comme un fournisseur de solutions. Nous savons que vous rencontrez de nombreux soucis lors de la préparation d’un film nécessitant des VFX, et CinCraft Scenario est notre manière de répondre au problème.
Globalement, cela simplifie énormément la post-production et même la pré-production, surtout quand on découvre la simplicité de l’interface utilisateur.
SR : Pour moi, tout a commencé en 2012 quand j’ai découvert la société Ncam, et leur système Mark 1. C’était assez impressionnant de voir tout ce qu’il pouvait faire, et une chose qui revenait constamment était qu’il dépendait des données des objectifs. À cette époque, Zeiss était déjà passé aux métadonnées d’objectif XD.
JB : En 2020, le système Mark 2 a été lancé, donc Sundeep les a approchés et nous avons commencé à parler à Ncam. Nous avions quelque chose dont ils avaient besoin, les métadonnées d’objectif, puis nos deux entreprises ont commencé à travailler ensemble pour développer un nouveau système.
SR : Le système s’est simplifié au fil des années, mais obtenir les données directement du fabricant aurait été une réelle valeur ajoutée. Nous avons donc pensé que nous pourrions tirer le meilleur parti des deux mondes en créant une synergie, pour trouver un moyen d’arrêter ce processus de calibrage chronophage.
JB : Avec le temps, la synergie s’est développée au point que nous avons envisagé un avenir meilleur que d’être simplement compatibles. Que se passerait-il si nous pouvions améliorer les problèmes auxquels les gens sont confrontés sur les plateaux aujourd’hui, si nous pouvions transformer cette interface utilisateur plutôt complexe en quelque chose de beaucoup plus simple à utiliser ?
Ncam a eu dix années assez réussies dans l’industrie, ils étaient renommés dans le domaine de la diffusion, surtout dans les programmes sportifs. Car il est important de le mentionner, et c’est fondammental, c’est un des seuls systèmes capable d’assurer un suivi en extérieur.
SR : Lorsque nous examinions la technologie en profondeur, nous étudiions également d’autres solutions, mais elles dépendaient toutes des points de suivi, materialisés par des cibles sur le plateau. Seul le système Ncam nous permettait de sortir et de suivre une scène sans tracas. L’installation était assez simple, et il était évident que cela allait changer la manière de “tracker” les plans, surtout dans la réalisation de films.
À cette époque dans la production cinématographique, Ncam était utilisé dans des productions d’effets visuels très haut de gamme, mais pas largement dans l’industrie du film de long métrage. Il restait encore des améliorations à apporter pour le rendre convivial, il y avait cette distance supplémentaire à parcourir pour que ce système soit utilisé sur un plateau de tournage. Un plateau de tournage est un endroit très actif, très créatif et dynamique, il change constamment, il faut s’adapter aux façons de filmer, les lumières changent, le décor bouge, et personne ne sait ce qui va suivre. Vous n’avez pas ce niveau d’incertitude en Broadcast.
C’est pourquoi nous avons commencé à créer un système qui fonctionnera dans ce type d’environnement, et pour ce type d’opérateurs également. Parce que vous n’avez pas le temps de faire autant de changements sur un plateau de tournage. Nous avons donc organisé un atelier, passant en revue le modus operandi sur un plateau de tournage, comment cela fonctionne-t-il, et comment pouvons-nous nous y adapter ?
Même si nous savions déjà comment fonctionnait un plateau de tournage, nous avons élaboré un workflow générique pour nous aider à comprendre les besoins sur les plateaux de tournage.
De plus, nous avons découvert des différences culturelles : il y a des attentes différentes sur les plateaux de tournage, d’un pays à l’autre. Ce qui se passe à LA est différent de ce qui se passe à NY, ce qui se passe en Europe est très différent de la façon dont les films sont réalisés en Inde, donc nous devions intégrer tous ces scénarios différents, pour concevoir le système.
Nous l’avons décomposé au point de définir cinq piliers qui nous aideraient à concevoir comment le système devrait fonctionner : comment le logiciel devrait fonctionner, comment configurer le système, où allez-vous faire la configuration, que faire lorsque vous arrivez sur le plateau de tournage, et comment fonctionne l’étalonnage des objectifs ? Ce sont les choses dont nous avons discuté longuement.
Il était évident que l’expérience utilisateur devait changer, le système devait être facile à apprendre et à utiliser. La plupart des systèmes de suivi sont très techniques à utiliser, et nous voulions répondre à cette question : comment un système technique pourrait-il aider à résoudre un problème de manière créative ? Chaque plateau aura un ensemble unique de défis, comment les résoudre de manière créative ?
JB : Une autre ambition, dans ce processus de simplification excessive de son utilisation, était de créer une norme. Imaginons une équipe partant pour un tournage de trois jours, choisissant cette caméra, ces optiques, tout le matériel nécessaire, et pourquoi ne pas prendre une solution de suivi que vous pourriez trouver dans n’importe quelle société de location? Vous vous attendriez à ce que la société de location la prépare de la même manière qu’elle prépare les autres équipements. Les autres systèmes de suivi fonctionnent bien, mais c’est le seul système qui suive facilement à l’intérieur et à l’extérieur, et c’est un véritable avantage lorsque vous tournez en extérieur.
Nous venons d’un milieu cinématographique, nous fabriquons des objectifs de cinéma, nous nous adressons aux maisons de location dans le monde entier, ce sont nos clients. Alors pourquoi ne pas s’adresser à ce réseau particulier, ils sont légitimes pour remettre ce système à leur équipe. C’était l’une des exigences lors de la conception du CinCraft Scenario.
En fait, ce système est le résultat de quelque chose que nous avons commencé à faire il y a quelques années. Vers 2016/2017, lorsque Zeiss a sorti le protocole de données étendues (extended lens data), très peu de gens comprenaient l’utilité de ces données d’optiques, mais nous savions que nous entrions dans l’ère du cinéma numérique. Nous avons ensuite créé tout un écosystème nommé CinCraft. Il y a quelques années, nous avons sorti Mapper, qui consiste à fournir des informations spécifiques aux techniciens et artistes VFX en un clic, sans avoir à estimer à vue d’œil le vignettage de l’objectif, par exemple. Et maintenant, nous avons CinCraft Scenario qui fournit un suivi sur le plateau mais aussi un enregistrement sur le plateau de ces métadonnées que nous pouvons ensuite envoyer à l’équipe de post-production.
Nous abordons donc deux problèmes clés des VFX, pour ceux qui font du match moving, qui est très chronophage et sujet aux erreurs, et pour ceux qui font du compositing qui peuvent facilement ajouter des caractéristiques optiques à leurs images.
SR : Une autre chose est qu’avant que nous puissions suivre en direct, les choses se faisaient à l’envers en quelque sorte. Par exemple, avec le match moving, nous tournions d’abord puis essayions de trouver un moyen d’adapter les VFX à cette image en mouvement parce que la technologie n’était pas là. Maintenant, avec les nouvelles technologies comme Unreal Engine, et les systèmes de suivi, il est possible de fournir toutes ces données. C’est un tout nouveau paradigme.
JB : Si nous entrons un peu dans les détails, nous avons présenté le système à de nombreux superviseurs VFX, et les deux choses immédiates qui ont émergé étaient qu’il n’y avait plus de temps de calibrage et que nous pouvions tourner en extérieur. Mais qu’en est-il des autres objectifs ? La prochaine étape était de proposer le système pour d’autres optiques que Zeiss.
Nous allons fournir un catalogue d’autres objectifs de cinéma et de diffusion, pour permettre à l’utilisateur de peaufiner l’étalonnage, de lui faire gagner du temps.
Si ce système est vu par l’industrie comme une norme, il serait encore mieux que les objectifs tiers soient compatibles et « plug-n-play ». Même si nous faisons la plupart du travail en fournissant des données, l’utilisateur devra affiner l’étalonnage lors de l’utilisation d’objectifs de fabricants tiers. Nous fournirons également un manuel de calibrage car il y aura toujours des objectifs hors gabarit.
SR : En fait, l’une des questions est de savoir comment faire de ce système une norme industrielle ? Pour ce faire, vous devez rendre ce système suffisamment évolutif pour que les gens puissent s’adapter et apprendre. Le système Ncam et tous les autres systèmes de suivi disponibles sont assez complexes. Le nombre de choses que vous devez apprendre avant de pouvoir les utiliser peut être décourageant, et c’est une barrière que nous préférerions éviter à nos utilisateurs.
Si nous parlons d’un point de vue des chefs opérateurs, nous avons besoin qu’ils puissent comprendre immédiatement ce qui se passe sur le plateau. Nous ne voulons pas qu’ils regardent un technicien de suivi, sans avoir aucune idée de ce que ce technicien fait pour que cela fonctionne. Au contraire, nous voulons qu’ils puissent comprendre le processus, d’où viennent les données, où elles seront enregistrées, juste en regardant le système de suivi. Cela devrait être aussi simple à comprendre. Je crois que c’est ainsi que l’on fait une norme qui peut être adoptée.
JB : Nous l’avons simplifié au point qu’il a une logique auto-explicative. Nous mettrons en ligne un portail avec des tutoriels et des modes d’emploi du système. Nous avons également des assistants virtuels dans l’interface qui aideront le nouvel utilisateur, ou quelqu’un qui ne l’a pas utilisé depuis un moment, à être sur la bonne voie. Il y a des techniciens sur le plateau, comme les DIT, qui pourraient facilement apprendre à le configurer. Pour nous, c’est vraiment la clé pour s’ouvrir à un plus grand nombre de personnes.
Cela se résume vraiment aux choix budgétaires, vous dépensez de l’argent pour louer le système, mais cela vous fera économiser du temps et des coûts plus tard. Et globalement, cela augmente très clairement la qualité de résultat. Les sociétés VFX à qui nous avons présenté le système le voyaient comme un soulagement pour permettre un travail plus créatif. Ils le voient comme un système qui fournira des informations techniques et économisant du temps sur des choses qu’ils n’aiment pas vraiment faire, mais doivent faire. Nous souhaitons aider toutes les équipes à se concentrer sur la partie la plus créative du travail.
Aspect technique et fonctionnement
SR : Lorsque vous regardez le matériel, il y a la Barre de Caméra (Camera Bar) avec des objectifs doubles. Elle a un champ de vision assez large qui détecte les marqueurs dans l’environnement qu’elle voit.
Ensuite, il y a un matériel appelé The Link, qui est assez petit pour réduire l’empreinte et le poids de ce qui est sur la caméra. Il agit comme un hub, collectant des données de la Barre de Caméra, mais aussi des métadonnées de la caméra et de l’objectif.
Les données de l’objectif peuvent être collectées de diverses manières, via SDI, Lemo, XD ou même avec des moteurs d’objectif qui ont des encodeurs rotatifs si ce n’est pas un objectif intelligent. Et si les moteurs ne fournissent pas d’encodeur, le système peut fournir un encodeur rotatif qui peut être chaîné pour obtenir les métadonnées de ces objectifs “non intelligents”.
Ensuite, les données sont transmises à un système de traitement, une petite boîte appelée The Origin, où toutes les données de la barre de caméra, mais aussi de l’objectif et de la caméra, sont agrégées et traitées pour créer un modèle d’objectif virtuel construit à partir de ces données. Ce modèle sera transmis à un système de rendu en direct, tel que Unreal Engine, par exemple.
L’Origin enregistre également en time code toutes les métadonnées qu’il reçoit, en particulier celles des objectifs. Ces données enregistrées peuvent ensuite être exportées et utilisées dans le processus de match moving, le rendant plus simple avec les données de suivi. Cela n’éliminera pas le processus de match moving, mais l’accélérera vraiment. Vous pouvez aussi l’utiliser pour les rushes quotidiens.
JB : Une autre caractéristique intéressante est que vous pouvez accéder à l’interface utilisateur en “wireless”, sans fil.
SR : C’est une interface basée sur le web où vous pouvez voir ce que la Barre de Caméra voit, accéder aux données et opérer à partir de là. Elle a été optimisée pour les appareils mobiles.
JB : Pour résumer ce système de suivi : il peut suivre sans marqueurs spécifiques, en se basant sur les imperfections ou les marques naturelles que vous trouverez là où vous filmez. Mais il peut également suivre des marqueurs réfléchissants. Il y a des situations où vous ne pouvez pas suivre des marqueurs naturels parce qu’il n’y en a pas, comme sur les écrans verts ou les surfaces aveugles. Et enfin, il y a une nouvelle technologie de Brompton, celle des marqueurs cachés que vous pouvez trouver sur des panneaux LED, et notre système peut suivre ces marqueurs invisibles. C’est donc vraiment un système trois-en-un, ce qui le rend très ajustable à la situation de tournage dans laquelle vous vous trouvez.
Conclusion
Le CinCraft Scenario propose une solution qui semble pouvoir être mise en oeuvre plus facilement que certains autres systèmes pouvant nécessiter le déploiement d’une logistique plus lourde.
Cependant le CinCraft Scenario conserve tout de même certaines limitations dont nous avons discuté avec Jacques et Sundeep. Dans un premier temps c’est un système filaire qui ne peut pas passer par une technologie sans fil, les risques de pertes de données seraient trop importants. Par ailleurs, sur des scènes d’action intenses par exemple, le système ne sera pas toujours en mesure d’assurer le suivi. Enfin, il faut garder à l’esprit que le système se base sur les données fournies par les constructeurs, et qu’il faudra voir si les autres fabricants d’optiques joueront le jeu et fourniront leurs données optiques au système CinCraft afin que celui-ci réponde au mieux au besoin des utilisateurs.
Ainsi, ce système ouvre d’intéressantes perspectives, le fait de ne pas à avoir à ajouter de marques de tracking dans le décor est clairement un avantage à ne pas négliger, notamment pour les productions à plus petit budget, ou pour les tournages en extérieur. Reste maintenant à essayer le CinCraft Scenario par nous-même, ce qui fera l’objet d’un prochain article où nous aurons l’occasion de le voir fonctionner en conditions réelles et de faire un retour pratique sur ce système, plus que prometteur.
