Technique et sémantique des films en VR

Publié le 04/06/2018

 

Technique et sémantique des films en VR

L’exemple French Kis

 

Deux entretiens pour cerner la VR

Pascal Tirilly réalisateur de French Kiss

Jean-Marc Moro plongeur-cameraman en VR Stéréoscopique

 

À la suite de la reproduction de l’article à la signature de Sigrid Coggins à propos du retour d’expérience côté comédiens du film interactif en VR French Kiss, j’avais souhaité mener un entretien avec Pascal Tirilly, son réalisateur, lui-même également membre du collectif VR Story, porteur initial de cette réalisation.

Au moment de mener à bien cette rencontre pour aborder les aspects techniques du processus complet vécu via ce film, Pascal coréalisait avec Jean-Marc Moro un autre film en VR : Tara au cœur du corail.

Ce film a accompagné la sortie du film Blue de Disney Aventure et sa version VR a fait l’objet d’une promotion par la Fondation Tara du 17 mars au 8 avril au BHV. En mai à Cannes, Il sera en diffusion privée chez NEXUS.

Rencontrer Jean-Marc Moro était une chance que Pascal Tirilly m’offrait. Ce passionné a plusieurs cordes à son arc. Plongeur par passion, il deviendra chef d’une entreprise prestataire pour des compagnies pétrolières lors de l’implantation de plates-formes au large des côtes africaines. Plongeant lui-même caméra à la main,  il mettra en œuvre des caméras robotisées lors de ces forages. Sa passion envers le cinéma et le visuel va croître jusqu’à découvrir les immenses satisfactions de la VR. Le pétrole est désormais derrière lui, seule la caméra en plongée sous-marine et sa capacité à produire en partie par lui-même des documentaires le guident.

French Kiss de Pascal Tirilly  

Revenons à French Kiss, dont Jean-Marc Moro fut le plus généreux producteur-financeur. Petit rappel : un lieu unique, une salle de café, et vous êtes assis, spectateur-fantôme, pour à loisir pouvoir observer, voire vous rapprocher pour mieux entendre l’un des cinq couples impliqués dans cette narration en immersion de réalité virtuelle.

Les hasards des agendas ont fait qu’avant de pouvoir rencontrer ces deux réalisateurs, j’avais pu assister à la deuxième édition de Virtuality-Paris qui s’était tenu pendant trois jours au 104 à Paris. J’avais pu, en assistant aux conférences d’une demi-heure et par mon passage dans les différents stands, dont celui d’Arte et de Cargo, me familiariser avec les enjeux  multiples que le mot VR et réalité virtuelle et/ou augmentée peuvent susciter dans notre réflexion. Le parcours de Pascal Tirilly m’était dans ses grandes lignes connu. Réalisateur Corporate ou pub, avant French Kiss il avait mis en œuvre une campagne GMF en VR,  dans les années 2016/2017, ces années qui allaient voir l’émergence de manifestations décernant des prix à des films VR. Citons parmi d’autres Altération de Jérôme Blanquet (AUDI Talents – 2017) et, lors des rencontres d’Arles, le long-métrage canadien de 40 minutes : Myubi des réalisateurs Félix Lajeunesse et Paul Raphael.

Place à l’itw de pascal tirilly

Dominique Bloch - Ce qui m’a attiré dans French Kiss, c’est que le mot VR était associé au mot interactivité, et c’est si rare !

Pascal Tirilly - Au départ nous sommes un collectif Story VR et par chance les membres ont des compétences diversifiées. La mienne pour la réalisation,  Nicolas Beucher c’est l’écriture et la scénarisation,  Jean-Marc Moro et Gwenaëlle Clauwaert c’est la production et la réalisation, Sigrid Coggins, l’artiste au sens large, a apporté la couleur dans French Kiss…

Dans le groupe à l’époque, on avait Christophe Serret qui est directeur technique chez Marcel, une branche de Publicis. Avec lui, on a conçu l’histoire ensemble avec le collectif et très vite sur les aspects interactifs.

Dans notre développement, il fallait qu’on puisse contrôler à minima l’architecture des liens selon nos choix et cela a demandé de trouver une société sur Tourcoing, la société Vertical, pour effectuer ce développement nécessaire.

DB - Dois-je entendre que la liberté ne pouvait être totale pour le spectateur ?

PT - Non la liberté n’était et n’est pas totale dans French Kiss car il y a des liens qui ne s’ouvrent qu’à des moments volontairement choisis par nous, équipe de conception. C’est l’histoire de cinq couples, mais on a volontairement prévu une « porte de sortie par l’escalier » s’il ne veut en vivre que trois sur les cinq, et pour nouscette porte l’oblige à voir la scène finale.

DB - À l’instar des raccourcis dans certains magasins type Ikea ?

PT - Oui, mais c’était avant tout pour offrir la possibilité aux spectateurs de vivre le film plusieurs fois de façon différente et/ou que chaque spect-acteur ne partage pas la même expérience. Comme les spectateurs ne voient pas les couples dans le même ordre, ils ne voient pas le même film. Certains peuvent retourner voir French Kiss. C’est la promesse de l’interactivité.  Pourtant un des couples ne peut être sélectionné qu’en dernier afin de satisfaire la cohérence scénaristique du film. Si l’accès à ce couple avait été interactivement appelé en premier par le spectateur, cela cassait, à nos yeux de concepteurs, l’histoire dans sa globalité. Dans le scénario, c’est le seul couple qui n’a pas la même conclusion finale, à savoir justement un « french kiss » !

Quand on est sur une architecture interactive avec des personnages, toute l’histoire doit rester cohérente à tout moment. C’est pour cela qu’on a fait une histoire de base avec cinq branches, pour revenir à un final global.  Côté développement logiciel, il fallait travailler en appui sur la solution logicielle qui seule permettait le temps réel liant l’interaction visuelle et l’interactivité du scénario, à savoir le moteur de jeu vidéo Unity. Aspic, pour la partie spatialisation du son, a justement réussi à intégrer un plug-in qui travaille en parallèle d’Unity. Et tous les deux fonctionnent très bien. D’autres films VR ont recours à ce tandem. Citons le film Altération de la société Okyo-Studio.

Le développement de l’intégration interactive – phase ultime de cette postproduction VR – a été relativement long. Il a été fait par la société Vertical à Tourcoing à la Plaine-Image, là ou Aspic a aussi ses locaux. Vertical a mené à bien l’optimisation de l’interactivité pour les casques VR Oculus, mais pour des raisons de coût, nous avons recouru à Hyperfiction basée à Annecy pour les casques VR de Samsung.

Le plus difficile fut donc de passer de l’étape finition film à la notion d’interactivité. En d’autres termes faire passer un flux de fichiers à une application intégrant,  et les fichiers, et l’interactivité.

Le collectif VR Story s’est réuni lors du salon Virtuality Paris 2018 et nous avons décidé de produire un autre French Kiss qui ira plus loin dans l’interactivité.

DB - La technique côté tournage avait-elle aussi des contraintes ?

PT - Sur French Kiss, nous disposions d’un superviseur 360 avec lequel on avait déterminé les passages et parcours des comédiens. Il disposait de quatre écrans et sur une scène s’il voyait le comédien sortir le bras trop à droite et donc passer dans la ligne de stitching, il prévenait pour retourner la scène car non  « couturable ».  L’opération de stitching permet dans un logiciel – ici l’Omni de Go Pro – de passer de l’image de l’une des six caméras du rigg Go Pro à l’image d’une autre caméra sans « saute » afin d’obtenir l’équi-rectangle final permettant la restitution d’un espace 360 sans heurt dans les casques.

DB - Avez-vous des regrets concernant le tournage ?

PT - Non pas de regret. C’est vrai qu’il y a eu des choix inhabituels entre le son, la lumière et la déco. Tout devait être caché : ombre de perche ou de micros, respect d’une direction de lumière, micro, y compris les assistants jouant des figurants et cela quelle que soit la Go Pro du rigg. D’où des compromis et des enrichissements continuels entre eux, et pour le bien du film.

DB - Visiblement le budget était limité, je me trompe ?

PT - Il n’y a eu aucune aide ou subvention sur French Kiss et c’est la force des producteurs qui ont cru à la force de l’histoire. Et aussi à l’engagement du collectif. Ainsi Jean-Marc Moro a été celui qui a mis le plus de financement, puis on a trouvé Gwenaëlle Clauwaert avec Ten to Ten et puis on a convaincu un troisième producteur, le groupe Nexus, un groupe qui participe à beaucoup de projets expérimentaux interactifs VR dont Alice, Jack. Avec ces trois producteurs on a pu réaliser French Kiss avec 50 000 €. On a pu maîtriser la partie tournage, postproduction image comme son, mais c’est sur le développement interactif qu’on a failli ne pas être dans les lignes budgétaires. Ce qui a rendu ce développement particulièrement difficile c’est que dans ce film en VR il n’y a aucun point de montage. En d’autres mots, le film n’existe pas en version assemblée,  cela n’existe qu’au moment du visionnage.  Il n’existe pas de montage linéaire du film.

En fait du côté du récit c’est le spectateur qui va piocher dans des séquences (les couples) mises dans un logiciel.

DB - Vous voulez parler de plans-séquences plus que de plans ?

PT - Oui, c’est une remarque justifiée. Nous avons conçu cette histoire sur la base d’une dramaturgie classique au cinéma. Mais je me dois de préciser et ce n’est pas une vrai digression – pour moi la VR est un média à part, qui est un mélange de cinéma, de théâtre et de jeu – ce n’est ni la télé, ni le cinéma,  ni du jeu – c’est donc un média à part entière, un nouveau média, même s’il emprunte aux trois autres.

Donc, à la base, notre cohérence était celle du spectateur de cinéma : avoir envie de connaître des fragments de l’histoire de ces couples et l’envie de rester avec eux, enjeu traditionnel de la dramaturgie  « personnage » au cinéma. Pour créer avec Nicolas Beucher une vraie histoire, cela demandait de rester au moins deux à trois minutes avec chacun de ces couples. Puis notre raisonnement fut de se dire : si je suis dans un café comme un client observateur, il semble nécessaire qu’on ait une cohérence globale,  d’où l’introduction d’une scène d’ouverture et d’une scène de conclusion, une scène de fin. Et actuellement nous voyons limites de l’interactivité de ce French Kiss : on aimerait pouvoir sortir de chacune des histoires et pouvoir les revivre, et plus encore ne pas limiter l’interaction à un seul spectateur central. C’est pourquoi le French Kiss 2 offrira bien plus de possibilités d’interaction au spectateur, mais cela ne sera jamais au détriment de la cohérence, de la multiplicité des récits et de la résolution finale.

DB - Ce média à part entière, puisqu’il se veut interactif, comment joue-t-il avec le temps ?

PT - Pour nous, dès nos débuts dans la VR, nous avons pensé que le rythme d’un plan 360 devait être plus long que celui issu d’un travail classique en champ/contrechamp en cinéma 2D à plat. La volonté était de ne pas déstabiliser le spectateur et de lui donner le temps de vivre pleinement l’espace du 360. Mais cela est un peu déjà du passé car, finalement, il me semble plus important de mieux rythmer les successions de plans-séquences que de tenir compte de cette découverte potentielle de l’espace par le spectateur.

Aujourd’hui sur les films VR, ce temps on peut le compresser et moi je suis plus favorable à une écriture efficace et rapide.  Mais la VR impose des formats de film de fiction plus courts que dans le cinéma. Les gens n’ont pas encore l’habitude de passer plus d’une heure avec un casque. La seule fiction que j’ai vue et vécue agréablement c’est le film Myubi primé à Arles 2017 des studios canadiens Felix et Paul ; il dure 40 minutes et c’est déjà exceptionnel.

Pour en revenir à des données plus techniques, l’expérience de visionnage d’un film en VR fait que le spectateur est partie intégrante de la sphère dans laquelle le rigg a été filmé. Via ses yeux, ses oreilles,  son cerveau intègre qu’il fait partie de l’espace-lieu; son corps, lui, reste physiquement planté dans le lieu salle de visualisation. Cette dichotomie se manifeste par une cinétose. On peut se sentir légèrement malade car votre cerveau voit et entend des choses qui ne sont pas en corrélation avec son corps qui, lui, est fixe. Ce qu’on appelle la proprioception demande d’être en accord avec ce que l’on voit. Ce besoin physiologique se retrouve dans l’ergonomie des sièges utilisés actuellement en visionnage VR, des sièges à même de permettre l’accompagnement des mouvements.

DB - Lors de mes expérience VR, j’ai constaté que la restitution de l’échelle humaine pouvait être très diversifiée dans le casque, avez-vous un avis sur cela ?

PT - Pour ce qui est de la conception de French Kiss, dès le départ nous souhaitions faire vivre le café au spect-acteur dans une position assise de client fantôme. Toutes les hauteurs de caméra devaient prendre ce point de vue perspectif. Là où c’est bien fait, c’est qu’on reste sur ce point de vue, qu’on soit un peu plus en contreplongée ou en plongée. Dès le départ, on devait être conscient de la place donnée au spectateur et si de cette place, on aurait un regard proche ou reculé par rapport aux couples.  Et c’est bien le positionnement du rigg qui influe dans la VR sur la taille des personnages dans la restitution 360. On a le point de vue d’un enfant si on est à la hauteur d’un enfant et celui d’un adulte debout si la caméra est à une hauteur poitrine-adulte.  En cinéma, on sait l’importance des choix de points de vue, créant avec une optique spécifique des cadrages à valeurs artistiques dont l’agencement crée une patte, un style de réalisation. Dans le futur, un spectateur fantôme avec divers points de vue sera possible, mais seulement quand le spectateur aura été familiarisé avec la VR. Je pense qu’il se sera habitué à vivre plusieurs points de vue dans une histoire, comme ce fut le cas au début du cinéma dans ses 30 premières années.

DB - Le son en VR sert-il au récit ?

PT ?- Oui, oui… et là sur l’expérience Tara en cours, qui est un documentaire. Il y a une voix off et la narration permet de dérouler l’histoire, de donner un fil rouge, mais je me rends compte que si on laisse traîner l’image pour que le spectateur soit plus libre de prendre plaisir à contempler le visuel, il reste guidé par le son.

En 360, l’œil et le cerveau n’ont pas le temps de tout percevoir. L’œil se focalise sur ce qui lui paraît intéressant à l’image, mais les sons perçus à droite, à gauche agissent pour le conduire dans le récit alors qu’il peut se perdre dans l’image. Avant on se tenait souvent à ce que l’image soit la construction du récit, le Son moins. Je pense vraiment que l’audio acquiert encore plus de lettres de noblesse dans la VR, surtout quand Vincent Magnier est à la manœuvre !

DB - Comment se passe la commercialisation de French Kiss ?

PT - French Kiss est fini et il est pré-commercialisé sur Oculus. On souhaite l’exploiter dans des festivals et dans des salons. Nous avons deux distributeurs, l’un pour l’Europe et l’autre pour le monde. Un mandat de cession limité dans le temps été signé en Tunisie.

À moyen terme, French Kiss sera en libre accès sur Internet et téléchargeable sur Oculus.

DB - Un mot sur le prochain ?

PT - Ce qu’on souhaite c’est de tourner à l’étranger, en gardant le lieu Café, mais avec socialement d’autres codes sociaux avec des désirs du côté de la Colombie ou de la Chine.

Pour une VR STEREOSCOPIQUE

ITW de Jean-Marc MORO

Propos recueillis avant la finalisation de Tara au cœur du Corail.

Ce que je recherche, c’est faire partager l’amour pour l’océan, et cette possibilité je l’ai réellement trouvée dans la réalité virtuelle. Avec la stéréoscopie, au lieu d’avoir un animal plat, je vais avoir la rondeur du requin-baleine, je vais réellement avoir une sensation 3D, avoir la profondeur de champ concrète palpable virtuellement et avoir devant moi un animal et qui sera beaucoup plus proche de l’expérience de la réalité que toute autre représentation antérieure. Avec l’image flat, comme celle de Tara on est encore loin – en tout cas pour moi et en fonction de mon passé antérieur de plongeur et mon expérience accumulée du monde sous-marin –de l’expérience VR stéréoscopique vécue !

Pourtant mes amis plongeurs à qui je montre du flat sont totalement étonnés, et leurs réactions enthousiastes m’encouragent à aller plus loin dans la technique de captation.

Nous sommes tous perfectionnistes ici et peut-être qu’après l’étalonnage de Tara je serai enthousiaste plus encore !

Cameraman, réalisateur et développeur

Mon prochain rigg en VR stéréoscopique disposera de cinq faces avec deux caméras sur chaque face. Deux caméras au sol sur le nadir et une caméra au zénith. Il y a un moment où on doit se limiter si on veut avoir le nadir. En postproduction on se retrouve avec un nombre de colures (étape du stitching) démultiplié, mais qui reste opérable.

Le rigg que je développe, je le fais pour des caméras 2,7K 60i/s. et si nous sommes un peu en avance tant mieux, mais on sait que la technologie de nos jours va à vitesse grand V. Je sais qu’il existe une caméra 4K 60i/s. qui arrive sur le marché et après nous pousserons jusqu’à filmer en Raw.

Voilà mes challenges de développeur-concepteur-plongeur-cameraman: ma passion !

Producteur et en partie financeur de french kiss

Sur French Kiss, comme Pascal vous l’a déjà confié, j’étais coproducteur délégué et, au-delà de mon apport financier lors du tournage, j’étais une petite main avec mes connaissances de réalisateur documentaire, mes compétences débutantes en VR, en particulier sur les riggs et les limitations du stitching. Pour réussir des stitchings, il faut éviter tout mouvement « au point de couture », donc c’est l’œil qui s’exerce dès le tournage et aussi sur le logiciel de postproduction. Mais la responsabilité fut celle de Castor, technicien rigg et supervisor stitching au tournage.

Avec Pascal et l’équipe, tout avait été prévu avant le tournage : la distance et la hauteur de la caméra par exemple. Chacun tenait compte des limitations VR.

De plus, en VR vous avez une zone de confort et aussi une zone d’intimité. Si vous ne respectez pas ces deux zones, celui qui vit le film avec le casque ne va pas se sentir bien, car vous jouez avec la physiologie des humains et leur psychologie !

Le fait de mettre le casque vous met en position de sortir consciemment de la réalité pour entrer dans l’univers d’une réalité dite virtuelle. Le casque peut être, psychologiquement, une protection ; ceci étant,  j’ai personnellement vu des personnes avoir une réaction de stress, durant leur expérience, lorsque par mégarde ou par jeu, quelqu’un venait à leur toucher un bras, une épaule. Le spectateur vivant une expérience VR doit être protégé durant toute la durée de son immersion. À Cannes, sur le pavillon Next, les opérants de la société Diversion, qui est en charge de cette salle de cinéma VR, sont appelés – et cela veut tout dire – des anges gardiens !

Un carnet bien rempli…

L’expédition Tara m’a appelé pour filmer leur travail et j’ai évidemment accepté. Nous allons montrer notre film en partenariat avec Disney Nature et la sortie de leur nouveau documentaire Blue, au MK2 Bibliothèque et sur une exposition à l’observatoire du BHV. La fondation Tara alliant un partenariat avec la fondation Cartier, mais cela  est déjà passé, nous serons en mai et juin au musée d’art moderne de Shanghai. Et d’ores et déjà mon mois d’août se passera à bord de la goélette Tara,  entre La Paz et Panama pour aller filmer, toujours en réalité virtuelle sur Clipperton, un îlot français perdu dans le Pacifique au large du Mexique, où devrait être établie une base scientifique dans les prochaines années. Une île chère à Jean-Louis Étienne qui y a consacré une de ses plus belles expéditions.

En propre, j’ai aussi un projet d’aller filmer des Indiens, projet déjà en cours. Il s’agit de la tribu Kogi,  qui vit au nord de la Colombie. Pour Nicolas Hulot, cette tribu a une acceptation inconsciente des concepts actuels de l’écologie et de la gestion des ressources terrestres. Non impactés par nos civilisations,  ils se sentent encore de nos jours « gardiens de la Terre », ils dédient leurs vies à la prière, pour la protection de la planète Terre, qu’ils appellent Aluna. Chez eux, elle est innée, chez nous il y a encore du chemin à parcourir. Mais je ne perds pas espoir !

&&&&&&&&