360 FILM FESTIVAL #5 – Focus on the Winners!
The 360 Film Festival invites you each month with an interview of one of the winners.
My Identity is this expanse!
BEST SOUND
This month, we invite you to discover the interview with the creators ofMy Identity is this expanse! : Karolina Markiewicz and Pascal Piron.
360FF : The place of the spectator forces him or her to remain enclosed to give the work its full meaning. A difficult challenge for an interactive work but one that works perfectly. How was the sound environment thought out and created to immerse the spectator?
HETEROTOPIA
BEST INTERACTIVITY
This month, we invite you to discover the interview of the HETEROTOPIA creators: Léon Denise, Samuel Lepoil et Dorian Rigal.
360FF: Architecture is one of the characters in the work. Why did you use / promote this art?
Heterotopia – Miroirs et Perspectives from MINUIT on Vimeo.
Baba Yaga
BEST IMAGE
This month, we invite you to discover the interview with the creators of Baba Yaga : Eric Darnell, Mathias Chelebourg and Baobab Studios Team.
360 Film Festival : Can you tell us about the genesis of the project?
Eric Darnell : Like most folks, I learned about the evil “witch in the woods” in childhood. This witch rides a broom, lives in a gingerbread house and tries to lure unsuspecting children into her kitchen so she can cook them up.
I was surprised when, as an adult, I came across the slavic witch, Baba Yaga. She is similar to the witches I grew up with, but instead of a broom, she rides a mortar and uses a pestle sort of like an oar. And instead of a house made of gingerbread, her house is perched atop a pair of stomping chicken legs.
I was curious and so I started reading the fairy tales that she inhabits. Sure, most of the time she is still the evil witch in the woods, but, I discovered that sometimes she is willing to compromise. She might cut a deal — “you do this for me and I’ll do this for you.” And sometimes, she is actually a good witch who will help a lost traveller.
his gave me an idea: what if Baba Yaga is not a person, but is a title? What if the quality of Baba’s character is a function of the quality of whoever is occupying the role at the time?
This became the catalyst for our VR piece, wherein two children, in an effort to save their dying mother’s life, must enter the dark forest and face the dreaded witch. They triumph over the witch, but the price they pay for their success is that one of them must take over the witch’s role and become the new Baba Yaga.
360FF : Animated works are very successful in immersive works. In your opinion, why such a success?
Eric Darnell : The primary reason that Baobab’s animated VR works are successful is because they are not created earlier, put in the can, and then just replayed in the headset. Instead, each new frame is created on the fly 60-90 times a second in real time. What this means is that the viewer can interact with their world and the world can respond to the viewer’s actions.
Sure, you can look wherever you want, but more critically, you can reach out and touch things, pick things up, and use them. You can have a very real impact on your surroundings.
But, perhaps most importantly, you can interact with characters in these VR worlds in meaningful ways. The other characters can communicate with you. They can look you in the eye, which is one of the most primary ways we all communicate with each other — even with our pets. And these same characters are able to look you in the eye no matter where you choose to be in the world. The other characters can turn their head, or their entire bodies if necessary, they can seek you out, find you wherever you happen to be, and make eye contact. Then, once they make that connection, they can act in a way that lets you know how they feel. Maybe they speak to you, or maybe they tell you what you need to know by the look on their face. And if the communication is successful they might even inspire you to take some kind of action. And when you take action, the other characters can respond to your actions — just like it works in real life.
In short, other characters recognize that you are in their universe and act in ways that tell you that you matter to them. Maybe this means that they see you as someone who can help them with a problem they are having, or maybe it means that they are terrified of you, or maybe they want to eat you! But whatever character reaction the narrative might demand, the bottom line is that the viewer recognizes that they matter to the other character.
This is our goal — to make the viewer matter. And because VR’s superpower is IMMERSION, when we do it right it is far easier for the audience to suspend their disbelief and simply “get into it”. Some of the immersion you get in VR is practically for free because part of your brain, I call it the “reptile brain”, already believes it is all real anyway. (That’s why I find it next to impossible to stand on the edge of a cliff in VR). But when other characters are in the world with you, responding to your actions, and treating you like you are real, it’s not that hard to take the next step, just go with it, and believe in those characters, too.
Of course, to do this successfully requires a combination of nuanced animation and a robust AI system that can account for the essentially infinite possibilities that come with being immersed in a world with other “living” characters.
360FF : Baobab Studios is world-renowned for its high-quality immersive animated works. What was the starting point for the visual style used in Baba Yaga?
Mathias Chelebourg : While exploring the unique language of VR we discovered immersive storytelling has a lot more in common with Theater than it has with traditional Cinema. In a headset, narration unfolds almost the way dreams do, without any clear cuts or transitions among space and time. We got excited about the idea to develop this visual concept further in Baba, and design environments and lighting the way you would for stage theater.
A second key statement of our style was to transcend, from the start, the performance constraints of mobile platforms by adopting a mid-century inspired approach to animation and visual details : Strong and simple expressive shapes, limited oneiric color palet etc… Everything in Baba is hand-painted by artists with illustration in mind and that makes the viewer feels like he is wandering inside the adventurous world of an epic animated pop-up book !
360FF : Interactivity is very important. Several endings are possible and more and more VR works offer spectators the opportunity to create their own narrative. What led you to propose several stories?
David Kahn : Part of the goal for all of our projects is to make the viewer matter, in Baba Yaga we wanted to make sure that your choices affected the outcome of the story. In both Asteroids! and Bonfire we saw the impact that choice had on viewers’ reaction to the story and we wanted to take it to the next level with Baba Yaga.
Throughout the journey in Baba Yaga you play the role of the older sibling, protector to your younger sister Magda. The bonds you form with Magda add weight to the decisions about what path to take and what type of witch you should become. With the power of Baba Yaga dependent on who wields the mask, players will be able choose and experience the consequences of their actions.
360FF : The emotions of the actresses are really “touchable” in the animation. How did you go about capturing them?
Kane Lee : Our team believes that, at its core, animation is about capturing what’s going on inside the mind and hearts of these characters. So we’ve built an amazing proprietary pipeline focused first and foremost on achieving the most complex and nuanced character performances we can in a real time game engine.
The subtleties in their facial expressions, the handcrafted feeling of their animation, the emergent behavior as they respond to the viewer’s movements and motions — all of that in Baba Yaga is the culmination of 5 years of our artists, animators, engineers and storytellers collaborating together. It also helped to have the most talented all-female cast lending their voices to these characters: Academy Award winning actors Kate Winslet and Jennifer Hudson, Star Wars lead actor Daisy Ridley, and the legendary Glenn Close. There was great motivation there for our team to match their character performances with their incredible voice acting.
360FF : Baba Yaga‘s atmosphere and visual ambience make you want to be immersed in it beyond a VR headset. Has an installation been considered to go with the immersive work?
Kane Lee : Over half of the production phase of Baba Yaga was accomplished remotely during the COVID lockdown so while we have considered physical installations for the piece, and had been approached by some amazing exhibition spaces, we anticipated early on that location based entertainment for VR would be a challenge in the near term. In fact, we had been invited to have a physical presence to preview the work at the most prestigious film festivals in the world before the lockdown.
However, we adjusted our expectations and fully embraced the idea of a virtual installation, so we actually created an indoor gala exhibition space in VR (with AltSpace) leading into an outdoor reimagined enchanted forest inspired by Baba Yaga so that we could have the 1st-ever red carpet VR premiere in VR to celebrate the launch of Baba Yaga on the Oculus Quest in January.
Jennifer Hudson co-hosted with Baobab Studios, Daisy Ridley, Jane Rosenthal and the Tribeca Film Festival, and Disney animating legend and Oscar winning director Glen Keane (Dear Basketball, Over the Moon) presented our team on stage in front of a huge screen in which we could show the piece in 2D. It was the first time a VR premiere like this was covered on the same night by mainstream television and news media like ABC, Entertainment Tonight, Access Hollywood, Extra, and much more!
360FF : What are the next projects?
Kane Lee : At Sundance, we world premiered Namoo, directed by Erick Oh who is currently nominated for an Academy Award. It’s a moody, lyrical, narrative poem come to life through animation about the life of an artist, from beginning till end, and the level of animation our team could accomplish using only Quill completely surpassed our expectations. That it deals head-on with one’s mortality and was produced and finished during the pandemic is perhaps an inextricable part of its fabric, yet we want the audience to feel a sense of hope, and even acceptance, upon experiencing it. We are also working with 3DAR presently on Part 2 of the Paper Birds, which world premiered at Venice, and like Baba Yaga, uses the latest hand tracking technology to strengthen the immersion of our stories while allowing the technology (in this case, hand controllers) disappear so the story, and your part in it, feel more seamless.
Finally, Baobab Studios is evolving as an animation studio where XR is one of its most powerful tools to tell stories, but not restricted to it. We believe the best stories, if done right and with the best partners, can travel across mediums and are working closely with the biggest Hollywood studios and streamers, as well as traditional publishers, in the world right now to develop our characters and universities into movies, series, interactive games, comic books and novels.
Kinshasa Now
GRAND PRIX
This month, we invite you to discover the interview of Marc-Henri Wajnberg and his moving journey with the children of Kinshasa.
360 Film Festival : Can you tell us about the genesis of the project?
Marc-Henri Wajnberg : I fell in love with Kinshasa about ten years ago. During my travels, I was touched by the situation of street children. There are 35,000 of them living and sleeping on the streets of Kinshasa.
I wanted to shed some light on this phenomenon that touched me deeply. I set myself a challenge: to deal with this subject in different formats. Thus, in ten years, I have made a feature-length fiction film – Kinshasa Kids; a web film – Kinshasa – as part of the award-winning Africa of Independence collection for Arte; two linear and interactive versions of a virtual reality film – Kinshasa Now and two documentaries – Enfants Sorciers, Kinshasa and the soon-to-be-released feature Chancelvie.
It has never been a question of exposing this phenomenon as if it were a cabinet of curiosities. It is important for me as a human being to report on the existence of these children and to question this phenomenon. For the interactive version of Kinshasa Now, I decided to give them a voice, entirely. This is one of the reasons why I organised wild castings, I wanted street children playing their own role.
The different sequences that can be seen in the virtual reality film are inspired by their life stories. I opted for forty possible paths to highlight the plurality of these children’s stories. There are six moments of choice that allowed me to arrive at a complex tree structure. No choice is good or bad in itself. Some situations can be more problematic or dangerous and the interactivity makes us aware of this.
That’s how my first virtual reality film was born: Kinshasa Now, about street children in Kinshasa.
360FF : Kinshasa Now is your first immersive work. Was making your feature film Kinshasa Kids even more immersive important to you?
MHW : It was a real challenge to deal with the same theme in different formats and genres. The street children of Kinshasa touched me, I felt the need to give them a significant place in my artistic career.
I wanted with Kinshasa Now to give the viewer the feeling of being active. Not only through the choices they make (will they stay alone or join the Grand Market gang?), but also through the use of immersion in virtual reality. Indeed, everyone is free to create their own film as they see fit, as long as everything is happening in 360 degrees around you. It’s the same in real life, we don’t all look in the same directions and we don’t attach the same importance to details.
Also, as a filmmaker, I like to explore new territories and I didn’t know anything about virtual reality. It was a real challenge to shoot, but I think the immersion it brings is impressive and it serves the purpose!
360FF : Soon we, the audience, are forced to make choices in the work to move the story forward. This makes it all the more immersive. How did you design all the possible paths and endings?
MHW : The tree structure of the interactive version of Kinshasa Now depends on the six moments of choice. In all, there are forty possible scenarios, allowing the viewer, if he wishes, to repeat the experience by opting for other choices. The viewer will then see another film while understanding the consequences of these choices.
All the scenes are inspired by the life stories I have collected over the last ten years. And each sequence corresponds to a theme that I felt was relevant to deal with in virtual reality. These include family and peers, work, health, education and resilience. Broad themes that allow for a macro analysis of the phenomenon of street children.
The film lasts between seven and twenty-three minutes depending on the choices made.
There is no judgement about the choices. A choice may lead to the end of the immersive experience because the situation presented too many uncertain elements for a street child and so the story stops. The immersive version allows the viewer’s awareness to be heightened and the comparison of paths opens up the debate on the different sequences.
I decided to make a tree structure of the scenario with forty possible paths in order to cover a maximum of situations experienced by her children. Of course, it was impossible to represent them all and I had to make choices. I kept the scenes that inspired me the most artistically or that touched me in my relationship with Kinshasa.
360FF : One of the most important characters in the work is of course the city of Kinshasa, which you know well. How did you choose the locations?
MHW : Kinshasa is indeed a city I know very well. I have been going there several times a year for more than ten years.
I love this city for many reasons and I immediately saw the artistic potential of a 360 degree film in the middle of its streets and markets. These iconic places, such as the Grand Market or Kinkole Harbour, are very active and always full of events. For the viewer, being in such places and in 360 degrees, allows to imagine the electric atmosphere that reigns in Kinshasa.
I wanted to be in places with lots of people and to shoot outside. For example, I really enjoyed organising a concert in a street, passers-by stopped and danced, the atmosphere was insane!
360FF : How did you meet and work with the young actors?
MHW : I asked Emma, a former street child actor from Kinshasa Kids, who I collaborate with when I come to Kinshasa, to help me find street children willing to act in my film. Emma spread the word and organised several wild castings. The children were then asked to tell us their stories on camera.
I had no predefined criteria, I chose the children by feeling. I chose five children: four boys and one girl. I rehearsed sequences to be shot with them. I rented accommodation for the children and hired a lady to look after them. So they had formed a real bond before the shooting started. By living together, the five children quickly became a band, both on screen and in real life.
During the shooting, I left a lot of room for improvisation. The children explained to me how they would have reacted to a particular situation. Then I asked them to imagine themselves in that situation, which made it possible to get a very natural performance from them because these were situations they had already experienced most of the time. In order to be respected on the street, children have to play a certain role all the time. So they turned out to be excellent actors.
At the end of the filming we discussed their future and together we visited many rehabilitation centres. Three boys returned to their families after a few weeks of apprenticeship in a centre and the fourth has just graduated from a baker’s course. As for the girl, Chancelvie, she found herself in a centre for girls, separated from her friends. She decided to go back to living on the streets. I kept in touch with her and together we decided to make a documentary film about her. Today, she is a mother and her son will soon be one and a half years old.
360FF : Kinshasa Now is having a very nice success at festivals and with audiences. Did you expect this? Has immersive film changed your “vision” of cinema?
MHW : We were hoping that the film would be selected in festivals, it’s important for the film, for the issue and also for me as a filmmaker to have this recognition. We knew that the pandemic would complicate things, that many festivals would be cancelled or postponed. Then there was the big surprise! One Saturday morning in July, I was in the office thinking about the structure of my next documentary, an email arrived and I discovered a message from the Venice Biennale. Not only is the festival taking place, we are selected for the official competition and we are the only Belgian production in competition in the entire programme of the 77th Mostra! The good news is that despite the pandemic period, we are very happy.
Kinshasa Now was selected in 19 festivals, shown in more than twenty countries, in about thirty cities, and received eight Grand Prizes, the first of which was the Grand Prize at the 360 Film Festival! And I must say that the words of Céline Tricart, president of this edition, made a deep impression on me, I was very touched.
My vision of cinema has always been singular, I am a bit of an outsider. I like to challenge myself as a director and this immersive experience has questioned my way of making cinema. It allowed me to put the viewer at the centre of the film.
I like the idea that the viewer is active and that the subject of the film is reinforced by the feeling of immersion that virtual reality offers.
It’s a great discovery!
360FF : Future immersive or non-immersive projects in sight?
MHW : At the moment, I don’t have any other virtual reality projects planned! I have just finished a documentary on Chancelvie, the girl in the group playing in Kinshasa Now. This teenager, living in Kinshasa, shows an extraordinary inventiveness and inspiring strength despite the daily difficulties of street life.
I am very happy with the result and, of course, I am still in contact with Chancelvie and her partner friends in this documentary. I help them financially, and I have taken out health insurance for them so that they can get free treatment.
Kinshasa Now – Trailer from Wajnbrosse Productions on Vimeo.
Minimum Mass
Best Storytelling
This month, we invite you to read the interview with Raqi Syed and Areito Echevarria, the creators of Minimum Mass.
360 Film Festival : Can you tell us about the genesis of the project? How did you meet?
Raqi Syed : Minimum Mass arose out of our personal experience in conceiving our son. We had several miscarriages and wrote the script while this was happening as a way to process it. The original drafts were pretty dark because we were in the middle of the grief. By the time we took the project to the Sundance New Frontier Lab in 2018, a couple years had passed and we had had our son. Part of the early development process was to revise the story so it went beyond the stages of immense sadness and offered an uplifting narrative arc.
We met in 2005 when we were both working as visual effects artists at Weta Digital. We were both working on The Day the Earth Stood Still, the Keanu Reeves remake. If you haven’t seen it, it’s a classic!
360FF : Minimum Mass is a very personal and intimate story. Why did you choose VR to tell it?
RS : We initially wrote Minimum Mass as a short linear live-action film. In 2017 there was a lot of exciting experimentation happening in VR so we started revising it as a cinematic 360 live-action experience. It was only after the New Frontier Lab, when we further developed the characters that we realized a major theme of the story is perspective. In particular, that this couple, Rabia and Sky, have different perspectives on the same event. Their challenge is learning how to see each other’s point-of-view in order to go on an emotional journey together.
Once that became clear to us, the user experience and interaction of 6 dof VR became an obvious choice as a medium. And finally, as visual effects artists it made sense to experiment with computer graphics and real-time rendering technology. We wanted to work to our strengths but also grow our technical skill sets.
360FF : The relationship between the authors and producers is very important for the success of a very personal work like this. How did the four of you work together?
RS : We met Katayoun Dibamehr and Avi Amar at a few different events between 2018 and 2019, first at Kaleidoscope’s Dev Lab in Los Angeles and then at Cannes XR in France. Each time we met we shared our progress on Minimum Mass and learned more about Floreal’s other projects in development.
What we learned about each other is that we had similar tastes and sensibilities in storytelling. Mainly we just liked each other. This was the basis of our working relationship over the course of Minimum Mass’s development and production. Our shared values allowed us to work through creative differences and arrive at a great result. Katayoun and Avi are really good at building relationships with people and sharing our vision with collaborators. With their producing experience and our VFX production knowledge we were able to cover a lot of ground together.
360FF : The work is interspersed with dreamlike passages with the thoughts of the protagonists, which reinforces the storytelling and the immersion. Did you think about these passages when you were writing?
RS : The dream-like first-person sequences evolved in a few different ways. Initially we had imagined the entire experience would be first-person because that was the trend in VR at the time. There were a lot of assumptions about embodiment and the participant’s agency and even basic questions about how editing and visual language in VR might work.
As we revised the script to reflect two character’s perspectives we moved towards more cinematic ideas about the third person’s perspective. At this point the script was entirely written in the third person. It was only during the week where we shot the motion capture and performance with Frankie Adams and Allan Henry that we started to feel the experience needed another narrative layer which would allow us to access Sky and Rabia’s consciousness.
So we quickly devised these scenes and recorded the audio in the chance that it might work. Once we brought the dialogue into the engine it all clicked and it helped flesh out Sky and Rabia’s relationship to see it from both a distance and from the inside.
360FF : At the beginning, VR was seen as an extension of cinema. Over time, the discourse has changed to bring VR closer to the theatre. Will the writing of an immersive work not be a combination of the two?
RS : Yes, it seems as more artists with a theatre background experiment in VR they are helping to change the visual language, particularly in terms of how we understand and interpret “immersive.” Games too are so advanced with interactivity and what the real-time engine is capable of that we have to be able to look to games as a medium for what VR can do to engage the participant in meaningful and fun ways.
We’re not sure why, but in VR we still tend to see certain fictional genres like the fairy tale in heavy rotation. The tradition of telling personal stories through the lens of genre is very rich in cinema. What we find inspiring about cinema is the way it can interpret, revise, and mash up genre. And then finally, novels remain one of the best ways to access characters’ consciousness. So as VR creators we have to remain open to all the other mediums.
360FF : Any future immersive or non-immersive projects in sight?
RS : We are working on two projects right now, a game and a VR experience. Shadow Work is a game about a girl whose father kicks her out of the house when her doppelganger appears at the front door. Raise Ravens is a VR experience about being haunted by and resurrecting a dead father. Both projects are set in speculative New Zealand and are in early development.
Rain Fruits
Special Jury Mention
This month, we invite you to discover the interview of Sngmoo Lee, the creator of Rain Fruits.
360 Film Festival : Can you tell us about the genesis of the project?
Sngmoo Lee : I came across the writing of Thura, an alien worker from Myanmar, in a booklet on the working conditions in Korea. I was deeply touched by his writing and decided to turn it into VR cinema
Using the empathetic power of VR and the poetic quality of volumetric point cloud imagery, I wished the audience to become Thura to experience the anger, sadness, alienation, and nostalgia of an alien worker in a foreign country.
360FF : The story is very personal. How did you go about writing the script?
SL : While trying to keep his writing as intact as possible, I restructured his journal and added some extra elements to expand his personal experience to the general human conditions in the capitalist system.
360FF : How did you choose the visual atmosphere?
SL : Initially, I wanted to combine live-action video for the background and volumetric scanned character to contrast a ghost-like alien worker with a concrete capitalist world.
During the test shooting, I decided to change the background also to the Lidar scanned point cloud imagery. It fitted better not only aesthetically but also thematically.
360FF : Can you explain to us what techniques did you use to create the settings, the characters and the main character?
SL : We used Leica Lidar to scan the atmospheres and use Azure Kinect camera to capture the characters. With this technology, I wished to illustrate the main character’s arc through the ever-changing volumetric fidelity of Thura’s body.
Thura’s abstract imagery represents insecurity, loneliness, and the fragile status of an alien worker. At the end of the film, when his Korean boss also turned into a colorless abstract figure like Thura, I wanted audiences to feel that everyone is an alien in this capitalist system.
360FF : Interactivity is more and more emphasized in VR at the expense of 360 video. Does the documentary impose 360 video?
SL : Thura’s writing style and his rootless position in Korean society called for this choice.
He is a resident of Korean society but also is a remote observer. He exists but never fully belongs in Korea. Non-interactive virtual reality cinema was the best medium to demonstrate this existential paradox.
360FF : In South Korea, immersive media is much more established than in Europe. How can you explain this?
SL : Korean government put in a lot of money in XR industry. But mainly to the services and technologies, not much in the storytelling/aesthetic side of XR. I get a lot of insights from European XR artists.
360FF : What about the new projects ??
SL : I’ve just finished 360 live-action cinema. I am also developing multiple projects ranging from volumetric performance with data visualization to immersive VR theater using AI actors.
360 FILM FESTIVAL #5 – Focus sur les Lauréats !
Le 360 Film Festival vous donne rendez-vous chaque mois avec une interview d’un des Lauréats.
My Identity is this expanse!
MEILLEUR SON
Ce mois-ci, nous vous invitons à découvrir l’interview des créateurs de My Identity is this expanse! : Karolina Markiewicz et Pascal Piron.
360FF : La place du spectateur le contraint à rester enfermé pour donner tout son sens à l’œuvre. Pari difficile pour une œuvre interactive mais qui fonctionne parfaitement. Comment l’ambiance sonore a-t-elle été pensée et créée pour immerger le spectateur ?
HETEROTOPIA
MEILLEURE INTERACTIVITE
Ce mois-ci, nous vous invitons à découvrir l’interview des créateurs de HETEROTOPIA : Léon Denise, Samuel Lepoil et Dorian Rigal.
360FF : L’architecture est l’un des personnages de l’œuvre. Pourquoi avoir utilisé / mis en avant cet art ?
Heterotopia – Miroirs et Perspectives from MINUIT on Vimeo.
Baba Yaga
MEILLEURE IMAGE
Ce mois-ci, nous vous invitons à découvrir l’interview des créateurs de Baba Yaga : Eric Darnell, Mathias Chelebourg et l’équipe de Baobab Studios.
360 Film Festival : Pouvez-vous nous parler de la genèse du projet ?
Eric Darnell : Comme la plupart des gens, j’ai appris l’existence de la méchante “sorcière des bois” dans mon enfance. Cette sorcière chevauche un balai, vit dans une maison en pain d’épice et essaie d’attirer les enfants sans méfiance dans sa cuisine pour les cuisiner.
J’ai été surprise lorsqu’à l’âge adulte, j’ai découvert la sorcière slave Baba Yaga. Elle ressemble aux sorcières de mon enfance, mais au lieu d’un balai, elle chevauche un mortier et utilise un pilon comme une rame. Et au lieu d’une maison en pain d’épice, sa maison est perchée sur une paire de pattes de poulets qui piétinent.
J’étais curieux et j’ai donc commencé à lire les contes de fées où elle apparait. Bien sûr, la plupart du temps, elle est toujours la méchante sorcière des bois, mais j’ai découvert que parfois elle est prête à faire des compromis. Elle peut passer un accord : “Tu fais ceci pour moi et je fais cela pour toi”. Et parfois, elle est en fait une bonne sorcière qui aide un voyageur perdu.
Cela m’a donné une idée : et si Baba Yaga n’était pas une personne, mais un titre ? Et si la qualité du personnage de Baba était en fonction de la qualité de la personne qui occupe le rôle à ce moment-là ?
Cette question est devenue le catalyseur de notre oeuvre VR, dans laquelle deux enfants, dans un effort pour sauver la vie de leur mère mourante, doivent entrer dans la forêt sombre et affronter la redoutable sorcière. Ils triomphent de la sorcière, mais le prix à payer pour leur réussite est que l’une d’entre elles doit reprendre le rôle de la sorcière et devenir la nouvelle Baba Yaga.
360FF : Les œuvres animées remportent énormément de succès dans les œuvres immersives. D’après vous, pourquoi un tel succès ?
Eric Darnell : La principale raison du succès des œuvres VR animées de Baobab est qu’elles ne sont pas créées au préalable, mises en boîte, puis simplement rejouées dans le casque. Au contraire, chaque nouvelle image est créée à la volée 60 à 90 fois par seconde en temps réel. Cela signifie que le spectateur peut interagir avec son monde et que le monde peut répondre aux actions du spectateur.
Bien sûr, vous pouvez regarder où vous voulez, mais surtout, vous pouvez toucher les objets, les prendre et les utiliser. Vous pouvez avoir un impact très réel sur votre environnement.
Mais, et c’est peut-être le plus important, vous pouvez interagir avec les personnages de ces mondes VR de manière significative. Les autres personnages peuvent communiquer avec vous. Ils peuvent vous regarder dans les yeux, ce qui est l’un des principaux moyens de communication entre nous, même avec nos animaux domestiques. Et ces mêmes personnages sont capables de vous regarder dans les yeux, où que vous vous trouviez dans le monde. Les autres personnages peuvent tourner la tête, ou tout leur corps si nécessaire, ils peuvent vous chercher, vous trouver où que vous soyez, et établir un contact visuel. Puis, une fois qu’ils ont établi cette connexion, ils peuvent agir de manière à vous faire savoir ce qu’ils ressentent. Peut-être vous parlent-ils, ou peut-être vous disent-ils ce que vous devez savoir par leur regard. Et si la communication est réussie, elle peut même vous inciter à agir. Et lorsque vous agissez, les autres personnages peuvent réagir à vos actions, comme cela se passe dans la vie réelle.
En bref, les autres personnages reconnaissent que tu fais partie de leur univers et agissent de manière à te dire que tu comptes pour eux. Cela signifie peut-être qu’ils vous voient comme quelqu’un qui peut les aider à résoudre un problème qu’ils rencontrent, ou bien qu’ils sont terrifiés par vous, ou encore qu’ils veulent vous manger ! Mais quelle que soit la réaction du personnage que le récit exige, l’essentiel est que le spectateur reconnaisse qu’il compte pour l’autre personnage.
C’est notre objectif : faire en sorte que le spectateur soit important. Et comme le super pouvoir de la VR est l’IMMERSION, lorsque nous le faisons bien, il est beaucoup plus facile pour le public de suspendre son incrédulité et de simplement “entrer dans le jeu”. Une partie de l’immersion que vous obtenez dans la VR est pratiquement gratuite parce qu’une partie de votre cerveau, que j’appelle le “cerveau reptilien”, croit déjà que tout est réel de toute façon. (C’est pourquoi il m’est pratiquement impossible de me tenir au bord d’une falaise en VR). Mais lorsque d’autres personnages sont dans le monde avec vous, qu’ils réagissent à vos actions et qu’ils vous traitent comme si vous étiez réel, il n’est pas difficile de passer à l’étape suivante, d’aller de l’avant et de croire aussi en ces personnages.
Bien sûr, pour y parvenir, il faut une combinaison d’animations nuancées (ce qui signifie généralement “faites à la main”) et d’un système d’IA robuste capable de prendre en compte les possibilités essentiellement infinies qui découlent de l’immersion dans un monde avec d’autres personnages “vivants”.
360FF : Baobab Studios est mondialement reconnu pour ses œuvres immersives animées de haute qualité. Quel fût le point de départ du style visuel utilisé dans Baba Yaga ?
Mathias Chelebourg : En explorant le langage unique de la VR, nous avons découvert que la narration immersive a beaucoup plus en commun avec le théâtre qu’avec le cinéma traditionnel. Dans un casque, la narration se déroule presque comme dans les rêves, sans coupures claires ni transitions entre l’espace et le temps. Nous avons été enthousiasmés par l’idée de développer davantage ce concept visuel dans Baba, et de concevoir des environnements et des éclairages comme on le ferait pour le théâtre.
Une deuxième affirmation clé de notre style était de transcender, dès le départ, les contraintes de performance des plateformes mobiles en adoptant une approche de l’animation et des détails visuels inspirée du milieu du siècle dernier : Des formes expressives fortes et simples, une palette de couleurs oniriques limitées, etc… Tout dans Baba est peint à la main par des artistes ayant l’illustration à l’esprit et cela donne au spectateur l’impression de se promener dans le monde aventureux d’un livre pop-up animé épique !
360FF : L’interactivité y est très importante. Plusieurs fins sont possibles et de plus en plus d’œuvres VR proposent aux spectateurs de créer leur propre récit. Qu’est-ce qu’il vous a poussé à proposer plusieurs récits ?
David Kahn : Une partie de l’objectif de tous nos projets est de faire en sorte que le spectateur ait de l’importance. Dans Baba Yaga, nous voulions nous assurer que vos choix affectent l’issue de l’histoire. Dans Astéroïdes ! et Bonfire, nous avons vu l’impact que le choix avait sur la réaction des spectateurs à l’histoire et nous avons voulu aller encore plus loin avec Baba Yaga.
Tout au long du voyage dans Baba Yaga, vous jouez le rôle de l’aîné, protecteur de votre jeune sœur Magda. Les liens que vous nouez avec Magda ajoutent du poids aux décisions concernant la voie à suivre et le type de sorcière que vous devez devenir. Le pouvoir de Baba Yaga dépendant de celui qui porte le masque, les joueurs pourront choisir et subir les conséquences de leurs actes.
360FF : Les émotions des actrices sont vraiment « palpables » dans l’animation. Comment avez-vous procédé pour les capter ?
Kane Lee : Notre équipe est convaincue qu’à la base, l’animation consiste à capturer ce qui se passe dans l’esprit et le cœur de ces personnages. C’est pourquoi nous avons construit un incroyable pipeline qui vise avant tout à obtenir les performances de personnages les plus complexes et les plus nuancées possibles dans un moteur de jeu en temps réel.
Les subtilités de leurs expressions faciales, la sensation artisanale de leur animation, le comportement émergent lorsqu’ils répondent aux mouvements et aux déplacements du spectateur – tout cela dans Baba Yaga est l’aboutissement de 5 années de collaboration entre nos artistes, animateurs, ingénieurs et conteurs. La présence d’un casting féminin des plus talentueux prêtant sa voix à ces personnages a également été déterminante : Les actrices oscarisées Kate Winslet et Jennifer Hudson, l’actrice principale de Star Wars Daisy Ridley et la légendaire Glenn Close. Notre équipe était donc très motivée à l’idée de faire correspondre les performances de leurs personnages avec leur incroyable jeu de voix.
360FF : L’atmosphère et l’ambiance visuelle de Baba Yaga donnent envie d’y être immergé au-delà d’un casque VR. Est-ce qu’une installation a été envisagée pour accompagner l’œuvre ?
Kane Lee : Plus de la moitié de la phase de production de Baba Yaga a été réalisée à distance pendant la crise sanitaire de la COVID. Ainsi, bien que nous ayons envisagé des installations physiques pour l’œuvre et que nous ayons été approchés par des espaces d’exposition extraordinaires, nous avons anticipé dès le début que le divertissement basé sur l’emplacement pour la VR serait un défi à court terme.
En fait, nous avions été invités à avoir une présence physique pour présenter l’œuvre en avant-première dans les festivals de films les plus prestigieux du monde avant la crise. Nous avons donc créé un espace d’exposition de gala intérieur en VR (avec AltSpace) menant à une forêt enchantée extérieure réimaginée, inspirée de Baba Yaga, afin d’organiser la toute première avant-première en VR pour célébrer le lancement de Baba Yaga sur l’Oculus Quest en janvier.
Jennifer Hudson a coanimé l’événement avec Baobab Studios, Daisy Ridley, Jane Rosenthal et le Tribeca Film Festival, et Glen Keane, légende de l’animation Disney et réalisateur oscarisé (Dear Basketball, Over the Moon), a présenté notre équipe sur scène devant un écran géant sur lequel nous avons pu montrer l’oeuvre en 2D. C’était la première fois qu’une telle première de VR était couverte le même soir par la télévision grand public et les médias d’information comme ABC, Entertainment Tonight, Access Hollywood, Extra, et bien d’autres !
360FF : Quels sont les prochains projets ?
Kane Lee : À Sundance, nous avons présenté en première mondiale Namoo, réalisé par Erick Oh, qui est actuellement nominé pour un Oscar. Il s’agit d’un poème narratif lunaire et lyrique qui prend vie grâce à l’animation et qui raconte la vie d’un artiste, du début à la fin, et le niveau d’animation que notre équipe a pu atteindre en utilisant uniquement Quill a complètement dépassé nos attentes. Le fait qu’il traite directement de la mortalité et qu’il ait été produit et terminé pendant la pandémie est peut-être une partie inextricable de sa structure, mais nous voulons que le public ressente un sentiment d’espoir, et même d’acceptation, en le découvrant. Nous travaillons également avec 3DAR sur la deuxième partie des Paper Birds, qui a été présentée en première mondiale à Venise et qui, comme Baba Yaga, utilise la toute dernière technologie de suivi des mains pour renforcer l’immersion de nos histoires tout en permettant à la technologie (dans ce cas, les contrôleurs manuels) de disparaître afin que l’histoire, et votre rôle dans celle-ci, soient plus transparents.
Enfin, Baobab Studios évolue en tant que studio d’animation où la technologie XR est l’un des outils les plus puissants pour raconter des histoires, mais ne s’y limite pas. Nous pensons que les meilleures histoires, si elles sont bien faites et avec les meilleurs partenaires, peuvent voyager à travers les médias et nous travaillons en étroite collaboration avec les plus grands studios et streamers d’Hollywood, ainsi qu’avec les éditeurs traditionnels, pour développer nos personnages et nos universités en films, séries, jeux interactifs, bandes dessinées et romans.
Kinshasa Now
GRAND PRIX
Ce mois-ci, nous vous invitons à découvrir l’interview de Marc-Henri Wajnberg et son émouvant parcours avec les enfants de Kinshasa.
360 Film Festival : Pouvez-vous nous parler de la genèse du projet ?
Marc-Henri Wajnberg : Je suis tombé amoureux de Kinshasa il y a une dizaine d’années. Lors de mes voyages, j’ai été touché par la situation des enfants de la rue. Ils sont 35 000 à vivre et dormir dans les rues de Kinshasa.
J’ai voulu apporter une lumière sur ce phénomène qui me touchait profondément. Je me suis lancé un défi : traiter ce sujet sous différents formats. C’est ainsi qu’en dix ans, j’ai réalisé un long-métrage fiction – Kinshasa Kids ; un film web – Kinshasa – dans le cadre de la collection primée l’Afrique des Indépendances pour Arte ; deux versions linéaire et interactive d’un film en réalité virtuelle – Kinshasa Now et deux documentaires – Enfants Sorciers, Kinshasa et le long-métrage Chancelvie qui sortira bientôt.
Il n’a jamais été question d’exposer ce phénomène comme dans un cabinet de curiosité. Il est important pour moi en tant qu’humain de rendre compte de l’existence de ces enfants et de questionner ce phénomène. Pour la version interactive de Kinshasa Now, j’ai décidé de leur donner la voix, entièrement. C’est notamment pour cette raison que j’ai organisé des castings sauvages, je voulais des enfants de la rue jouant leur propre rôle.
Les différentes séquences que l’on peut voir dans le film en réalité virtuelle sont inspirées de leurs parcours de vie. J’ai opté pour quarante chemins possibles pour mettre en avant la pluralité des histoires de ces enfants. Il y a six moments de choix qui m’ont permis d’arriver à une arborescence complexe. Aucun choix n’est bon ou mauvais en soi. Certaines situations peuvent être plus problématiques ou plus dangereuses et l’interactivité permet d’en prendre conscience.
C’est comme ça qu’est né mon premier film en réalité virtuelle : Kinshasa Now, sur les enfants de la rue de Kinshasa.
360FF : Kinshasa Now est votre première œuvre immersive. Rendre encore plus immersif votre long-métrage Kinshasa Kids était important pour vous ?
MHW : C’était un vrai défi : traiter d’un même thème sous différents formats et dans différents genres. Les enfants de la rue de Kinshasa m’ont touché, je ressentais l’envie de leur donner une place non négligeable dans mon parcours artistique.
J’avais envie avec Kinshasa Now de donner au spectateur la sensation d’être actif. Non seulement par les choix qu’il fait (va-t-il rester seul ou rejoindre la bande du Grand Marché ?), mais également par l’utilisation de l’immersion dans la réalité virtuelle. En effet, chacun est libre de créer son propre film comme il l’entend à partir du moment où tout se déroule à 360 degrés autour de vous. C’est pareil dans la vraie vie, on ne regarde pas tous dans les mêmes directions et on n’attache pas la même importance aux détails.
Et puis, en tant que réalisateur, j’aime explorer de nouveaux territoires et j’ignorais tout de la réalité virtuelle. Le tournage fut un vrai challenge, mais je trouve que l’immersion qu’elle apporte est impressionnante et elle sert le sujet !
360FF : Rapidement nous, spectateurs, sommes obligés de prendre des choix dans l’œuvre pour faire avancer l’histoire. Ce qui est d’autant plus immersif. Comment avez-vous conçu tous les cheminements possibles et les différentes fins ?
MHW : L’arborescence de la version interactive de Kinshasa Now dépend des six moments de choix. En tout, il existe quarante scénarios possibles, ce qui permet au spectateur, s’il le souhaite, de refaire l’expérience en optant pour d’autres choix. Il verra alors un autre film tout en comprenant les conséquences de ces choix.
Toutes les scènes sont inspirées des récits de vie que j’ai récoltés depuis une dizaine d’années. Et chaque séquence correspond à un thème qui me semblait pertinent à traiter en réalité virtuelle. Il s’agit notamment de la famille et des paires, du travail, de la santé, de l’éducation et de la résilience. Des thèmes généraux qui permettent une analyse macro du phénomène des enfants de la rue.
Le film dure entre sept et vingt-trois minutes en fonction des choix effectués.
Il n’y a pas de jugement quant aux choix. Un choix peut amener à la fin de l’expérience immersive parce que cette situation présentait trop d’éléments incertains pour un enfant de la rue et donc l’histoire s’arrête. La version immersive permet d’accentuer la prise de conscience du spectateur et la comparaison des chemins ouvre le débat sur les différentes séquences.
J’ai pris la décision de faire une arborescence du scénario avec quarante chemins possibles afin de couvrir un maximum de situations vécues par ses enfants. Bien évidemment, il m’était impossible de toutes les représenter et j’ai dû faire des choix. J’ai gardé les scènes qui m’inspiraient le plus artistiquement ou qui m’ont touché dans mon rapport à Kinshasa.
360FF : L’un des personnages les plus importants de l’œuvre est bien évidemment la ville de Kinshasa que vous connaissez bien. Comment avez-vous choisi les lieux ?
MHW : Kinshasa est en effet une ville que je connais très bien. Je m’y rends plusieurs fois par an et ce, depuis plus de dix ans..
J’aime cette ville pour diverses raisons et j’ai directement vu le potentiel artistique d’un film à 360 degrés en plein milieu de ses rues et de ses marchés. Ces lieux emblématiques, tels que le Grand Marché ou le port de Kinkole sont très actifs, il s’y passe toujours plein d’événements. Pour le spectateur, se retrouver dans de tels endroits et ce, à 360°, permet de pouvoir imaginer l’ambiance électrique qui règne à Kinshasa.
J’avais envie d’être dans des lieux avec beaucoup de monde et de tourner en extérieur. Par exemple, j’ai pris un véritable plaisir à organiser un concert dans une rue, les passants s’arrêtaient et dansaient, l’ambiance était démente !
360FF : Comment avez-vous rencontré les jeunes acteurs et comment avez-vous travaillé avec eux ?
MHW : J’ai demandé à Emma, un ancien enfant de la rue acteur de Kinshasa Kids, avec qui je collabore lorsque je viens à Kinshasa, de m’aider à trouver des enfants de la rue prêts à jouer dans mon film. Emma a fait circuler l’information et a organisé plusieurs castings sauvages. On a ensuite demandé aux enfants de nous raconter leur histoire devant la caméra.
Je n’avais pas de critères prédéfinis, j’ai choisi les enfants au feeling. Mon choix s’est arrêté sur cinq enfants : quatre garçons et une fille. J’ai répété des séquences à tourner avec eux. J’ai loué un logement pour les enfants et j’ai engagé une dame qui s’occupait d’eux. Ils avaient ainsi tissé de vrais liens avant le début du tournage. En vivant ensemble, les cinq enfants ont très vite créé une bande, à l’écran comme dans la vraie vie.
Lors du tournage, je laissais beaucoup de place à l’improvisation. Les enfants m’expliquaient comment aurait été leur réaction face à telle ou telle situation. Ensuite, je leur demandais de s’imaginer être dans ce cas de figure, ce qui a permis d’obtenir un jeu très naturel de leur part puisque ce sont des situations qu’ils ont déjà vécues la plupart du temps. Pour se faire respecter dans la rue, les enfants doivent en permanence incarner un certain rôle. Ils se sont donc révélés être d’excellents acteurs.
À la fin du tournage, nous avons discuté de leur avenir et, ensemble, nous avons visité de nombreux centres de réinsertion. Trois garçons sont retournés dans leurs familles après quelques semaines d’apprentissage dans un centre et le quatrième vient d’être diplômé d’une formation de boulanger. Quant à la jeune fille, Chancelvie, elle s’est retrouvée dans un centre pour filles, séparée de ses copains. Elle a décidé de repartir vivre dans la rue. Je suis resté en contact avec elle et nous avons décidé ensemble de faire un film documentaire sur elle. Aujourd’hui, elle est maman et son fils fêtera bientôt ses un an et demi.
360FF : Kinshasa Now connaît un très beau succès en festival et auprès du public. Est-ce que vous vous y attendiez ? Est-ce que l’immersif a changé votre ”vision” du cinéma ?
MHW : Nous espérions que le film soit sélectionné dans des festivals, c’est important pour le film, pour la problématique traitée et aussi pour moi, en tant que cinéaste, d’avoir cette reconnaissance. Nous savions que la pandémie allait compliquer les choses, que beaucoup de festivals seraient annulés ou reportés. Puis il y a eu la grande surprise ! Un samedi matin de juillet, j’étais au bureau pour réfléchir à la structure de mon prochain documentaire, un mail arrive et je découvre un message de la Biennale de Venise. Non seulement le festival a lieu, nous sommes sélectionnés en compétition officielle et nous sommes la seule production belge en compétition de tout le programme de la 77ème Mostra ! Les bonnes nouvelles se sont enchaînées malgré la période pandémique et nous en sommes très heureux.
Kinshasa Now a été sélectionné dans 19 festivals, montré dans plus d’une vingtaine de pays, dans une trentaine de villes, et a reçu huit Grand Prix dont le premier fut le Grand Prix au 360 Film Festival ! Et je dois dire que les mots de Céline Tricart, présidente de cette édition, m’ont marqué, j’ai été très touché.
Ma vision du cinéma a toujours été singulière, je suis un peu un outsider. J’aime me lancer des défis en tant que réalisateur et cette expérience immersive a questionné ma manière de faire du cinéma. Elle m’a permis de mettre le spectateur au centre du film.
J’aime cette idée que le spectateur soit actif et que le sujet du film soit renforcé par la sensation d’immersion qu’offre la réalité virtuelle.
C’est une belle découverte !
360FF : Des futurs projets immersifs ou non-immersifs en vue ?
MHW : Pour l’instant, je n’ai pas d’autre projet en réalité virtuelle de prévu ! Je viens de terminer un documentaire sur Chancelvie, la fille du groupe jouant dans Kinshasa Now. Cette adolescente, vivant à Kinshasa, fait preuve d’une inventivité hors norme et d’une force inspirante malgré les difficultés quotidiennes de la vie de la rue.
Je suis très heureux du résultat et, bien évidemment, je suis toujours en contact avec Chancelvie et ses amies partenaires dans ce documentaire. Je les aide financièrement, et j’ai pris des assurances de soins de santé pour elles qui leur permettent de se faire soigner gratuitement.
Minimum Mass
Meilleur Storytelling
Ce mois-ci, nous vous invitons à découvrir l’interview de Raqi Syed et Areito Echevarria, les créateurs de Minimum Mass.
360 Film Festival : Pouvez-vous nous parler de la genèse du projet ? Comment vous êtes-vous rencontrés ?
Raqi Syed : Minimum Mass est né de notre expérience personnelle dans la conception de notre fils. Nous avons fait plusieurs fausses couches et nous avons écrit le scénario pendant cette période pour y faire face. Les premières versions étaient assez sombres car nous étions en plein chagrin. Lorsque nous avons présenté le projet au Sundance New Frontier Lab en 2018, quelques années s’étaient écoulées et nous avions eu notre fils. Une partie du processus de développement initial consistait à réviser l’histoire pour qu’elle dépasse les étapes de l’immense tristesse et offre un arc narratif édifiant.
Nous nous sommes rencontrés en 2005 alors que nous travaillions tous les deux comme artistes d’effets visuels chez Weta Digital. Nous travaillions tous les deux sur Le jour où la terre s’arrêta, le remake de Keanu Reeves. Si vous ne l’avez pas vu, c’est un classique !
360FF : Minimum Mass est une histoire, très personnelle et intime. Pourquoi avoir choisi la VR pour en parler ?
RS : Nous avons initialement écrit Minimum Mass comme un court métrage linéaire en live-action. En 2017, il y avait beaucoup d’expérimentations passionnantes dans la VR, alors nous avons commencé à le réviser comme une expérience cinématique en live-action à 360°. Ce n’est qu’après le New Frontier Lab, lorsque nous avons développé davantage les personnages, que nous avons réalisé qu’un thème majeur de l’histoire est la perspective. En particulier, que ce couple, Rabia et Sky, a des perspectives différentes sur le même événement. Leur défi est d’apprendre à voir le point de vue de l’autre afin d’entreprendre ensemble un voyage émotionnel.
Une fois que cela est devenu clair pour nous, l’expérience utilisateur et l’interaction de la VR 6 DOF sont devenues un choix évident en tant que support. Enfin, en tant qu’artistes des effets visuels, il était logique d’expérimenter l’infographie et la technologie de rendu en temps réel. Nous voulions exploiter nos points forts, mais aussi développer nos compétences techniques.
360FF : La relation Auteurs / Producteurs est très importante pour réussir une oeuvre comme celle-ci, très personnelle. Comment avez-vous travaillé tous les quatre ?
RS : Nous avons rencontré Katayoun Dibamehr et Avi Amar lors de quelques événements différents entre 2018 et 2019, d’abord au Dev Lab de Kaleidoscope à Los Angeles, puis à Cannes XR en France. À chaque fois que nous nous sommes rencontrés, nous avons partagé nos progrès sur Minimum Mass et en avons appris davantage sur les autres projets en développement de Floreal Films.
Ce que nous avons appris l’un de l’autre, c’est que nous avions des goûts et des sensibilités similaires en matière de narration. Et surtout, nous nous appréciions l’un l’autre. C’est la base de notre relation de travail tout au long du développement et de la production de Minimum Mass. Nos valeurs communes nous ont permis de surmonter nos différences créatives et d’arriver à un excellent résultat. Katayoun et Avi sont vraiment doués pour établir des relations avec les gens et partager notre vision avec les collaborateurs. Grâce à leur expérience de la production et à nos connaissances en matière de production VFX, nous avons pu couvrir beaucoup de terrain ensemble.
360FF : L’œuvre est coupée de passages oniriques avec les pensées des protagonistes, ce qui renforce le storytelling et l’immersion. Avez-vous pensé à ces passages dès l’écriture ?
RS : Les séquences oniriques à la première personne ont évolué de plusieurs manières différentes. Au départ, nous avions imaginé que toute l’expérience se déroulerait à la première personne, car c’était la tendance en matière de VR à l’époque. Il y avait beaucoup d’hypothèses sur l’incarnation et l’agence du participant, et même des questions de base sur la façon dont le montage et le langage visuel dans la VR pourraient fonctionner.
Au fur et à mesure que nous avons révisé le scénario pour refléter les points de vue de deux personnages, nous nous sommes orientés vers des idées plus cinématographiques sur le point de vue de la troisième personne. À ce stade, le scénario était entièrement écrit à la troisième personne. Ce n’est que pendant la semaine où nous avons tourné la capture de mouvement et la performance avec Frankie Adams et Allan Henry que nous avons commencé à sentir que l’expérience avait besoin d’une autre couche narrative qui nous permettrait d’accéder à la conscience de Sky et Rabia.
Nous avons donc rapidement imaginé ces scènes et enregistré le son dans l’espoir que cela fonctionne. Une fois que nous avons intégré les dialogues dans le moteur, tout s’est mis en place et cela a permis d’étoffer la relation entre Sky et Rabia en la voyant à la fois à distance et de l’intérieur.
360FF : Au départ, la VR était considérée comme la prolongation du cinéma. Avec le temps, le discours change pour rapprocher la VR au théâtre. Est-ce que l’écriture d’une oeuvre immersive ne serait pas la combinaison des deux ?
RS : Oui, il semble que plus les artistes ayant une formation théâtrale expérimentent la VR, plus ils contribuent à changer le langage visuel, en particulier en ce qui concerne la façon dont nous comprenons et interprétons le terme “immersif”. Les jeux aussi sont si avancés avec l’interactivité et ce dont le moteur en temps réel est capable que nous devons être capables de regarder les jeux comme un support pour ce que la VR peut faire pour engager le participant de manière significative et amusante.
Nous ne savons pas trop pourquoi, mais dans la VR, nous avons encore tendance à voir certains genres fictionnels comme les contes de fées en forte rotation. La tradition consistant à raconter des histoires personnelles à travers le prisme du genre est très riche au cinéma. Ce que nous trouvons inspirant dans le cinéma, c’est la façon dont il peut interpréter, réviser et mélanger les genres. Et puis finalement, les romans restent l’un des meilleurs moyens d’accéder à la conscience des personnages. En tant que créateurs de VR, nous devons donc rester ouverts à tous les autres médias.
360FF : Des futurs projets immersifs ou non-immersifs en vue ?
RS : Nous travaillons actuellement sur deux projets, un jeu et une expérience VR. Shadow Work est un jeu qui raconte l’histoire d’une fille que son père met à la porte lorsque son sosie apparaît à l’entrée de la maison. Raise Ravens est une expérience VR sur le fait d’être hanté par un père mort et de le ressusciter. Les deux projets se déroulent en Nouvelle-Zélande et sont en début de développement.
Rain Fruits
Coup de Coeur du Jury
Ce mois-ci, nous vous invitons à découvrir l’interview de Sngmoo Lee, le créateur de Rain Fruits.
360 Film Festival : Pouvez-vous nous parler de la genèse du projet ?
Sngmoo Lee : Je suis tombé sur les écrits de Thura, un travailleur étranger originaire du Myanmar, dans une brochure sur les conditions de travail en Corée. J’ai été profondément touché par son écriture et j’ai décidé de la transformer en cinéma VR.
En utilisant le pouvoir empathique de la VR et la qualité poétique de l’imagerie volumétrique par nuages de points, j’ai souhaité que le public devienne Thura pour ressentir la colère, la tristesse, l’aliénation et la nostalgie d’un travailleur étranger dans un pays étranger.
360FF : L’histoire est très personnelle. Comment avez-vous procédé pour écrire le scénario ?
SL : Tout en essayant de garder son écriture aussi intacte que possible, j’ai restructuré son journal et ajouté quelques éléments supplémentaires pour élargir son expérience personnelle aux conditions humaines générales dans le système capitaliste.
360FF : Comment avez-vous choisi l’atmosphère visuelle ?
SL : Au départ, je voulais combiner une vidéo en direct pour l’arrière-plan et un personnage scanné volumétrique pour faire contraster un travailleur étranger fantomatique avec un monde capitaliste concret.
Pendant le tournage test, j’ai décidé de changer l’arrière-plan pour l’imagerie du nuage de points scannés par Lidar. Cela convenait mieux, non seulement sur le plan esthétique, mais aussi sur le plan thématique.
360FF : Pouvez-vous nous expliquer quelles techniques avez-vous utilisées pour créer les décors, les personnages et le personnage principal ?
SL : Nous avons utilisé Leica Lidar pour scanner les atmosphères et la caméra Azure Kinect pour capturer les personnages. Avec cette technologie, j’ai souhaité illustrer l’arc du personnage principal à travers la fidélité volumétrique en constante évolution du corps de Thura.
L’imagerie abstraite de Thura représente l’insécurité, la solitude et le statut fragile d’un travailleur étranger. À la fin du film, lorsque son patron coréen s’est également transformé en une figure abstraite incolore comme Thura, je voulais que les spectateurs aient le sentiment que tout le monde soit un étranger dans ce système capitaliste.
360FF : L’interactivité est de plus en plus mise en avant dans la VR au détriment de la vidéo 360. Le documentaire impose-t-il la vidéo 360 ?
SL : Le style d’écriture de Thura et sa position sans racines dans la société coréenne appelaient ce choix. Il est un résident de la société coréenne mais aussi un observateur distant. Il existe mais n’appartient jamais complètement à la Corée. Le cinéma de réalité virtuelle non interactif était le meilleur moyen de démontrer ce paradoxe existentiel.
360FF : En Corée du Sud, les médias immersifs sont beaucoup plus établis qu’en Europe. Comment pouvez-vous expliquer cela ?
SL : Le gouvernement coréen a investi beaucoup d’argent dans l’industrie de la réalité virtuelle. Mais principalement dans les services et les technologies, pas beaucoup dans le côté narratif/esthétique du XR. Je reçois beaucoup d’informations de la part des artistes européens du XR.
360FF : Des futurs projets immersifs ou non-immersifs en vue ?
SL : Je viens de terminer le cinéma d’action 360. Je développe également de multiples projets allant de la performance volumétrique avec visualisation de données au théâtre VR immersif utilisant des acteurs IA.