Back to Matchmoving topic – Part I
A brief word about matchmoving
First of a two parts article
For a few years now I don’t have the need of creating matchmoving on my projects, however, boosted by some students curiosity I decided to have a look at the actual cheap/free solutions offered on the market, and also because matchmoving is one of my preferred process in the VFX pipeline.
Matchmover pro 2014:
It’s my matchmoving choice number 1. But somehow, since Autodesk decided to turn it as a free software it disappeared from their websites, maybe some of you have an idea about this black magic trick?
Fortunately I kept an old install file somewhere on my hard drive: https://we.tl/t-lhoxT8NL3c
The tracking module works pretty good, I feel the 2D tracking is more robust the one that you find in Matchmover pro, it somehow gives a feeling of tracking 2 features as in 3D Equalizer and the coordinate system setup is fast and effective.
These 2 softwares offers not only camera tracking but also 3D rigid object tracking and motion capture (natively in Matchmover pro) you can then export your data as FBX or script to be used in any 3D software.
History: Realviz, a French company, created a suite of VFX oriented softwares, Matchmover was part of it. They started to implement a motion capture module in the last released of Matchmover pro before working on a new dedicated motion capture software based on video references called “Movimento”, used on several movies like Pirates of the Caribbean: Dead Man’s Chest. That allowed VFX artist to directly capture on set the motion of actors instead of having a separate shooting in a standard infrared mocap room.
Quelques mots à propos du Matchmoving
Première partie de l’article
Cela fait maintenant quelques années que je n’ai plus l’utilité de créer des effets utilisant le procédé de matchmoving. Cependant, après avoir échangé sur le sujet avec des étudiants j’ai décidé de jeter un œil aux solutions abordable/gratuites proposées sur le marché. Et aussi car c’est un de mes procédé favoris dans le pipeline des VFX.
Matchmover pro 2014:
Il s’agit de mon choix numéro 1. Cependant, depuis que Autodesk a décidé de proposé le logiciel en version gratuite, il semble avoir disparu de tous leurs sites. Certains sont au courant de ce tour de magie?
Heureusement, j’ai retrouvé une version de l’install sur un de mes disques: https://we.tl/t-lhoxT8NL3c
Le module de motion tracking est vraiment bon, le tracking 2D est robuste et amélioré face à celui de matchmover (qui évidemment n’a pas évolué depuis 2014). Certains aspects rappellent par moment 3DEqualizer. la création du système de coordonnées est rapide et optimisé pour le gain de temps.
Ces 2 logiciels offrent non seulement le procédé de matchmoving mais aussi la possibilité de tracker en 3D des objets rigides et, natif dans Matchmover pro, un module de motion capture multiple caméras. Une fois les tracking faits, les données peuvent être envoyées dans d’autres soft sous forme de FBX ou scripts (plus facilement sous matchmover pro).
Historique: Realviz, société Française avait créé une gamme de logiciels dont faisait partie Matchmover pro et avait commencé à implémenter un module de motion capture dans les dernières versions de son logiciel avant de s’orienter vers la création d’un logiciel spécialement conçu pour la motion capture à base de sources vidéos “Movimento” utilisé entres autre sur des films comme Pirates des caraïbes: le secret du coffre maudit, ce qui permettait de capturer pendant le tournage, à l’aide de caméras témoins, les mouvements des acteurs sans passer par un tournage supplémentaire dans une salle de motion capture traditionnelle.
Don’t mind the sliding at the end, camera solving was set on a shorter amount of the total video time
You’re may be aware that we can use photogrammetry to reproduce an environment, an object or a person. Guess what? Imagine you could upload the matchmoving image sequence in a 3D scan software and get a rough 3D mesh you can use as shadows/reflections catcher?
Mais attendez… C’est pas tout!
Vous êtes peut-être au courant du procédé de photogrammétrie pour reproduire un environnement, un objet ou encore une personne à partir de photos?
Imaginez un peu: vous pourriez utiliser les images de votre séquence de matchmoving dans un soft de scan 3D pour obtenir un modèle 3D afin qu’il récupère vos ombres et reflets de votre futur élément CG incrusté?
Many 3D scan app are available on the market, I’m using Agisoft Metashape
More or LESS good quality. The original video was shot on a cell phone, this explains the 3D noise coming from compression and motion blur artefacts from the video
Selon le modèle/la qualité de votre caméra et des conditions de tournages vous pouvez obtenir un modèle 3D plus ou moins détaillé à partir duquel vous pourrez générer une retopology low poly!
Red elements: quick low poly models to catch shadows/block light. I also used some of the 3D marker (green crosses) as reference to model/place some elements in the scene (3D printer)
Awesomeness level over 9000
You have have now all the keys to create awesome CG integration in your animated shots. I’ll be back soon for part II of this article with a step by step process on a good quality shot.
Vous avez maintenant toutes les clés en main pour des intégrations d’éléments CG digne des pros! OU PRESQUE: rendez-vous bientôt pour la seconde partie de cet article qui reviendra pas à pas sur la création d’un plan qui mixe prise de vue réelle et CG.