Vision 2

Voyez votre footage comme une IA le voit: cadres, étiquettes, squelettes et attention maps.

After Effects Premiere Pro DaVinci Resolve Nuke Page du produit →

1. Description

Vision 2 fait tourner des modèles de computer vision sur votre footage et dessine ce qu’ils détectent, pour des looks de surveillance, de HUD de science-fiction ou d’univers dystopique. Il propose six modes: détection d’objets classique et à vocabulaire ouvert, estimation de pose, détection de visages, saliency maps et description de scène.

Vous choisissez les objets à rechercher, renommez leurs étiquettes et personnalisez le style des cadres, des étiquettes, des polices, des couleurs et des lignes de réseau qui relient les détections. Le tracking stabilise les cadres et donne à chaque objet une couleur et un ID constants.

Rendez l’overlay sur fond noir ou transparent pour l’utiliser comme matte et le combiner avec d’autres effets, ou pixelisez ce qui est détecté pour anonymiser les visages.

Configuration requise

Mac: utilise le GPU via Metal s’il est disponible, sinon le CPU.
Windows 64 bits: utilise un GPU NVIDIA (CUDA) s’il est disponible, sinon le CPU.

2. Installation

2a. Baskl installer (toutes les applications hôtes)

Tous les plugins Baskl s’installent avec le Baskl installer. Il configure AI Machine, le moteur local sur lequel fonctionnent les plugins, et place Vision 2 au bon endroit pour After Effects, Premiere Pro, les applications hôtes OFX (DaVinci Resolve, Nuke) et, sur Mac, Final Cut Pro. Fermez vos applications hôtes avant de le lancer.

macOS

Cliquez sur Télécharger sur baskl.ai, décompressez Baskl.Installer.zip et ouvrez Mac/Baskl Installer.app. Il vous faut un Mac Apple Silicon; sur les Mac Intel, l’installation s’interrompt.
Si macOS le demande, confirmez que vous voulez ouvrir une app téléchargée sur Internet, puis saisissez le mot de passe de votre Mac pour que le programme d’installation puisse écrire dans les dossiers système des plugins.
Cliquez sur Let's Get Started, sélectionnez Vision 2 dans la liste des plugins et cliquez sur Install. La première installation télécharge aussi AI Machine: comptez quelques minutes.
Quand Installation Complete s’affiche, redémarrez votre application hôte. L’effet se trouve dans la catégorie Baskl.

Windows

Cliquez sur Télécharger sur baskl.ai, décompressez Baskl.Installer.zip et lancez Windows\Baskl Installer.exe.
Cliquez sur Oui quand Windows vous demande d’autoriser l’application à apporter des modifications. Le programme d’installation nécessite des droits d’administrateur.
Cliquez sur Let's Get Started, sélectionnez Vision 2 dans la liste des plugins et cliquez sur Install. Avec une carte NVIDIA, le programme d’installation choisit automatiquement la version CUDA correspondante. La première installation télécharge aussi AI Machine: comptez quelques minutes.
Quand Installation Complete s’affiche, redémarrez votre application hôte. L’effet se trouve dans la catégorie Baskl.

Chaque mode et chaque taille de modèle chargent leur propre modèle d’IA à leur première utilisation: la première frame après un changement prend donc plus de temps.
Sans licence, Vision 2 fonctionne en version d’essai avec un filigrane.

Activer votre licence

After Effects / Premiere Pro: dans After Effects, cliquez sur Register en haut de l’effet, dans le panneau Options d’effet (à côté de Reset), collez votre clé de licence et cliquez sur Activate. Dans Premiere Pro, cliquez sur le petit bouton à icône en haut à droite de l’effet, dans le panneau Options d’effet, pour ouvrir la même boîte de dialogue. La licence est enregistrée pour tout l’ordinateur: l’activer dans l’une des deux applications suffit pour l’autre.
Final Cut Pro (Mac): sélectionnez l’effet dans le visualiseur, cliquez sur Register dans l’inspecteur vidéo, puis saisissez votre clé de licence dans la fenêtre qui s’ouvre. L’effet se trouve sous Baskl dans le navigateur d’effets. La première fois que Final Cut le charge, laissez-lui quelques secondes pour démarrer.
Resolve / Nuke: cliquez sur Register en haut des commandes de l’effet, collez votre clé de licence et validez. Une fois l’effet activé, le bouton affiche License Info.
Où trouver votre clé: si vous avez acheté sur baskl.ai, elle figure dans votre courriel d’achat et sous Compte → Mes licences, avec un bouton Copier. Si vous avez acheté sur aescripts + aeplugins, activez le plugin avec l’application aescripts + aeplugins manager, ou collez la clé de votre compte aescripts dans la même boîte de dialogue Register.
Sans licence, Vision 2 fonctionne en version d’essai: tout est disponible, mais les rendus portent un filigrane tant que vous n’avez pas activé votre licence. L’activation nécessite une connexion Internet, et chaque clé fonctionne sur un nombre limité d’ordinateurs (indiqué sous Mes licences).

3. Presets

Choisissez-en un dans le menu Preset, en haut de l’effet (After Effects et Premiere Pro). Un preset règle les paramètres ci-dessous, puis le menu revient à Choose Preset... pour que vous puissiez continuer à ajuster.

Default Any Object Detection avec cadres et étiquettes de couleur; réinitialise aussi les paramètres de saillance.
Faces Network Détection de visages avec cadres arrondis, scores de confiance et lignes de réseau courbes entre les visages.
Anonymizer Détection de visages qui pixelise chaque visage, sans cadres ni étiquettes.
Anonymizer (FUI) Visages pixelisés avec cadres et lignes de réseau, pour un look d’interface.
Terminator Saliency map avec une heatmap floutée en overlay.
Edges Attention Saliency map qui suit les contours, sur une grille fine.
Floating Boxes Cadres pixelisés et semi-transparents des objets détectés, sur fond transparent.

4. Looks

La même frame dans chaque Mode, avec les réglages par défaut.

Vision 2: Classic Object Detection — Classic Object Detection

Vision 2: Pose Estimation — Pose Estimation

Vision 2: Face Detection — Face Detection

Vision 2: Scene Captioning — Scene Captioning

5. Paramètres

Help and license

Help / Contact: Ouvre la page de contact Baskl avec la version de votre plugin déjà renseignée.
Register: Resolve et Nuke: ouvre la fenêtre de licence. Dans After Effects et Premiere Pro, cliquez plutôt sur Options à côté du nom de l’effet.

Mode

Dans After Effects et Premiere Pro, les paramètres qui ne s’appliquent pas au mode actuel sont masqués.

Preset: Applique l’un des presets ci-dessus. After Effects et Premiere Pro uniquement.
Mode: Ce que fait l’IA.

Classic Object Detection détecte les objets courants comme les personnes, les véhicules et les animaux.

Any Object Detection détecte des objets à partir d’un vocabulaire de noms beaucoup plus vaste (par défaut).

Pose Estimation dessine un squelette sur chaque personne, coloré selon le visage, les bras, le torse et les jambes.

Saliency Map montre où se porte l’attention de l’IA, sous forme de heatmap. Utilise les paramètres Saliency Map.

Face Detection détecte les visages.

Scene Captioning écrit une courte phrase qui décrit la frame.

Detection

Paramètres utilisés par les modes de détection et de pose.

Model Size: Compromis entre vitesse et précision.

Fastest le plus petit modèle, le plus rapide (par défaut).

Medium plus précis, plus lent.

Precise le plus précis, le plus lent.
Search for Objects: Cliquez sur Edit pour lister les noms d’objets à conserver, séparés par des virgules; laissez vide pour tout afficher. La fenêtre répertorie les noms que connaît le modèle actuel: double-cliquez sur un nom pour l’ajouter. Dans Resolve et Nuke, saisissez la liste dans le champ de texte.
Confidence Threshold: Masque les détections dont l’IA est moins sûre, de 0% à 100% (50% par défaut). Une valeur plus basse en affiche davantage, erreurs comprises. En mode Pose Estimation, l’échelle est plus fine aux valeurs basses.
Image Size: Résolution analysée par l’IA, de 32 à 4096 (640 par défaut). Une valeur plus élevée détecte des objets plus petits, mais c’est plus lent. Elle ne dépasse jamais la taille de la frame.
Overlap Tolerance: Degré de chevauchement autorisé entre deux cadres avant que le plus faible ne soit supprimé, de 0 à 1 (0.6 par défaut). Une valeur plus basse supprime davantage de doublons. Dans la plupart des cas, laissez tel quel.
Max Detections: Nombre maximal d’objets affichés par frame, de 0 à 10000 (300 par défaut).
Enable Tracking: Suit les objets d’une frame à l’autre: les cadres sont plus stables, chaque objet garde sa couleur et les étiquettes reçoivent un numéro d’ID. Analyse aussi la frame précédente et la frame suivante, ce qui ralentit le traitement. Désactivé par défaut.

Display

Render: Sur quoi les graphismes sont dessinés.

On Image sur votre footage (par défaut).

On Black sur fond noir, pour l’utiliser comme matte ou avec un mode de fusion.

On Transparent sur fond transparent.
Text Position: Scene Captioning: emplacement de la légende (coin supérieur gauche de la légende).
Color Palette: Couleurs des cadres, des étiquettes et des squelettes: Random (par défaut), Poppy, Military, Pastel, Turbo, Red Alert, Neon, Sunset ou Retro. Chaque type d’objet reçoit sa propre couleur.
Pixelate: Pixelise l’image à l’intérieur de chaque cadre, de 0 à 256 (0 par défaut, désactivé). La valeur correspond à la taille des blocs: plus elle est élevée, plus la pixelisation est grossière.
Show Boxes: Dessine un cadre autour de chaque détection (activé par défaut).
Box Corner Radius: Arrondit les coins des cadres et des fonds d’étiquettes, de 0 à 40 (5 par défaut).
Fill Opacity: Remplit chaque cadre avec sa couleur, de 0% à 100% (12% par défaut).
Line Width: Épaisseur des contours des cadres, des squelettes et des lignes de réseau, de 0 à 20 (2 par défaut).
Show Labels: Inscrit le nom de l’objet en haut de chaque cadre (activé par défaut).
Show Confidence: Ajoute le degré de certitude de l’IA pour chaque détection (désactivé par défaut).
Show as Percentage: Affiche la confiance sous forme de pourcentage (activé par défaut) plutôt que sous forme de valeur de 0 à 1.
Font: Cliquez sur Select pour choisir la police des étiquettes et des légendes dans une liste avec aperçu.
Font Size: Taille des étiquettes et des légendes, de 8 à 72 (24 par défaut).
Text Background Opacity: Opacité du fond placé derrière les étiquettes et les légendes, de 0% à 100% (90% par défaut).
Text Background Color: Scene Captioning: couleur du fond placé derrière la légende (noir par défaut).
Font Color: Scene Captioning: couleur du texte de la légende (blanc par défaut).
Translations: Cliquez sur Edit pour renommer les étiquettes d’objets, par exemple car en voiture, ou en tout autre nom de votre choix. Ajoutez une ligne par nom. Dans Resolve et Nuke, saisissez des paires sous la forme car=voiture, person=target.
Network Lines: Relie les détections entre elles par des lignes, comme un tableau d’enquête (désactivé par défaut). Non disponible en mode Pose Estimation.
Network Connections: Nombre de voisins les plus proches auxquels chaque détection est reliée, de 1 à 5 (3 par défaut).
Network Type: Forme des lignes de réseau.

Straight lignes droites (par défaut).

Curved arcs courbes.

Saliency Map

Paramètres utilisés quand Mode est réglé sur Saliency Map.

Model: L’IA qui produit la map.

SimDINOv2 attention d’un vision transformer: maps douces des sujets principaux (par défaut).

Vanilla Gradients (VGG16) pixels qui influencent le plus la décision d’un classificateur.

Guided Backprop (VGG16) une map de gradients plus nette, qui a tendance à suivre les contours et les détails.
Output Mode: Comment la map est affichée.

Heatmap Overlay heatmap colorée mélangée à votre footage (par défaut).

Heatmap Only la heatmap colorée seule.

Grayscale Saliency la map brute en noir et blanc, pratique comme matte.

Masked Original votre footage, visible uniquement là où l’IA regarde.
Colormap: Couleurs de la heatmap: Jet (par défaut), Hot, Viridis, Plasma, Inferno, Magma ou Turbo.
Overlay Opacity: Heatmap Overlay: à quel point la heatmap recouvre le footage, de 0 à 1 (0.5 par défaut).
Threshold: Supprime l’attention faible en dessous de cette valeur, de 0 à 1 (0 par défaut).
Blur Radius: Adoucit la map, de 0 à 50 (0 par défaut).
Grid Resolution: Transforme la map en blocs carrés, avec ce nombre de blocs sur le petit côté, de 0 à 128 (64 par défaut). 0 garde une map lisse.
Tile Count: Divise la frame en une grille de tuiles analysées séparément (de 1 à 8, 1 par défaut) pour plus de détail local. Plus il y a de tuiles, plus le traitement est lent.
Attention Head (-1 = avg): SimDINOv2: affiche l’une des 12 têtes d’attention du modèle (de 0 à 11), ou la moyenne de toutes les têtes (-1, par défaut). Chaque tête capte des éléments différents.
Target Class (-1 = auto): Vanilla Gradients: classe d’objet (de 0 à 999) dont les indices visuels sont affichés. Laissez à -1 pour utiliser ce que le modèle voit le plus.