Prévisualiser l'ingestion de données avec les espaces de travail brouillon dans OpenCTI 6.6

Pouvoir prévisualiser exactement à quoi ressembleront vos données entrantes une fois ingérées est essentiel pour maintenir une base de connaissances saine et épurée. L'introduction des espaces de travail brouillon dans OpenCTI 6.6 vise à offrir un outil puissant et polyvalent pour manipuler les données dans un espace brouillon, séparé de la base de connaissances principale de la plateforme, afin de valider l'ingestion des données lorsqu'elles sont jugées acceptables.

Présentation des espaces de travail brouillon

Jusqu'à présent, il était possible d'utiliser les établis d'analyste pour prévisualiser les entités qui seraient envoyées pour ingestion.

Cependant, les établis présentaient des limitations :

• les données ne pouvaient être prévisualisées que dans un écran spécifique, et les informations affichées étaient limitées.
• l'ajout et la suppression de données dans l'établi ne pouvaient se faire que via l'écran spécifique de l'établi, séparé du reste de la plateforme.
• il pouvait y avoir des différences entre ce que l'établi affichait et le résultat de l'ingestion de l'établi selon que l'entité existait déjà, selon le résultat des connecteurs d'enrichissement, etc.

Les espaces de travail brouillon visent à remplacer les établis d'analyste : ils permettront ce qui était possible avec les établis, mais offriront également bien plus que cela. L'objectif final des brouillons est d'offrir les mêmes capacités que la plateforme peut offrir, mais dans un environnement brouillon, où vos modifications n'affectent pas la base de données principale.

Générer des espaces de travail brouillon

Les espaces de travail brouillon peuvent être créés de plusieurs façons.

La première façon est de le créer manuellement depuis le menu brouillon.

Création depuis le menu brouillon

Pour voir ces données, vous pouvez entrer dans le brouillon depuis le menu brouillon.

La deuxième façon, et probablement la plus utile, est de choisir le mode de validation brouillon lors de l'importation d'un fichier en mode d'importation 'étape par étape'.

Mode de validation d'importation

Lorsque ce mode de validation est sélectionné, un brouillon sera créé et contiendra tous les fichiers téléchargés ainsi que le résultat des importations de fichiers.

Si les fichiers sont téléchargés via le mode 'importation directe/automatique', le mode de validation utilisé dépendra de la configuration de votre plateforme et de vos connecteurs. Par défaut, le mode de validation utilisé sera les établis, mais cela peut être modifié en changeant le paramètre de plateforme APP__VALIDATION_MODE à 'draft'.

Pour faciliter la conversion des établis en brouillon, nous avons également introduit la possibilité de convertir un établi existant en brouillon. Cela vous permettra d'essayer les brouillons de manière fluide et vous permettra de voir à quoi ressemblerait n'importe quel établi existant lorsqu'il est importé dans un brouillon.

Bouton Convertir en brouillon

Naviguer dans un espace de travail brouillon

Une fois votre brouillon créé, vous pouvez alors entrer dans le brouillon et voir les modifications actuelles qu'il contient.

Entrer dans un brouillon est une action à l'échelle de la session : toutes les pages auxquelles vous accéderez dans la plateforme seront désormais dans le contexte de ce brouillon. Vous pourrez toujours voir les données à jour et les plus récentes de la base de connaissances principale, mais vous verrez vos données brouillon en plus.

Pour vous rappeler de ce contexte de données, un en-tête est toujours visible lorsque vous êtes dans un brouillon

En-tête de brouillon

Lors de la première entrée dans un brouillon, vous arriverez sur la page de vue d'ensemble du brouillon

Vue d'ensemble du brouillon

Cette page de vue d'ensemble vous donne un moyen de voir chaque entité qui a été modifiée dans le contexte de votre brouillon. Vous pourrez voir quel type d'opération a été appliqué à vos données dans le brouillon : si elles ont été créées dans ce brouillon, si elles ont été mises à jour, ou si elles ont été marquées pour suppression.

En dehors de cette page de vue d'ensemble, vous pourrez naviguer de manière transparente dans la plateforme de la même manière que vous le feriez sans être dans un brouillon. Seules les pages liées aux connaissances sont disponibles, et non les pages de paramètres. Vous pouvez créer, mettre à jour ou supprimer des données de la même manière que vous le feriez habituellement. Vos actions seront automatiquement reconnues comme des actions brouillon et n'affecteront pas la base de connaissances principale de la plateforme.

D'autres actions sont également disponibles dans un brouillon : vous pouvez demander l'enrichissement de vos données, de la même manière que vous le feriez normalement. Les données d'enrichissement seront appliquées uniquement dans votre brouillon.

Gérer le contenu de votre brouillon

Si vous décidez que vous souhaitez importer plus de données dans votre brouillon actuel, cela est également disponible dans l'onglet Fichier de la vue d'ensemble de votre brouillon

Fichiers du brouillon

Ces données importées seront ajoutées aux données actuelles déjà disponibles dans votre brouillon.

Si vous souhaitez annuler les modifications qui ont été appliquées dans votre brouillon, il est possible de le faire : en utilisant l'opération de masse 'Retirer du brouillon', toutes les modifications appliquées à ces entités seront annulées. Si l'entité a été créée dans le brouillon, elle sera entièrement supprimée, et si l'entité a simplement été mise à jour, toutes ces mises à jour seront annulées.

Retirer du brouillon

Valider les espaces de travail brouillon

Lorsque vous estimez que les données de votre brouillon sont dans un état correct, vous pouvez choisir de valider votre brouillon. La validation d'un brouillon est irréversible : une fois validé, l'état du brouillon changera, et vous ne pourrez plus ajouter ni modifier quoi que ce soit dans ce brouillon. Lorsqu'elles sont validées, toutes les données contenues dans votre brouillon seront envoyées pour ingestion finale et fusionnées dans votre base de connaissances principale.

Une fois qu'un brouillon est validé, vous pouvez toujours revenir voir ce qu'il contenait. En ouvrant un brouillon validé, vous verrez une version modifiée de la vue d'ensemble du brouillon.

Vue d'ensemble du brouillon validé

En ouvrant le brouillon, vous n'entrerez plus dans le contexte du brouillon : seules les données qui étaient là au moment de sa validation seront visibles. Vous ne pourrez plus ajouter de nouvelles données à votre brouillon, et vous ne pourrez plus le valider à nouveau.

Améliorations futures

Bien qu'offrant déjà beaucoup plus de possibilités que les établis, il y a quelques fonctionnalités qui ne sont pas compatibles dans un brouillon. Actuellement, les playbooks et les règles ne s'appliquent pas aux données modifiées dans un brouillon. Cela pourrait créer des situations où les données de votre brouillon seront davantage modifiées lors de l'ingestion. Une amélioration qui viendra plus tard pour les brouillons est l'intégration des playbooks et des règles. De cette façon, vos données auront exactement le même aspect qu'elles auront après validation.

Une autre amélioration future sera également l'ajout d'un workflow de validation aux brouillons. Actuellement, tout utilisateur qui peut voir un brouillon est capable de le valider. L'introduction d'un workflow de validation permettra aux utilisateurs et aux administrateurs de configurer des validateurs désignés pour les brouillons. De cette façon, les utilisateurs qui créent et remplissent un brouillon pourront ensuite envoyer leur brouillon pour examen à un utilisateur validateur spécifié, qui sera responsable de la validation finale du brouillon.

Conclusion

Les établis resteront disponibles à l'utilisation, mais seront dépréciés et progressivement supprimés dans les versions à venir. Le planning actuel prévoit une première étape de dépréciation des établis en 6.9 : vous ne pourrez plus créer de nouveaux établis, mais pourrez toujours manipuler vos établis actuellement ouverts. À la version 6.11, la deuxième étape de dépréciation interviendra, et les établis seront alors entièrement supprimés.

Les brouillons sont un moyen puissant de prévisualiser à quoi ressemblera réellement l'ingestion de données. Alors que les établis d'analyste étaient limités dans leur approche de la prévisualisation d'ingestion, les brouillons débloquent une toute nouvelle façon de vérifier et d'approuver vos données entrantes. Nous espérons que les capacités débloquées avec les brouillons faciliteront la manière dont les données sont importées et ingérées dans la plateforme, et rendront le processus de raffinement des données encore plus fluide.

Rejoignez-nous sur notre canal Slack communautaire pour nous dire ce que vous en pensez !