Ariane AIを使用してOpenCTIでドキュメントをインポート：エンティティ抽出機能を強化

Filigranでは、AIは人間に取って代わるものではなく、アナリストを支援するものであると強く信じています。私たちのすべてのAI機能は、アナリストの疲労を軽減し、評価を高速化し、アナリストのインテリジェンスを強化するために開発されています。これが、私たちの製品のすべてのAI機能を支えるために構築している人工知能Ariane AIの目標です。
OpenCTIの6.6リリースでは、Ariane AIに多くの新機能がもたらされました。その1つが、import-document-aiというシンプルな名前の新しいコネクタです。熟練したOpenCTIユーザーであれば、この名前が既存のコネクタimport-documentに由来していることにすぐに気付くでしょう。では、これらの関係は何でしょうか?どのように機能し、OpenCTIでどのように使用されるのでしょうか?

概要

• この新しいimport-document-aiコネクタは、import-documentを拡張し、追加のSTIXドメインオブジェクト(SDO)の抽出を可能にします:Malwares、Intrusion Sets、Countries。
• import-documentコネクタとは異なり、プラットフォームの既存データに依存しません。言い換えれば、これはプラットフォームに依存しない機能であり、すぐに使用できます。
• AIの自然言語処理(NLP)抽出機能を活用し、抽出されたすべてのエンティティは実際にテキスト内に存在します。
• Ariane AIはOpenCTI Enterprise Edition(EE)の一部としてのみ利用可能であるため、この新機能にも適用されます。

詳細

Import-Document機能はどのように機能するか?

CTIナレッジベースとして、OpenCTIはさまざまなソースから多くの情報を収集し、それをSTIX形式に変換し、ユーザーが必要とするインテリジェンスを構造化できるようにするプラットフォームです。この入力情報のかなりの部分はレポートや記事の形式であり、SDOやSTIXサイバー観測可能オブジェクト(SCO)を手動で抽出することは、アナリストにとって面倒でエラーが発生しやすいタスクです。2021年後半に最初のコネクタimport-documentが実装されました。これは、2つの抽出機能に依存することで、抽出の重労働を引き受ける試みでした:

• 既知のパターン(IPアドレス、URL、ドメイン名、脆弱性など)の正規表現(RegExp)による抽出
• プラットフォームマッチングによる抽出:構成により、ユーザーは抽出したいエンティティを設定できます(例:Malware)。その後、各実行時に、プラットフォーム上のすべてのMalwareエンティティ名のクエリを実行し、ドキュメント内で全文検索を行います。

このアプローチは効率的ですが、適切にキュレーションされたプラットフォームに依存しており、プラットフォームで既に利用可能な情報量に関して実行コストが高くなる可能性があります。さらに、RegExpの明確なパターンがない場合(例:マルウェア名やイントルージョンセット名)、新しいエンティティの抽出に一般化できません。

AIはどのように役立つか?

Wikipediaからの次の例を考えてみましょう:「2020年9月、Kimsukyが国連安全保障理事会の11人の職員をハッキングしようとしたと報告されました。」Kimsukyが実際に何であるか分からなくても、悪意のあるサイバー攻撃者のグループ、つまりSTIX 2.1フレームワークではIntrusion Setに関係していると理解する傾向があります。したがって、周囲の文や段落の小さな文脈に依存するだけで、特定の単語にどのカテゴリを割り当てることができるかを推測することが可能であるように思われます。

このタスクは、自然言語処理(NLP)のよく知られた分野であり、固有表現認識(NER)と呼ばれています。これは過去15年間広く使用され研究されてきましたが、初期のモデルはパフォーマンスを発揮するために、多くのよく注釈付けされたデータ(トレーニングセット)を例として必要としていました。Intrusion Set NERの場合、それはそのようなエンティティの出現を含む多くの異なる文と、その正確な位置を知る必要があることを意味します。これは確実に長く手動で費用のかかるタスクです。幸いなことに、大規模言語モデル(LLM)の背後にある技術、すなわちトランスフォーマーは、NLPタスク、特にNERに大きく貢献しました:少ない例、あるいはまったく例がなくても熟練できる新しいモデルを設計して使用することが可能になりました!さらに、これらのモデルは小さく、汎用ハードウェアで実行できる可能性がありますが、LLMは使用するためにGPUカードを必要とすることがよくあります。

このようなコネクタの実装は何か?

Filigranでは、AIは製品とそのユーザーに利益をもたらすアドオン機能であるべきであり、タスクを自動化しアナリストの時間を節約するべきだと強く信じています。したがって、AI機能は既存のワークフローに適合してそれらを強化する必要があります。AI機能に適応するのは製品の義務ではなく、むしろその逆です。したがって、前述のモデルをimport-documentと同じトリガーを持つコネクタに組み込むことは自然に感じられました。コネクタが正しく構成されプラットフォームにデプロイされている場合、ドロップダウンメニューで使用可能になります。

ImportDocumentAIを選択すると、次のことが起こります:

1. プラットフォームがコネクタ上でジョブを起動します。
2. コネクタは、情報を抽出するファイル(txt、pdf、markdown、htmlファイルがサポートされています)を取得します。ファイルからテキストを解析します。
3. このテキストは、Filigranの環境にデプロイされたWebサービスに送信されます。このリクエストを通じてライセンスの有効性がチェックされます。
4. WebサービスはNLP-AIモデルを活用してエンティティ抽出を実行し、検出されたエンティティをコネクタに返します。
5. 抽出されたエンティティとコンテキストを考慮して、コネクタは分析ワークベンチまたはドラフトとして表示されるSTIXバンドルを生成します。

その後、ユーザーは抽出結果を確認し、必要に応じて修正してから、結果をプラットフォームに保存できます。

まとめ

FiligranのAriane AI機能セットに新しいメンバーが加わりました:import-document-aiです。この新しいコネクタは、Enterprise Editionプラットフォームで利用可能で、従来のimport-documentコネクタを拡張し、3つのSDOの抽出を可能にします:Malwares、Intrusion Sets、Countries。その前身とは異なり、import-document-aiは実行するプラットフォームの状態に依存しないため、抽出は迅速かつすぐに機能します!

これは情報抽出の自動化の始まりに過ぎません。次のステップには以下が含まれます(ただしこれらに限定されません):より多くのSDOの抽出(Tools、Organizations、Sectorsなど)、関係性(優先的にtargetsとuses)、および既存のモデルの継続的な改善!

Slackコミュニティチャンネルに参加して、ご意見をお聞かせください!