目錄
Anthropicは2026年10月15日、非営利研究組織METRのメンバー6人を社内に受け入れ、社内のリスク評価チームに近いシステムアクセス権限を付与するとともに、AI安全性に関する研究成果を独立して公表できるようにしたと発表しました。この取り組みは「組み込み型評価」（Embedded Evaluation）と呼ばれ、第三者の研究者が企業の公開するテスト報告書だけに頼ることなく、モデルの開発プロセスや安全管理体制を直接検証できるようにすることを目指しています。
AI業界にとって、これは注目に値する監督制度の試みです。Claudeなどのモデルが、長時間にわたるタスクの実行、外部ツールの利用、複雑なワークフローの処理に対応し始めるなか、安全性をモデルのテストスコアだけで判断することは難しくなっています。ただし、METRは研究成果を独自に公表できるものの、Anthropicのすべての内部情報を無制限に閲覧できるわけではありません。一部の情報については、同社の要求に応じて削除する必要もあり、完全に独立した監査制度の実現にはまだ距離があります。
この動きは、Notion AIやAI Agentなど、日常業務で使われるツールにも関係しています。AIが企業のナレッジベースを検索し、文書を作成し、データベースを変更し、さらにはコネクターを通じてほかのサービスを操作できるようになると、モデル自体の安全性はリスク管理の一要素にすぎません。データ処理方針、エージェントの権限、ワークスペースの管理体制も、最終的なリスクに影響します。
AnthropicとMETRはどのような協力を始めたのか？外部研究者に社内評価へのアクセス権を付与
METRの正式名称はModel Evaluation and Threat Researchで、最先端AIモデルの能力やリスク、評価手法を研究する非営利組織です。両者は以前からAnthropicのモデルリスク報告書の検証で協力してきましたが、今回発表された新たな取り組みにより、METRは従来の比較的限定的な外部レビューから一歩進み、Anthropicの社内安全性評価業務により深く関与できるようになりました。
Anthropicが10月15日に発表した公式情報によると、METRのメンバー6人には、同社が用意した機器やオフィススペースに加え、社内のリスク評価チームとおおむね同等のツールおよびシステムへのアクセス権が付与されています。Anthropicは従業員に対しても、共有が制限されている情報を除き、これらの研究者をモデルリスクに取り組む社内の同僚と同じように扱い、必要な情報や研究の背景を共有するよう促しています。
組み込み型評価と一般的なAIモデルのテストは何が違うのか？
従来の第三者によるAI評価は、モデルの出力結果を調べる方法が一般的でした。研究者が質問やテスト用のタスクを設計し、モデルが指示に従えるか、危険な内容を生成しないか、異なる状況で異常な振る舞いを示さないかを観察します。こうしたテストは、特定の条件下におけるモデルの性能を比較するのに適しています。しかし、問題が学習プロセス、社内監視、リリースの意思決定などに関わる場合、外部研究者は限られた情報から推測するしかないことが少なくありません。
例えば、あるモデルが公開の安全性テストでは良好な結果を示していても、社内でタスクを実行した際に監視システムを回避したり、許可されていない操作を試みたりしたことがあるかもしれません。企業がそうした事例を自主的に開示しなければ、外部研究者が実際にそのような失敗が起きたかどうかを判断することは困難です。問題が発見された経緯や修正方法、同じ問題が再発する可能性についても把握できません。
組み込み型評価は、こうした情報格差の改善を目指しています。研究者はモデルをテストするだけでなく、安全対策がどのように設計されているか、監視システムが正常に機能しているか、企業が既知の安全性インシデントにどう対応しているかを調査する機会も得られます。これにより、評価対象は個々のテストの成功率にとどまらず、モデルの開発や導入のプロセス全体に広がります。
ただし、従業員に近いアクセス権を得たからといって、すべての情報を閲覧できるわけではありません。Anthropicは、顧客データ、法的な秘匿特権によって保護される情報、一部のモデルアーキテクチャの詳細など、特定の情報カテゴリーに対するアクセス制限を維持しています。そのため、METRが実際にどのような問題を研究できるかは、協力条件と利用可能な情報の範囲によって決まります。
Anthropicが構築する3段階の第三者AI安全性評価制度
Anthropicは同時に、現在整備を進めている3段階の外部評価制度も公表しました。研究対象の範囲や協力関係の成熟度に応じて、段階的に異なるレベルの情報アクセス権を提供することを目指しています。3つの段階を分ける最大の違いは、研究者がどこまで社内情報にアクセスできるか、そして成果を公表する際にAnthropicの同意が必要かどうかです。
| 評価レベル | 情報へのアクセス範囲 | 研究成果の公表権限 | 現在の協力状況 |
| 第1段階 | 特定のリスク課題について限定的な情報を提供 | 公表にはAnthropicの同意が必要 | SecureBio |
| 第2段階 | 第1段階より多くの内部情報にアクセス可能 | 事前の同意は不要。ただし、特定の情報削除制限に従う必要がある | 構築中の協力レベル |
| 第3段階 | 社内のリスク評価チームに近いアクセス権を取得 | 独立した研究成果の公表が可能。ただし、機密情報に関する制限は残る | METR |
現時点で、第3段階のアクセス権を取得したことが公表されている評価組織はMETRです。別の非営利組織であるSecureBioは、Anthropicの2026年8月のリスク報告書に含まれる化学・生物兵器関連の内容を審査しており、第1段階の協力に該当します。AnthropicはAccentureなどの外部チームとも評価協力を進めていますが、だからといって、すべての協力先がMETRと同じアクセス権を持っているとは判断できません。
この段階的な制度は、AI安全性評価が直面する現実的な課題を反映しています。企業は外部研究者に十分な証拠を提供する必要がある一方で、顧客データ、営業秘密、悪用されるおそれのある技術的な詳細が外部に流出することも防がなければなりません。アクセス権を段階的に設定する仕組みは、この2つの要請の間で実行可能な協力方法を模索するものです。
METRはAI安全性報告書を独立して公表できるのか？Anthropicによる情報制限は残る
外部評価の独立性を判断する際には、研究者が企業の従業員かどうかだけでなく、研究範囲を誰が決定するのか、企業と異なる見解を公表できるのか、企業側に不利な結果の公表を阻止する権限があるのかも確認する必要があります。
Anthropicが公表した新たな協力条件では、METRはモデルのリスク、社内インシデント、安全対策に関する分析を独自に発表できます。Anthropicには、研究成果の公表を全面的に拒否する権利がなくなりました。METRが同社のリスク判断を批判する場合でも、原則として事前にAnthropicの同意を得る必要はありません。これは、結果の公開に企業の承認を必要とする従来型の協力方法と比べて、確かに一歩進んだ仕組みです。
Anthropicは報告書を全面的に拒否できないが、機密情報の削除を求めることはできる
独立した公表には、依然として制限があります。Anthropicは、顧客データ、法的に秘匿される情報、特定の機密知的財産など、事前に定義されたカテゴリーに該当する情報について、METRに削除を求めることができます。そして、どの内容が制限対象に該当するかの最終的な判断権は、引き続きAnthropicが持っています。
METRは、入手できた情報の範囲、研究に課された制限、Anthropicが示した削除理由に同意するかどうかを公表できます。ただし、その説明のために制限対象の元データを直接開示することはできません。
この仕組みには、一つの問題が生じる可能性があります。ある安全性リスクを裏付ける証拠が企業秘密に関わっている場合、外部研究者が独立した結論に到達できたとしても、その根拠となる情報をすべて公開できるとは限りません。読者は研究者が問題を発見したかどうかを知ることはできても、すべての証拠を自分で検証できない可能性があります。
一方で、企業にモデルアーキテクチャの全容や顧客記録、社内の防御対策の詳細をすべて公開するよう求めることが、必ずしも合理的とは限りません。一部の情報は流出によって攻撃のリスクを高めるおそれがあります。そのため、成熟した外部評価制度には、すべての情報を公開するよう求めるのではなく、明確な機密保持の範囲、追跡可能な情報制限の仕組み、意見の相違を処理するための手続きが必要です。
第三者研究と法令に基づく安全監査には、なお隔たりがある
Anthropicは以前、組み込み型評価を銀行監督制度になぞらえて説明したことがあります。大手銀行が保有する内部リスク情報は、通常、外部の人々が把握できる情報よりも詳細です。そのため、規制当局が担当者を常駐させ、金融機関のリスク管理体制を継続的に検査する場合があります。
ただし、METRは政府の規制当局ではなく、今回の協力も法律に基づいて強制的に実施される常駐監査ではありません。研究者のアクセス権は双方の合意に基づくものであり、法的な調査権限や制裁権限が付与されたわけではありません。また、METRの社内参加をもって、Claudeが何らかの包括的な安全認証に合格したとみなすこともできません。
評価の信頼性を考えるうえでは、研究資金、協力関係、情報へのアクセスが企業側の影響を受けるかどうかも重要です。AI企業がいつでも協力を打ち切ったり、特定の証拠へのアクセスを制限したり、研究者が本当に重要な安全性インシデントに接触できないようにしたりできるのであれば、最終報告書が修正されていなくても、研究対象の範囲が不十分になる可能性があります。
2026年10月13日、Reutersの調査報道でも、主要AI企業と外部評価組織の間で、研究成果の公開権限、営業秘密の保護、企業をまたぐ協力に関する制限について、依然として意見の相違があることが指摘されました。Anthropicが今回提示した制度は、こうした課題に対する一つの試みです。独立性を長期的に維持できるかどうかは、今後の研究成果と実際の運用状況によって検証する必要があります。
METRの最新研究で何が明らかになったのか？AnthropicのAI監視システムには依然として課題がある
Anthropicが組み込み型評価制度を発表して間もない2026年10月20日、METRは新たな研究報告書を公表しました。この研究では、Anthropicの2026年8月のリスク報告書に含まれる「重大な影響を伴う状況でのモデルのミスアラインメント」（Misalignment in high-stakes settings）に関する内容を検証しています。
この報告書は、外部研究者が企業の安全性判断にどのように異議を唱えられるかを理解するうえで参考になります。ただし、まず研究時期の違いを明確にする必要があります。METRは今回の研究について、以前の協力条件に基づいて実施したものであり、研究期間中は10月15日に発表された組み込み型評価のアクセス権を取得していなかったと明言しています。そのため、新制度による最初の評価成果とみなすことはできません。
旧条件では、Anthropicには報告書の公表を拒否したり、内容の削除を求めたりする権利がありました。しかしMETRによると、最終的に削除された内容はなく、公表審査の過程で研究結論が変更されることもありませんでした。調整されたのは、フィードバックを受けた一部の表現や実験方法に限られています。
METRは現段階の壊滅的リスクが低いという結論におおむね同意する一方、その理由については見解が異なる
Anthropicの元の報告書では、2026年7月15日時点で、報告対象となったモデルのミスアラインメントによって壊滅的な被害が生じるリスクは低いと判断されていました。ここでいうモデルのミスアラインメントとは、主にAIの行動や目標が意図されたものから逸脱し、特定の状況で深刻な結果を引き起こす可能性がある状態を指します。
METRは、現時点でリスクが低いという結論にはおおむね同意しています。しかし、その主な理由は評価対象モデルの能力がまだ限定的であることにあり、既存の安全性訓練や防御策が十分に信頼できるからだと直接結論づけることはできないと考えています。
言い換えれば、現在のモデルには特定の壊滅的な結果を引き起こすほどの能力がまだ確認されていないという判断と、企業がそうした結果を安定して防止できる安全対策を確立しているという判断は、別のものです。今後モデルの能力がさらに向上した場合、現在は有効に見える防御策が引き続き機能するかどうかについて、より多くの実証研究が必要になります。
METRはまた、Anthropicの既存のリスク評価手法では、実際にリスクが高まった際に、重要なモデルのミスアラインメント行動をすべて確実に検出するには不十分だと考えています。この批判はリスクの証拠と評価手法に向けられたものであり、Claudeが一般的な利用環境で壊滅的な事態を引き起こすことをMETRが証明したわけではありません。
モデルが安全性テストに合格しても、実環境で適切に監視できるとは限らない
METRが監視システムに対して示した疑問は、特に注目に値します。
多くのAI安全性テストでは、特定のタスクを設定し、モデルが自分の行動を隠そうとするか、監視を回避しようとするか、当初の安全要件に違反するかを観察します。しかし、実際の運用環境におけるモデルは、必ずしもテストで想定された方法で行動するとは限りません。場合によっては、意図的に操作を隠す必要すらなく、有害な行為を監視システムに通常のタスクの一部だと誤認させるだけで、想定されていた防御策を回避できる可能性があります。
このためMETRは、既存の一部のテストでは、モデルが実際の監視システムを回避する能力を十分に評価できないと考えています。また、過去に発生したインシデントによって、一部の安全性に関する主張の説得力が弱まっているとも指摘しています。研究チームはAnthropicに対し、監視システム全体を対象とした、より包括的なエンドツーエンドの敵対的テストを実施するとともに、AIが企業内部の安全性に関する意思決定に影響する可能性のある状況もリスク評価の対象に含めるよう提案しています。
METRはこの研究報告書で、削除された一部の内部情報には、研究者によるモデルのリスクや監視能力の判断に影響し得る内容が含まれていたとも指摘しています。そのためAnthropicに対し、適切な処理を施したうえで、より多くの証拠を公開するよう提言しています。
ここには外部評価の実際の価値も表れています。研究者が企業の当初のリスク判断を覆さなかったとしても、根拠が不足している部分を見つけたり、既存のテストでは検証されていない失敗のシナリオを指摘したりすることができます。
AI Agentにはなぜより踏み込んだ安全性評価が必要なのか？リスクはツールと権限にも広がっている
METRが研究するリスクの一部は、最先端モデルが引き起こし得る壊滅的な状況に関するものであり、一般企業がAIを利用する際に直面する情報漏えいや操作ミスとは必ずしも同じではありません。ただし、両者には共通する問題があります。モデルがテスト環境で正常に動作していても、複雑なワークフローに組み込まれた後も期待どおりに動作するとは限らないということです。
AIの用途が文章の生成、文書の整理、質問への回答にとどまっていた段階では、通常、出力内容を確認することで間違いを発見できました。しかし現在のAI Agentは、ツールの呼び出し、外部データの読み取り、記録の変更、複数ステップにわたるタスクの実行が可能になっています。一部の操作は、その都度人間の確認を受けることなく完了する場合もあります。
そのため、リスク管理の対象をモデルの回答だけでなく、実行プロセス全体に広げる必要があります。
プロンプトインジェクションによってAI Agentが外部データを操作指示と誤認する可能性がある
プロンプトインジェクション（Prompt Injection）は、エージェント型AIにおける代表的なセキュリティリスクの一つです。通常は、モデルが外部データを処理する際に、その中に含まれる信頼できない内容を、従うべき指示として誤認することで発生します。
例えば、あるAI Agentが顧客からのメールを読み取り、ToDoを整理し、作業の進捗をNotionに同期する役割を担っているとします。通常、メール本文は分析すべきデータにすぎません。しかし、その中にほかの顧客のファイルを検索するよう求める文章や、既存のルールを無視する指示、情報を外部のメールアドレスに転送するよう促す内容が紛れ込んでいた場合、モデルはそれらが正当な操作権限を伴う指示ではないことを識別しなければなりません。
システムがデータと指示を区別できなければ、エージェントは本来の正当な作業を実行する過程で、ユーザーの意図に反する操作まで行ってしまう可能性があります。
この問題は、プロンプトでAIに安全ルールを守るよう求めるだけでは、十分な防御にならないことも示しています。外部コンテンツがモデルの判断に影響する可能性があるため、ツール側で実行可能な操作を制限し、リスクの高い操作には追加の検証を設ける必要があります。
AI Agentに過大な権限を与えると、通常のミスがデータセキュリティの問題に発展する
OWASPは、大規模言語モデルを利用したアプリケーションのリスク分類において、「過剰なエージェンシー」（Excessive Agency）を重要な問題として挙げています。これは主に、利用可能な機能が多すぎること、権限が広すぎること、自律性が高すぎることに関係します。
例えば、データを整理するだけのエージェントに、文書の削除、財務データの変更、外部へのメール送信まで許可していたとします。この場合、受け取った指示が曖昧だっただけでも、本来のタスク範囲を超える影響が生じる可能性があります。
必ずしもモデルに悪意があるわけではありません。データソースに誤りがあったり、モデルが要求を誤解したり、外部コンテンツが操作されていたりするだけの場合もあります。問題を大きくする本当の原因は、システムがエージェントに影響の大きい操作を直接実行する権限を与えており、適切な確認手続きを設けていないことです。
そのため、エージェントが利用できるツール、それぞれのツールが持つ権限、どの操作に人間の承認が必要かを、安全性評価の対象に含めるべきです。本番データの変更、記録の削除、外部への情報送信については、権限制限をモデル自身の判断だけに委ねるのではなく、実際に処理を行うツールや下流システム側で強制的に適用することが望まれます。
Anthropicの第三者安全性評価はNotion AIユーザーにどのような影響があるのか？
Notion AIは、AnthropicやOpenAIなど、複数のモデル提供企業や推論サービスを利用して機能を提供しています。そのため、モデル提供企業の安全性ガバナンスは、NotionのAIサービスにも関係しています。
ただし、モデルの安全性、データプライバシー、ワークスペースのアクセス権限は、それぞれ異なる問題です。AnthropicがMETRによる評価を受け入れたことは、モデル提供企業の一社がどのようにモデルリスクを管理しているかを理解するための参考にはなります。しかし、METRがNotionのサービスアーキテクチャを審査したと判断することはできません。また、METRがNotionの顧客のワークスペース内容にアクセスできるようになったという意味でもありません。
実際にNotion AIを利用するチームにとっては、モデルの安全性研究に注目するだけでなく、データがどの処理事業者に渡されるのか、ワークスペースの内容がどのように検索・取得されるのか、エージェントにタスクの遂行に必要な範囲を超えた権限が与えられていないかを確認することも重要です。
Notion AIは顧客データをモデルの学習に使用しないが、データの転送や処理が必要になる場合はある
Notionの公式AIセキュリティ説明によると、デフォルトでは、顧客のワークスペースデータや個人情報がモデルの学習に使用されることはありません。関連するAIサブプロセッサーについても、顧客データを無断でモデルの学習に使用することが契約上禁止されています。Notionには、ユーザーが自主的に参加するデータ共有プログラムもあり、その適用条件については個別に確認する必要があります。
しかし、Notion AIがワークスペースに関する質問に回答する際には、必要な内容を検索・取得し、リクエストの処理に必要な情報をモデル提供事業者に渡す場合があります。そのため、「データをモデルの学習に使用しない」ことは、「データが一切転送されない」ことを意味しません。
データの保持期間もプランによって異なります。Notionが現在公開しているセキュリティ文書によると、Enterpriseワークスペースでは、デフォルトの大規模言語モデル提供事業者にゼロデータ保持の仕組みが適用されます。一方、その他のプランでは、モデル提供事業者がデータを最大30日間保持する可能性があります。これらの規定は主にモデル提供事業者によるデータ処理を対象としており、Notionのワークスペース、チャット履歴、検索インデックスの保存方針と直接同一視することはできません。
顧客との契約書、個人情報、その他の機密情報を扱う場合は、実際に使用している機能やプラン、関連するデータ処理条件に基づいて状況を確認する必要があります。モデル提供事業者の安全性に関する声明だけで判断することはできません。
Notion AIとCustom Agentsの権限は何が違うのか？
Notionの公式ドキュメントでは、通常のNotion AIとCustom Agentsの権限の仕組みが明確に区別されています。
通常のNotion AIは、現在のユーザーに付与されているアクセス権限に従って検索を実行し、原則として、そのユーザーがもともと閲覧できる内容にしかアクセスできません。一方、Custom Agentsは独立したリソース権限を持ち、作成時にアクセスを許可された特定のページ、データベース、外部アプリケーションを利用できます。
| 比較項目 | 通常のNotion AI | Custom Agents |
| 権限の基準 | 現在のユーザーに付与された個人の権限 | エージェント自体に付与されたリソース権限 |
| データへのアクセス | 原則としてユーザーが閲覧権限を持つ内容に限定 | エージェントに明示的に許可されたリソースにアクセス可能 |
| 動作方法 | 主にユーザーからのリクエストに応じて実行 | 設定やトリガー条件に応じて自動実行可能 |
| 複数ユーザーによる共同利用 | 各ユーザーの権限に従って動作 | 複数のユーザーが同じエージェントを共有可能 |
| 主なリスク | データ処理、回答の誤り、ユーザー権限の管理 | エージェントへの過剰な権限付与、間接的な情報アクセス、自動操作のミス |
Custom Agentsの設計は、部門をまたいでデータを利用する必要がある状況に適しています。例えば、プロジェクトメンバーが共通のエージェントを使って進捗を確認したり、エージェントが複数のデータベースから業務情報を集約したりするケースです。
ただし、この仕組みには見落としやすい権限上の問題もあります。Notionの公式説明では、ユーザーがあるページへの直接的なアクセス権を持っていなくても、そのページを読み取れるCustom Agentの利用を許可されていれば、エージェントの回答を通じて関連情報を取得できる可能性があると明記されています。さらに、エージェントが書き込み権限を持っている場合、ユーザーは自分では直接編集できないリソースを、エージェント経由で変更できる可能性もあります。
これはCustom Agentsの権限設計上の特性であり、Notionで新たな情報漏えい事件が発生したことを意味するものではありません。しかし、エージェントを共有する際には十分な確認が必要です。
例えば、あるエージェントが社内の見積もり、予算、顧客データを読み取ることができ、すべてのプロジェクトメンバーがそのエージェントを利用できるとします。この場合、元のデータベース自体の共有を制限していても、エージェントを通じた別の情報アクセス経路が生まれる可能性があります。
そのため、あるメンバーから元のページへのアクセス権を削除しても、間接的な情報取得を完全に防げるとは限りません。そのメンバーがどのエージェントを利用できるか、また、それらのエージェントが関連リソースへのアクセス権を引き続き保持していないかも確認する必要があります。
NotionでAIリスク管理の仕組みを構築するには？データ権限と操作履歴の管理から始める
フリーランス、小規模チーム、企業のいずれであっても、通常はAnthropicと同規模のAI安全性評価制度を構築する必要はありません。より現実的なのは、現在使用しているAIツールがどのようなデータにアクセスでき、どの操作を実行できるのか、問題が発生した際に停止や復旧が可能かどうかを確認することです。
こうした確認のために、AIを全面的に無効化したり、複雑な管理システムを新たに構築したりする必要はありません。既存のNotionワークスペースを使って、利用サービスの一覧、権限、リスク記録を整理するだけでも、その後の定期的な見直しの基盤になります。
まずAIがアクセスできるデータを洗い出し、提供事業者のデータ処理方針を確認する
ワークスペースには、一般的なメモ、公開素材、顧客との契約書、財務記録、未公開の企画などが同時に保存されていることがよくあります。しかし、どの程度AIによる処理に適しているかは、データの種類によって異なります。
まず、データの性質に応じて、AIで直接処理してよい内容、匿名化などの識別情報の除去が必要な内容、契約や社内ポリシーによって未承認のサービスでの処理が禁止されている内容を分類できます。分類が完了したら、各AI機能で実際に利用される提供事業者、データの保持方法、適用される条件を確認します。
特に複数のプラットフォームを連携させるワークフローでは、データがNotion、モデル提供事業者、コネクター、その他の自動化プラットフォームを経由する可能性があります。そのため、一つの提供事業者のプライバシーポリシーだけを確認するのでは不十分です。
Custom Agentsとコネクターの権限を確認し、過剰なアクセス許可を防ぐ
データの棚卸しが完了したら、現在有効になっているエージェントと外部コネクターを確認します。
Custom Agentsについては、「Tools and Access」の設定から、エージェントがどのページ、データベース、外部アプリケーションへのアクセス権を持っているかを確認できます。そのうえで、誰がそのエージェントを利用できるのか、データの読み取り、変更、外部送信が本当に必要なのかを確認します。
エージェントがプロジェクトの要約を作成するだけであれば、通常、データベースの編集権限を付与する必要はありません。特定の顧客に関する業務だけを扱う場合も、ワークスペース全体へのアクセスを許可することは避けるべきです。
すでに使われていないコネクター、終了したプロジェクト、退職したメンバーについては、アクセス権が残っていないか確認する必要があります。Notion Enterpriseの管理者は、実際に有効化している機能に応じて、Agent Directory、コンテンツ検索、監査ログを通じてエージェントの活動を管理することもできます。
AI Agentの失敗シナリオを再現し、誤操作を防止・復旧できるか確認する
権限設定が完了したら、テストデータを使って一般的な失敗シナリオを再現できます。例えば、エージェントがアクセスすべきではないページを読み取る、誤った情報に基づいてデータベースを変更する、外部文書に含まれる誘導によって不要な操作を実行するといったケースです。
テストでは、エージェントが最後に自分の行動をどう説明したかだけでなく、実際の実行結果を確認する必要があります。重要なデータを変更する前に人間の確認を得る設計になっている場合は、エージェントが操作前に確実に停止することを検証しなければなりません。変更を完了した後で承認を求めるのでは意味がありません。
書き込み権限や削除権限を持つ自動化ワークフローについては、バージョン履歴、バックアップ、その他の仕組みによってデータを復元できるかも確認する必要があります。また、異常が発生した際に、誰がエージェントの停止、ログの確認、その後の影響への対応を担当するのかも決めておくべきです。
AIリスク台帳を作成し、サービスとエージェントの権限を定期的に確認する
利用開始前のテストに加えて、継続的に使用するAIツールについても定期的な見直しが必要です。モデル、提供事業者、プラットフォームの機能は更新される可能性があります。また、当初は妥当だったアクセス権限も、プロジェクトの終了、メンバーの異動、新たな連携サービスの追加によって、適切ではなくなる場合があります。
Notionには、現在使用しているAIサービス、データの範囲、権限の状態を記録するシンプルな「AIリスク台帳」を作成できます。
| 項目 | 記録する内容の例 |
| AIサービス名 | Notion AI、Custom Agent、その他のAIツール |
| モデルと提供事業者 | 使用中のモデルと関連サービスの提供事業者 |
| アクセス可能なデータ | ページ、データベース、顧客データ、外部データソース |
| 操作権限 | 読み取り、作成、変更、削除、外部送信 |
| データの機密性 | 公開、社内限定、機密、その他の分類 |
| 外部安全性評価 | 公開されている第三者研究と評価対象の範囲 |
| リスクと対応状況 | 発見された問題、改善方法、担当者 |
| 最終確認日 | 権限や設定を最後に確認した日付 |
個人のワークスペースであれば、まず機密性の高いページや不要なアクセス権限を整理するところから始められます。複数人で共同作業を行うチームでは、共有エージェントによる間接的な情報アクセスにも注意が必要です。また、本番データを自動的に変更するワークフローについては、有効化する前に失敗シナリオのテストを実施することが望まれます。
Anthropicの組み込み型評価はAI業界の新たな標準になるのか？
AnthropicとMETRの協力は、従来の公開モデルテストよりも踏み込んだ外部監督の方法を示しています。研究者がモデルの開発やリスク管理のプロセスに近い立場から調査し、得られた証拠に基づいて独自の結論を形成できるため、AI企業と外部との情報格差を縮小することにつながります。
ただし、この制度が長期的に機能するかどうかは、今後の実際の研究にかかっています。評価者が具体的にどのシステムを調査したのか、アクセス制限によって検証できなかった問題は何か、研究成果が不当な干渉を受けずに公表できるのかを、外部から確認できる必要があります。報告書ですべての内部情報を公開できない場合でも、研究方法、対象範囲、証拠上の制約を可能な限り説明し、読者が研究結論の適用範囲を判断できるようにすることが重要です。
METRが10月20日に公表したレビューは、すでに第三者研究が果たし得る役割を示しています。研究者が企業による全体的なリスク判断を覆すとは限りませんが、テスト手法の不足、監視システムの盲点、さらに公開すべき内部情報を指摘することはできます。新たな組み込み型評価制度によって、より十分な証拠を得られるかどうかについては、新条件に基づいて実施される研究の成果を確認する必要があります。
AIサービスを導入する企業や組織も、今後安全性報告書を読む際には、モデル提供事業者が自ら公表するテスト、外部組織が委託を受けて実施する評価、正式な規制上の効力を持つ監査を区別するべきです。これらが提供できる保証の程度は異なり、第三者が関与しているという理由だけで、同じ水準の安全性審査とみなすことはできません。
まとめ：第三者によるAI安全性評価は情報格差を埋める一方、実際の利用では権限管理が欠かせない
AnthropicがMETRの研究者に社内のリスク評価チームに近いアクセス権を付与したことは、第三者によるAI安全性評価に新しい協力の形をもたらしました。公開テストや企業の報告書だけに基づいて判断する方法と比べ、研究者は開発プロセス、社内インシデント、安全対策をより詳しく検証できる可能性があります。ただし、情報へのアクセスと公表には依然として制限があり、制度の独立性については継続的に見守る必要があります。
METRの最新研究は、現段階でモデルのリスクが低いからといって、企業が将来のより高性能なモデルに対応できる防御策を確立しているとは限らないことも示しています。AIの能力や導入方法が変化し続けるなか、従来の監視手法が引き続き有効かどうかは、新たなテストと実際の証拠によって確認する必要があります。
Notion AIユーザーにとって、提供事業者が外部安全性評価を受け入れているかどうかは、サービス選定時の判断材料の一つになります。しかし、日常業務では、それ以上にデータがどのように処理されるのか、エージェントにどのような権限があるのか、誤操作を防止・復旧できるのかを確認することが重要です。特にCustom Agentsや複数のプラットフォームを連携させた自動化を利用する場合は、元のデータとエージェント自体の共有設定を両方確認し、制限されているはずの情報がエージェントの権限を通じて間接的に取得されることを防ぐ必要があります。
外部研究は、モデル提供事業者の安全対策を検証するうえで役立ちます。一方、ワークスペースでどのデータへのアクセスを許可し、AIにどの操作を自動実行させるかについては、実際の業務上の必要性とデータの機密性に応じて判断する必要があります。
よくある質問（FAQs）
METRは、最先端AIモデルの能力やリスクを研究する非営利組織です。AnthropicはMETRのメンバー6人に、社内のリスク評価チームに近いアクセス権を付与し、モデルのリスク、防御策、社内の安全管理プロセスを検証できるようにしました。
一般的な外部テストでは、主にモデルの出力結果から動作を観察します。一方、組み込み型評価では、一部の社内インシデント、監視の仕組み、開発プロセスまで確認できるため、安全性報告書の根拠となる証拠を検証しやすくなります。
2026年10月に発表された新条件では、METRは原則として研究成果を独自に公表できます。ただし、顧客データ、法的に秘匿される情報、一部のモデルアーキテクチャなどには引き続き制限があり、Anthropicは特定の機密情報の削除を求めることができます。
いいえ。METRによると、この報告書は以前の協力条件に基づいて作成されたもので、研究期間中は10月15日に発表された組み込み型評価のアクセス権を取得していませんでした。そのため、2つの進展は分けて理解する必要があります。
METRは、特定の壊滅的なミスアラインメントのリスクが現時点で低いという判断にはおおむね同意しています。ただし、その主な理由はモデルの能力がまだ限定的であることにあり、既存の監視システムやリスクテストだけでは、将来のより高性能なモデルも確実に制御できると証明するには不十分だと考えています。
いいえ。これはAnthropicと第三者研究者による自主的な協力であり、政府による法定監査ではありません。また、ClaudeやAnthropicのモデルを利用するほかの製品に対する包括的な安全認証にも該当しません。
いいえ。Notion AIが質問に回答する際には、ワークスペースの内容を検索・取得し、必要な情報をモデル提供事業者に渡して処理する場合があります。データが学習に使用されるか、どのように転送されるか、どの程度の期間保持されるかについては、それぞれ適用されるポリシーを確認する必要があります。
通常のNotion AIは、原則として現在のユーザーが持つページへのアクセス権限に従って動作します。一方、Custom Agentsは独立して付与されたリソース権限を持っています。そのため、ユーザーが共有エージェントを通じて、自分では直接閲覧できない情報を間接的に取得する可能性があります。
機密データを洗い出し、エージェントやコネクターのアクセス範囲を必要最小限に制限します。また、削除、外部への情報送信、重要な変更には人間による確認を設け、テストデータを使ってプロンプトインジェクション、誤った書き込み、復旧手順を検証します。
評価者がどのような証拠にアクセスできたのか、テスト対象となったモデルや状況の範囲、報告書の公表に制限があるか、未解決の問題が何かを確認する必要があります。第三者が評価を実施したという理由だけで、包括的な安全性が保証されていると判断することはできません。