Claude Code セキュリティ「AIに仕事を任せて大丈夫?」——元SEの経営者が語る、AI活用の分かれ目は"境界設計"

「AIに社内の仕事を任せるのは、正直怖い」

経営者の方とお話ししていると、この言葉を本当によく聞きます。AIが勝手にファイルを消したらどうするのか。社外秘の情報が漏れたらどうするのか。その不安は、まったく正しい感覚です。

AI専門会社・合同会社あとらくしょん代表の長純です。金融・通信系のシステムエンジニアとして10年、その後は放課後等デイサービスを運営する合同会社あっぷっぷの副代表兼CAIO(Chief AI Officer)として、福祉現場へのAI実装に取り組んできました。

今回は、AI開発ツールの最前線である「Claude Code」のセキュリティ設計を題材に、AI活用の成否を分ける「境界設計」という考え方を、経営者の目線でお伝えします。技術者向けの話ではありません。むしろ、組織づくりに関わるすべての方に読んでいただきたい内容です。

「人間が全部チェックすれば安全」の落とし穴

AIのセキュリティ対策と聞くと、多くの企業がまず「人間が全部確認すればいい」と考えます。しかし、これには落とし穴があります。

確認作業が増えるほど、人は一つひとつを見なくなるのです。セキュリティの世界では「承認疲れ」と呼ばれる現象で、許可を求めるダイアログが頻繁に出るほど、ユーザーは反射的にクリックして通すようになることが知られています。30回目の「承認」ボタンを、内容を読んで押している人はほとんどいません。 Claude Fast

つまり「都度チェック」は、手間が増えるのに安全性は下がるという、最悪の組み合わせになりかねない。これは稟議のハンコが増えるほど誰も中身を見なくなる、あの現象と同じ構造です。

Claude Codeが採った答え:「檻を先に作って、中は自由に」

この問題に対して、Anthropic社のAI開発ツール「Claude Code」が採用したのがサンドボックスという仕組みです。発想は非常にシンプルです。

AIが自由に働ける範囲をあらかじめ定義し、その中では許可なく作業させる。仕組みとしては「ファイルの分離」と「通信の分離」という2つの境界を設けるものです。具体的には、 Anthropic

• AIが読み書きできるフォルダを最初に決める(それ以外は触れない)

• 外部との通信は、許可したドメインだけに限定する

• 境界の外に出ようとした瞬間に通知され、人間が判断する

という設計です。注目すべきは効果で、Anthropic社の社内利用では、この仕組みにより許可確認の回数が84%減ったとのこと。しかも安全性は下がるどころか上がっています。仮にAIが攻撃者に乗っ取られても、サンドボックスの外には出られないため、認証情報を盗まれたり外部に情報を送信されたりすることができない設計だからです。 AnthropicAnthropic

安全とスピードはトレードオフ、という常識が崩れた。私はここに、AI時代の経営のヒントがあると考えています。

Claude Code セキュリティ「AIへの攻撃」は教科書の話ではなく、現場にある

なぜ私がここまで境界設計にこだわるのか。理由は、AIへの攻撃を実際にこの目で見たことがあるからです。

AIに情報収集をさせる業務ワークフローを構築していたとき、AIが読み込んだ外部コンテンツの中に「AIへの命令文」が仕込まれているのを発見しました。「プロンプトインジェクション」と呼ばれる攻撃手法です。人間には単なる文章に見えても、AIには「指示」として作用しうる文字列が、ごく普通のWeb上に紛れている。

私がCAIOを務める放課後等デイサービスでは、お子さんとご家族の情報という、絶対に漏らしてはならないデータを扱っています。だからこそ弊社のAIワークフローには、必ず人間の確認ゲートと、AIが触れる情報の範囲制限を組み込んでいます。「AIを信用するかどうか」ではなく、「信用しなくても事故が起きない構造にする」。これが実務での結論です。

経営に持ち帰れる「境界設計」3つの問い

Claude Codeの設計思想は、AIツールに限らず、組織のAI活用全体に応用できます。明日から使える問いとして、3つ挙げます。

1. どこまで触らせるか —— AIに渡す情報の範囲を決めていますか。「とりあえず全部」は、人間の新入社員にもしない渡し方です。

2. どこから先は人間か —— 対外的な発信、個人情報、お金。この3つに関わる出口には、人間の確認を必ず置く。

3. 境界を越えたら気づけるか —— 想定外の動きをしたとき、それを検知する仕組みがあるか。気づけない事故が一番怖い。

4. 
   

権限設計、職務分掌、情報アクセス管理——お気づきの通り、これらは経営における内部統制の考え方そのものです。AI活用が上手い会社とは、実は統制設計が上手い会社なのだと、支援の現場で日々感じています。

まとめ:問うべきは「任せるか」ではなく「どこで区切るか」

AI導入の分かれ目は、AIの性能ではありません。「どこまで任せるか」と悩むのでもなく、「どこで区切るか」を先に設計することです。境界さえ正しく引けば、AIは安心して任せられる、最も勤勉な働き手になります。

弊社では、こうしたセキュリティ設計を含めたAI導入・AI研修のご支援を行っています(人材開発支援助成金を活用した研修設計にも対応しています)。「うちの場合、境界線はどこに引けばいいのか」——そんなご相談からで結構です。お気軽にお問い合わせください。