社外秘をクラウドに送らないためのローカルLLM用PCの選び方

議事録の要約や契約書の下読みに生成AIを使いたいものの、社外秘や顧客の個人情報をクラウドのAIサービスへ送ることに抵抗がある、という相談が増えています。そこで候補に挙がるのが、手元のPCで大規模言語モデル(LLM)を動かすローカルLLMです。プロンプトがPCの外へ出ないため、送信先の事業者がデータをどう扱うかという心配はかなり減ります。ただし、ローカルで動かせばすべてのリスクが消えるわけではなく、PCの選び方と設定しだいで新しい穴も生まれます。この記事は、ローカル実行で防げるリスクと防げないリスクを分けたうえで、必要なメモリやVRAMの見積もり方、Apple SiliconのMacとNVIDIA GPU搭載機の違い、ディスク暗号化とOS更新の基本までを順に整理します。なお本記事はアフィリエイトリンクを含みます。紹介する製品の効果や適合性を保証するものではなく、購入判断はご自身の利用環境に照らしてお願いします。詳細は広告とアフィリエイトに関する方針をご覧ください。

ローカル実行で防げるリスク#

クラウドの生成AIサービスでは、入力したプロンプトが提供事業者のサーバーへ送られ、そこで処理されます。事業者がその内容をどの期間保存するのか、モデルの改善に使うのか、誰がアクセスできるのかは、利用規約や契約で決まり、利用者側からは直接確かめられません。個人情報保護委員会は2023年6月2日の注意喚起で、個人情報取扱事業者が本人の同意なく個人データを含むプロンプトを入力し、そのデータが応答の出力以外の目的で扱われる場合は個人情報保護法に違反する可能性があるとして、提供事業者が機械学習に利用しないことなどを十分に確認するよう求めています。

ローカルLLMでは、推論そのものが手元のPCで完結します。Ollamaの公式FAQも、ローカルで実行している場合は同社がプロンプトやデータを見ることはないと説明しています。送信先が存在しなければ、送信先での保存や学習利用、通信経路での漏えいといった心配はそもそも生じにくくなります。社外秘の文書を扱う部署にとって、この性質は大きな利点です。

ただし、注意喚起の一つ目の項目である「個人情報を含むプロンプトを入力する場合は、利用目的の達成に必要な範囲内であることを十分に確認する」という点は、処理する場所がクラウドかローカルかに関係なく残ると考えられます。ローカルLLMは社内ルールの代わりにはならず、何をAIに入力してよいかの線引きは別途決めておく必要があります。法的な判断が必要な場面では、社内の法務担当や専門家に確認してください。

個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」(令和5年6月2日)の別添1は、個人情報取扱事業者向けに、利用目的の範囲内かの確認と、提供事業者が個人データを機械学習に利用しないこと等の確認を求めています。執筆時点で個人情報保護委員会のサイトに接続できなかったため、内閣府に掲載された同資料を参照しています。

ローカルでも残る四つのリスク#

ローカルLLMを導入しても残るリスクは、大きく四つに分けられます。OWASPのTop 10 for LLM Applications 2025が挙げる項目とも重なります。

一つ目は、モデル自体の出所とライセンスです。ローカルLLMでは、公開されているモデルの重みを自分でダウンロードして使います。どの組織が学習させたモデルか分からないものを使うと、学習データに意図的な仕込みがされている可能性を排除できません。OWASPはこれをLLM03(サプライチェーン)やLLM04(データとモデルのポイズニング)として整理しています。また、モデルにはそれぞれ配布元のライセンスがあり、商用利用や出力の扱いに条件がつくものもあります。業務で使う前に、配布元とライセンスを確認しておきます。

二つ目は、モデルファイルの改ざんです。モデルの保存形式によっては、読み込むだけでコードが実行されるものがあります。Hugging Faceのドキュメントは、Pythonのpickle形式のファイルを読み込むと任意のコードを実行される攻撃が成り立つと警告し、信頼できる配布元から読み込むことを勧めています。重みだけを格納するsafetensorsや、llama.cppやOllamaが使うGGUFのような形式を選び、公式のレジストリや配布元の正規のリポジトリから取得するのが基本です。配布元がハッシュ値を公開していれば、取得後に照合しておくと差し替えに気づけます。ただし、形式を選んで避けられるのはpickle特有の危険までです。llama.cppの公式アドバイザリ(GHSA-96jg-mvhq-q7q7)では、細工したGGUFファイルのテンソル情報を読み込む処理で整数オーバーフローからヒープバッファオーバーフローが起きる脆弱性が報告されています。GGUFであっても、信頼できる配布元から取得し、ランタイムを修正版へ更新しておく必要があります。

三つ目は、ローカルAPIの公開設定です。Ollamaは既定で127.0.0.1のポート11434で待ち受けると公式FAQに書かれており、この状態ならそのPCの中からしか接続できません。ところが、同じネットワークの別の端末から使いたくてOLLAMA_HOSTを0.0.0.0のような全インターフェースのアドレスに変えると、ネットワーク上の誰からでもAPIに届く状態になります。FAQにはローカルAPIの認証機能についての記載がなく、待ち受けアドレスを広げることは、モデルの利用や管理の操作を接続できる相手に開放することにつながります。共有したい場合は、認証つきのリバースプロキシを前に置き、ファイアウォールで接続元を絞る構成にします。

四つ目は、プロンプトインジェクションです。モデルが手元で動いていても、外部から取り込んだ文書やWebページに埋め込まれた指示に従ってしまう性質は変わりません。OWASPはこれをLLM01(プロンプトインジェクション)として最上位に置いています。ローカルLLMにファイル操作やコマンド実行のツールをつないだり、MCPサーバー経由で社内システムに接続したりすると、仕込まれた指示によって機密ファイルを読み出させる、外部へ送信させるといった被害につながります。ローカル実行は送信先を消す対策であって、入力の中身を信用してよい理由にはなりません。

あわせて読みたい

プロンプトインジェクションとは。AIエージェント時代の新しい攻撃と防御

ローカルLLMにツールをつなぐ場合の権限設計は、MCPサーバーの記事で詳しく扱っています。

あわせて読みたい

MCPサーバーのセキュリティ。AIエージェントとツール接続の信頼境界

待ち受けアドレスを確認する手順#

導入した直後と設定を変えたあとには、ローカルAPIがどのアドレスで待ち受けているかを確認しておきます。macOSやLinuxでは、次のようにポート11434を待ち受けているプロセスとアドレスを表示できます。

# macOS / Linux: 11434番ポートの待ち受けアドレスを確認する
lsof -nP -iTCP:11434 -sTCP:LISTEN

# Linux で ss が使える場合
ss -ltnp | grep 11434

表示されたアドレスが127.0.0.1:11434であれば、そのPCの中からしか接続できません。*:11434や0.0.0.0:11434のように表示される場合は、ネットワーク上のほかの端末からも接続できる状態です。意図して共有しているのでなければ、OLLAMA_HOSTの設定を見直します。

必要なメモリとVRAMの見積もり方#

ローカルLLMを動かすPCで最初に決めるべき仕様は、メモリの量です。LLMの重みは推論中ずっとメモリ上に置く必要があり、収まらないと動かないか、大幅に遅くなります。必要な量は、主にパラメータ数と量子化のビット数で決まります。

量子化は、重みの数値を少ないビット数で表して容量を減らす手法です。llama.cppは1.5bitから8bitまでの整数量子化に対応しており、READMEでは推論の高速化とメモリ使用量の削減を目的に挙げています。重みの容量は、おおよそ「パラメータ数 × 1パラメータあたりのビット数 ÷ 8」バイトで見積もれます。80億(8B)パラメータのモデルを4bit前後に量子化すれば、重みだけで4GB強になる計算です。

実際の数値として、Ollamaのモデルライブラリのllama3.1のページでは、8bが4.9GB、70bが43GB、405bが243GBと表示されています(執筆時点)。8B級なら一般的なPCでも収まる一方、70B級になると重みだけで40GBを超えます。複数のGPUに分けたり、一部をCPU側のメモリに置いたりして動かすこともできますが、GPUのVRAMに収まらない分は処理が遅くなります。

重みのほかにも、会話の文脈を保持する領域(KVキャッシュ)がメモリを使います。Ollamaの公式ドキュメントのコンテキスト長のページによると、既定のコンテキスト長はVRAMの容量で変わり、24GiB未満なら4k、24GiB以上48GiB未満なら32k、48GiB以上なら256kトークンです(執筆時点。FAQには既定を4096トークンとする記述も残っています)。FAQによると、必要なメモリは同時に処理するリクエスト数とコンテキスト長の積に比例して増えます。実際に割り当てられたコンテキスト長は、ollama psのCONTEXT列で確認できます。長い文書を丸ごと読ませたい場合や、複数人で同時に使う場合は、重みの容量に対して余裕を大きめに取ります。OSやブラウザなどほかのアプリが使う分も残しておく必要があるため、モデルの容量ぴったりのメモリでは足りません。

表の「目安となる構成」は重みの容量から逆算した編集部の見積もりで、コンテキスト長や同時利用数によって必要量は増えます。

Apple SiliconのMacとNVIDIA GPU搭載機の違い#

ローカルLLM用のPCは、大きくApple SiliconのMacとNVIDIA GPU搭載のWindowsまたはLinux機に分かれます。両者はメモリの構造が異なり、それが得意なモデルの規模の違いになります。

Apple SiliconのMacは、CPUとGPUが同じユニファイドメモリを共有します。GPU専用のメモリが別にあるわけではないため、搭載メモリが大きければ、その多くをモデルの置き場として使えます。AppleのMacBook Proの技術仕様ページには、40コアGPUのM5 Max搭載モデルで48GB、64GB、128GBのユニファイドメモリを選べる構成が掲載されています(執筆時点)。llama.cppもREADMEでApple Siliconを第一級の対応環境と位置づけ、Metalなどで最適化していると説明しています。70B級のように数十GBのモデルを1台で動かしたい場合、メモリを大きく積んだMacは現実的な選択肢になります。一方で、ユニファイドメモリはOSやほかのアプリとも分け合うため、全容量をモデルに使えるわけではありません。メモリ容量は購入時の構成で選ぶ形になっているので、使いたいモデルの規模を先に決めてから容量を選びます。

NVIDIA GPU搭載機は、GPUに専用のVRAMがあり、モデルがVRAMに収まる範囲では高速に推論できます。llama.cppはNVIDIA GPU向けにCUDAの専用カーネルを備えています。VRAMの容量はGPUの製品ごとに決まっており、NVIDIAの製品ページでは、GeForce RTX 5090が32GB GDDR7、RTX 5060 Tiが16GBまたは8GB GDDR7、RTX 5060が8GB GDDR7と示されています。VRAMに収まらないモデルは、llama.cppのCPUとGPUの併用推論で一部だけをGPUで処理することもできますが、残りをCPU側で処理する分だけ遅くなります。Ollamaの公式FAQも、GPUで複数のモデルを同時に読み込むには、新しいモデルがVRAMに完全に収まる必要があると説明しています。

選び分けの目安は次のとおりです。8B級から十数B級のモデルを速く動かしたいなら、VRAM 16GB以上のNVIDIA GPU搭載機が扱いやすくなります。数十GBのモデルを1台に収めたいなら、ユニファイドメモリを大きく積んだMacが向きます。どちらを選ぶ場合も、量子化したモデルの容量と、使いたいコンテキスト長を先に確かめてから構成を決めると、買ってから足りないという失敗を避けられます。

ディスク暗号化とOSの更新#

ローカルLLM用のPCには、ダウンロードしたモデルに加えて、読ませた社外秘の文書や、アプリによってはチャットの履歴が保存されます。Ollamaの公式FAQによると、モデルは既定でmacOSなら~/.ollama/models、WindowsならC:\Users\%username%\.ollama\modelsに置かれます。クラウドに送らない代わりに、機密の置き場所がPCそのものになるという点を前提に考えます。

PCを紛失したり盗まれたりしたときに中身を読まれないよう、ディスク全体の暗号化を有効にします。macOSではFileVaultが標準で用意されています。WindowsのBitLockerは、Microsoftの説明ではProやEnterprise、Educationなどのエディションで有効化できるとされています。Homeエディションでは、要件を満たす端末で使える「デバイスの暗号化」が有効になっているかを確認します。暗号化を有効にしたら、回復キーを本人しか見られない場所とは別に、組織として管理できる場所へ保管しておきます。回復キーを失うと、正規の利用者でもデータを取り出せなくなるためです。

BitLockerの回復キーの扱いは、次の記事で整理しています。

あわせて読みたい

BitLocker回復キーとは何か、48桁の番号の探し方と回復画面が出る原因

OSの更新と、ランタイムの更新も欠かせません。ローカルLLMのランタイムも普通のソフトウェアであり、脆弱性が見つかります。たとえばNVDに登録されたCVE-2024-37032は、Ollamaの0.1.34より前のバージョンがモデルのパスを取得する際にダイジェストの形式を検証していなかった問題です。待ち受けアドレスを広げた状態でこうした脆弱性が残っていると、ネットワーク越しに悪用される余地が生まれます。OSのセキュリティ更新、GPUドライバ、Ollamaやllama.cppといったランタイムを、定期的に更新する運用を最初から決めておきます。

導入前に決めておく社内ルール#

PCを選ぶ前に、社内での使い方を決めておくと、機種選びも設定も迷いにくくなります。何をローカルLLMに入力してよいか、どのモデルを使ってよいか、誰が更新と設定を管理するかの三点が出発点です。IPAのサイトでは、中核人材育成プログラムの卒業プロジェクトがまとめた「テキスト生成AIの導入・運用ガイドライン」が公開されており、社内ルールを作る際の参考になります。IPAの意見を代表するものではなく、プロジェクトメンバーの見解に基づく旨が明記されているため、自社の方針と照らし合わせて使います。

ローカルLLMは、社外秘をクラウドに送らないという一点で強力な選択肢です。ただし、それはデータの送り先を消す対策であって、モデルの出所、APIの公開範囲、入力に紛れた指示、PC自体の盗難という別の経路は、利用者が自分で塞ぐ必要があります。生成AIが攻撃側でどう使われているかは、次の記事で扱っています。

あわせて読みたい

攻撃者が生成AIを道具に使う手口と怪しい兆候の見分け方