- ローカルLLM
- ローカルLLM とは、外部のサービスを呼ばずに自社の設備で動かす大規模言語モデルのことです。業務データが社内ネットワークから出ないため、持ち出しを禁じる社内規定と両立します。
禁止しているのは、生成AIではありません。
社内規定を読み直すと、書かれているのはたいてい「業務データを社外に持ち出さないこと」です。生成AIそのものを名指しで禁じている規定は、あまり見かけません。
詰まっているのは技術ではありません。データの行き先です。入力した内容がどこへ行き、どれだけ残り、学習に使われるのか。そこに答えられないから、稟議が止まります。
処理を社内に閉じてしまえば、この問いには構成そのもので答えられます。規定を変える交渉より、はるかに短い道です。
クラウドかローカルか、ではありません。
見るべきは置き場所ではなく、次の四つです。ここが確認できれば、クラウドでも社内規定を満たせる場合があります。
3つの選び方
どれが正解ということはありません。扱うデータの機微さと、求める品質のつり合いで決めます。
完全ローカル
社内のGPUサーバーでオープンモデルを動かします。業務データは社内ネットワークから出ません。人事、法務、設計情報のように、外に出せないものを扱う場合に選びます。
専用環境
欧州または日本のリージョンに専用の環境を用意し、学習に使われない契約で運用します。最新の商用モデルの品質を保ったまま、処理される場所を固定できます。
併用
機微なデータはローカルで、一般的な文章の処理は外部で。どちらに流れるかを仕組みで振り分け、その判定を記録に残します。実務では最も多い形です。
完全ローカル構成では、境界を越えるものがありません。
よくある構成との違い
同じ機能でも、どこで処理するかで監査のときの答え方が変わります。
ローカルが向かない場合もあります。
売り込みたいのは構成ではなく、動く仕組みです。合わないときは合わないとお伝えします。
- 初期費用は高くなります。サーバーを用意する分、最初にまとまった投資が要ります。
- 更新は自分たちの仕事になります。新しいモデルが出ても、自動では入れ替わりません。
- 用途によっては品質が届きません。込み入った推論や多言語の細かい言い回しは、最新の商用モデルが優ります。
- 扱うデータが機微でないなら、過剰です。公開資料の検索にローカル構成は要りません。
- それでも選ぶ理由があるとすれば、稟議が通ることと、監査で自分たちが答えられることです。
音声を社内から出さずに動かしています。
会議の記録を扱う案件では、書き起こしを外部サービスに任せず、社内で動く音声認識に置き換えました。会議の音声には、人事の話も、価格の話も、まだ公表していない計画も入ります。外に出さないのが最も確実でした。
名前の突き合わせも社内の従業員名簿に対して行っています。誰が何を担当することになったのかという情報は、社外に出す必要のないものです。
詳しくはAIミーティングダッシュボードのケーススタディをご覧ください。多言語のナレッジ検索については多言語ナレッジ検索の構築にまとめています。
ローカルLLM:よくある質問
あわせて読む
社内規定のどこで止まっているか、お聞かせください。
30分あれば、どの構成なら通るかの見立てはお出しできます。クラウドで足りる場合は、そう申し上げます。