👾

Dify徹底活用:ネット接続が不要な「完全ローカルLLM」の構築

に公開

この記事は、インターネット接続が遮断された環境や、機密性の高いデータを取り扱うIT現場で、大規模言語モデル(LLM)を活用するための具体的な構築手順を解説します。

1. はじめに:なぜ「ローカルLLM」が必要なのか

「セキュリティが厳しく、外部のLLM APIを利用できない」

「インターネット接続が遮断された機密性の高いネットワークでAIを活用したい」

これらは、日本の多くのIT現場、特に金融、製造、公共分野でLLM導入の大きな障壁となっています。どれほど高精度なLLMが登場しても、ネットワークの制約により利用を断念せざるを得ない状況が少なくありません。

本記事では、これらの制約を克服する方法を紹介します。ノーコード/ローコードAIプラットフォームのDifyと、ローカルで動作するLLMを組み合わせることで、インターネット接続が不要な完全ローカルなLLMを、構築する方法を紹介します。

2. 現実的な壁とローカルLLMのメリット

2.1 現状のLLM利用の制約

特に外部アクセスが制限されたIT現場で、クラウドベースのLLMモデルを利用する際に直面します。

  • 外部APIへの依存と利用の制約

    現在主流のChatGPTやClaudeなどの高性能LLMは、外部APIへの常時接続が必要があります。これにより、「業務で使いたいが、接続が許可されない」という状況が生じます。

  • セキュリティリスクとコンプライアンスの壁

    外部APIを利用することで、入力したデータがベンダーのサーバーを経由します。そのため、 機密情報や個人情報を外部に送信することに対するセキュリティ上の懸念が高く、コンプライアンス上、利用が許可されないことがあります。

2.2 ローカルLLMのメリット

上記の制約を克服し、LLMを現場で効果的に活用するための「オフライン化」のメリットを説明します。

  • 機密性の高いデータの完全な保護

    LLMの処理をプライベートネットワーク内で完結させることで、外部データ漏洩のリスクをゼロにできます。セキュリティポリシーが厳しい企業や規制がある業界で、安心してLLMを業務に導入できます。

  • コストの削減

    外部APIの従量課金から解放されます。長期的運用では節約につながります。

3.使用する主要ツールと環境構築

ローカルLLM環境を構築するために不可欠な主要なツールと、今回実施した環境は以下の通りです。

今回実施した環境

CPU:13th Gen Intel(R) Core(TM) i9-13900 (32 CPUs)
GPU:NVIDIA GeForce RTX 4080
OS:Ubuntu 22.04.2
git:2.34.1
Docker:28.3.3
Docker Compose:v2.39.1

主要ツールの役割

ツール 役割 オフライン環境での機能
ローカルLLM実行基盤
・Ollama
・vLLM
LLMの実行とAPI化 ダウンロードしたLLMモデルをホストし、Difyが接続できる標準的なAPIエンドポイントとして提供します。
ローカルLLMモデル
・gpt-oss
・gemma3
・Llama3
・etc…
AIの「頭脳」 環境内で実行される、実際に推論を行う大規模言語モデル
Dify アプリケーション開発・管理プラットフォーム ローカルLLMを統合し、プロンプト、RAG、ワークフローなど、高度なAIアプリケーションのフロントエンドとロジックをGUIで提供します。

https://github.com/langgenius/dify

3.1 ローカルLLM実行基盤の選択と構築

LLMのホスティングとAPI化

  • モデルのロードと実行: ハードウェア(CPU/GPU)上にLLMモデルを読み込み、推論処理を実行可能な状態にします。
  • APIエンドポイントの提供: Difyなどの上位アプリケーションがプロトコルに沿ってリクエストを送れるよう、OpenAI互換などの標準的なAPIインターフェースを提供します。
  • リソース管理: メモリ、GPUなどの計算リソースを効率的に管理し、応答速度(レイテンシ)や処理能力(スループット)を最適化します。

利用しているPCの環境などで使い分けてください。

特性 Ollama vLLM
処理性能 個人のPCやカジュアルなテストには十分な速度 商用サービス向けの高性能。Ollamaの数倍の速度を発揮することがある
得意な処理 単一のリクエスト(一問一答)の実行。 多数の同時リクエスト(高並列)の高速処理。
メリット 多くのPC(CPU、MacのMチップなど)で動作するため、手軽にAIを動かせる。 GPUメモリの利用効率が非常に高いため、高性能なGPUを無駄なく使える。
デメリット 同時に処理するリクエストが増えると、処理速度の伸びが鈍化し、応答時間が長くなる傾向がある。 高性能なNVIDIA GPUがほぼ必須となるため、環境構築のコストが高い。

3.1.1 Ollamaを利用する場合のセットアップ

1. インストール

Linux環境で以下をコマンドを実行します。

curl -fsSL https://ollama.com/install.sh | sh

https://github.com/ollama/ollama

2. 外部アクセス設定

Difyとollamaを連携させるために一部の設定を書き換える必要があります。

sudo vi /etc/systemd/system/ollama.service

[Service]の中にEnvironmentの6行を追加してください。

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MAX_LOADED_MODELS=3"
Environment="OLLAMA_MAX_QUEUE=512"
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_KEEP_ALIVE=-1"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/--------"

変更後に再起動を以下のコマンドで実行してください

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl restart ollama

3. 外部アクセス確認

サーバーのIPアドレスを確認し、外部からのアクセスが可能かテストします。

# IPアドレスの確認
ip addr show

172.28.xxx.xxxがサーバーのIPアドレスです。

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:15:5d:xx:xx:xx brd ff:ff:ff:ff:ff:ff
    inet 172.28.xxx.xxx/20 brd xxx.xxx.xxx.xxx scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::xxxx:xxxx:xxxx:xxxx/64 scope link
       valid_lft forever preferred_lft forever

以下のコマンド実行します。

# 外部アクセス確認
curl http://172.28.xxx.xxx:11434
# -> "Ollama is running" が確認できれば成功

4. モデルのダウンロードと起動

以下のpullコマンドで好きなモデルをダウンロードすることができます。

ollama pull <model_name>

# 例としてllama3をインストール
ollama pull llama3

Ollamaでダウンロードできるモデルの一覧を以下のリンクから確認できます。

https://ollama.com/search

以下のrun コマンドでモデルを利用することができます。

ollama run <model_name>
# 例としてllama3を起動
ollama run llama3

# ダウンロードしたモデルの一覧を見ることができる
ollama list

3.1.2 vLLMを利用する場合のセットアップ

vLLMは高性能なNVIDIA GPU環境向けです。

1. インストール

仮想環境を作成し、pipでvLLMをインストールします。

python -m venv vllm-env
source vllm-env/bin/activate

vLLMをインストール

pip install vllm

https://github.com/vllm-project/vllm

2. vLLMサーバーの起動

vllm serveコマンドでモデルを指定してあげることで起動して利用することができます。

初回実行時はモデルがインストールされます。

vllm serve <model_path>

# Qwen2-1.5B-Instructのような小さなモデルを使用する例
vllm serve Qwen2-1.5B-Instruct
# vLLMはデフォルトでポート8000でOpenAI互換APIを提供します。

以下のリンクから利用できるLLMを確認できます。

https://docs.vllm.ai/en/latest/models/supported_models/
3.1.1のOllamaの外部アクセス確認と同じ方法でサーバーのIPを確認してください。

3.2 Difyの起動とローカルLLMの登録

Difyをローカル環境にデプロイし、セットアップしたLLM実行基盤と連携させます。

3.2.1 Difyのインストールと起動

Linux環境で以下を実行してDifyをダウンロードします。

DifyはDocker Composeで簡単に立ち上げられます。

1. Difyのダウンロード

git clone https://github.com/langgenius/dify.git

※注意: Difyのバージョンは、0.15.7以下または1.9.0以上をご利用ください。

2. 環境設定ファイルのコピー

cd dify/docker
cp .env.example .env

3. Docker Composeの実行

Dockerを利用してDifyを立ち上げます。

ビルド時はネットワーク接続が必要ですが、一度ビルドが完了すればオフラインでの起動が可能です。

docker compose up -d

起動後、ブラウザで http://localhost にアクセスし、アカウントを作成します。

3.2.2 ローカルLLMをDifyに登録

1. モデルプロバイダーの設定画面へ移動

Difyにアクセス後、画面左上のアイコンをクリックし、**「設定」**を開きます。

モデルプロバイダーから Ollama または vLLM のプラグインをインストールします。

インストールが終わると設定中の中に表示されます。

利用するLLM基盤の**「モデルを追加」**をクリックすることで連携するモデルと登録することができます。

2. Ollamaの連携設定

① Model Name:Ollamaでダウンロードしたモデル名をそのまま入れてあげます。

② Model Type:LLMを選択します。

③ Base URL:http://172.28.xxx.xxx:11434

あとはデフォルト設定のままで**「追加」**をクリックして下さい。

3. vLLMの連携設定

① Model Name:vLLMでダウンロードしたモデル名をそのまま入れてあげます。

② Model Type:LLMを選択します。

③ Base URL:http://172.28.xxx.xxx:8000/v1

あとはデフォルト設定のままで**「追加」**をクリックして下さい。

3.2.3 ローカルLLMの利用開始

Difyの「スタジオ」で新しいチャットフローを作成する際、LLMブロックの設定画面で、登録したローカルLLMを選択できるようになります。

これで、インターネットに接続することなく、高度なRAG(検索拡張生成)やワークフローといったDifyの機能とローカルLLMを組み合わせた、完全オフラインのAIアプリケーション を構築できます。

4. まとめ

本記事では、セキュリティとコンプライアンスが求められるIT現場において、大規模言語モデル(LLM)の活用を可能にする具体的なロードマップを提示しました。

**インターネット接続が不要な「完全ローカルLLM環境」**の構築は、もはや遠い目標ではありません。

この記事で解説した「Dify + Ollama/vLLM」による構築手法は、以下の二大メリットを現場にもたらします。

データ保護の徹底: 機密性の高い業務データが、外部ネットワークを経由するリスクを完全に排除し、ゼロトラスト環境下でもLLMを安全に導入できます。

高度なAI機能の利用: ローカルLLMをノーコード/ローコードプラットフォームであるDifyと連携させることで、単なるチャットボットに留まらず、RAG(検索拡張生成)や複雑なワークフローをオフラインで実現でき、現場の業務効率を飛躍的に向上させます。

この環境は、高性能なクラウドLLMが使えないという制約を、**「自社のセキュリティポリシーを維持しながらAIをフル活用できる機会」**へと変える鍵となります。ぜひ、この手順を参考にAI環境を構築してください。

株式会社インフォメーション・ディベロプメント

Discussion