ブログ

Jun 23, 2023

LLM をローカルで実行する 5 つの簡単な方法

InfoWorld | データ & アナリティクス担当エグゼクティブ エディター、Sharon Machlis 著 ChatGPT、Claude.ai、phind などのチャットボットは非常に役立ちますが、質問や機密データが常に必要であるとは限りません

シャロン・マクリス著

InfoWorld、データ＆アナリティクス担当エグゼクティブエディター |

ChatGPT、Claude.ai、phind などのチャットボットは非常に役立ちますが、質問や機密データを常に外部アプリケーションで処理したいとは限りません。 これは、インタラクションが人間によってレビューされたり、将来のモデルのトレーニングに使用される可能性があるプラットフォームに特に当てはまります。

解決策の 1 つは、大規模言語モデル (LLM) をダウンロードして、自分のマシン上で実行することです。 そうすれば、外部の企業があなたのデータにアクセスすることはありません。 これは、Meta が最近発表したコーディング用に調整された Code Llama ファミリのモデルや、音声合成や言語翻訳を目的とした SeamlessM4T などの新しい特殊モデルを試すための簡単なオプションでもあります。

独自の LLM を実行するのは複雑に聞こえるかもしれませんが、適切なツールを使用すれば、驚くほど簡単です。 また、多くのモデルのハードウェア要件はそれほど高くありません。 この記事で紹介したオプションを 2 つのシステムでテストしました。Intel i9 プロセッサ、64 GB の RAM、Nvidia GeForce 12 GB GPU を搭載した Dell PC (このソフトウェアの多くは実行されていないと思われます)、およびM1 チップを搭載した Mac ですが、RAM はわずか 16 GB です。

タスクに適切なパフォーマンスを発揮し、デスクトップ ハードウェアで実行できるモデルを見つけるには、少し調査が必要になる場合があることに注意してください。 また、ChatGPT (特に GPT-4) や Claude.ai などのツールを使い慣れているものほど優れたものはほとんどないかもしれません。 コマンドライン ツール LLM の作成者である Simon Willison 氏は、先週のプレゼンテーションで、たとえ応答が間違っていたとしても、ローカル モデルを実行することには価値があると主張しました。

また、オープンソース モデルは改善を続ける可能性が高く、業界ウォッチャーの中には商業リーダーとの差が縮まると予想している人もいるということも注目に値します。

ローカルで実行され、他の場所にはデータを送信しないチャットボットが必要な場合は、GPT4All がダウンロード用のデスクトップ クライアントを提供しており、セットアップが非常に簡単です。 独自のシステムで実行するモデルのオプションが含まれており、Windows、macOS、および Ubuntu のバージョンがあります。

GPT4All デスクトップ アプリケーションを初めて開くと、ローカルで実行できる約 10 個 (この記事の執筆時点) のモデルをダウンロードするオプションが表示されます。 その中には、Meta AI のモデルである Llama-2-7B チャットも含まれます。 API キーがあれば、OpenAI の GPT-3.5 および GPT-4 (アクセス権がある場合) をローカル以外で使用するように設定することもできます。

GPT4All インターフェイスのモデル ダウンロード部分は、最初は少し混乱しました。 いくつかのモデルをダウンロードした後も、すべてをダウンロードするオプションが表示されました。 これは、ダウンロードが機能しないことを示唆していました。 しかし、ダウンロード パスを確認すると、モデルは存在していました。

GPT4All のモデル ダウンロード インターフェイスの一部。 アプリケーションの使用部分を開くと、ダウンロードしたモデルが自動的に表示されました。

モデルがセットアップされると、チャットボット インターフェイス自体はクリーンで使いやすくなります。 便利なオプションには、チャットをクリップボードにコピーしたり、応答を生成したりすることが含まれます。

GPT4All チャット インターフェイスはすっきりしていて使いやすいです。

また、自分のドキュメントをローカルで「チャット」できる新しいベータ版 LocalDocs プラグインもあります。 で有効にできます。設定 > プラグインタブには、「LocalDocs プラグイン (ベータ) 設定」ヘッダーと、特定のフォルダー パスにコレクションを作成するオプションが表示されます。

このプラグインは進行中の作業であり、追加された専門家情報にアクセスできる場合でも、LLM が依然として「幻覚」を起こす (でっち上げ) 可能性があるとドキュメントで警告されています。 それでも、これは興味深い機能であり、オープンソース モデルの機能が向上するにつれて改善される可能性があります。

チャットボット アプリケーションに加えて、GPT4All には Python、Node、およびコマンド ライン インターフェイス (CLI) のバインディングもあります。 OpenAI とよく似た構造の HTTP API を通じてローカル LLM と対話できるサーバー モードもあります。 目標は、コードを数行変更することで、OpenAI のローカル LLM を交換できるようにすることです。