はじめに
PrivateGPTを試したのでメモ。PrivateGPTのドキュメントは
https://docs.privategpt.dev/
に公開されており、少なくともLinux環境かつGPUを利用する条件では、このドキュメント通りにインストールすると使えるようになります。
使い方
インストールが完了すると、
PGPT_PROFILES=local make runでローカル実行できます。具体的な実行コードはMakefileに記載されています。実行後、 http://localhost:8001/ にアクセスすると利用できます。 ドキュメントをPrivateGPTに取り込むには、
PGPT_PROFILES=local make ingest /path/to/docmentsを実行します。8487440a6f8d135のリビジョンのコードでは、コードを改変しない限りディレクトリしか指定できません。実行すると、ディレクトリにあるファイルが解析されてPrivateGPTに追加されます。実行するたびにファイル名が同じものを除いて追加されていきます。削除方法はPrivateGPTのドキュメントに記載されています。 ドキュメントの取り込み時は単にサーバーを動かすときよりもGPUのメモリを使用するため、もしGPUのメモリが足りない場合は
CUDA_VISIBLE_DEVICES="" PGPT_PROFILES=local make ingest /path/to/docmentsのようにして、GPUを見えなくすればCPUで処理してくれます。
