[OSS紹介#57] torchchat：簡単に大規模言語モデルを実行できるツールの魅力

in

この記事について

この記事では、オープンソースソフトウェア（OSS）の中でも特に注目すべきツール「torchchat」を紹介します。今回の記事は、シリーズ第57回目となります。

現代のソフトウェア開発において、効率的なコミュニケーションや情報処理能力はますます重要視されています。特に、大規模言語モデル（LLM）の進化により、チャットボットや自動応答システムの導入が一般化していますが、これらの技術をどのように活用するかが大きな課題となっています。

「torchchat」は、Pythonを利用してLLMを簡単に実行できる軽量なツールで、デスクトップアプリケーションやサーバー、さらにiOSやAndroidといったモバイル環境でも動作します。これにより、開発者は複雑な背景なしで、さまざまなプラットフォーム上でチャット機能を実装できるようになります。

本記事では、「torchchat」の特徴や機能、インストール手順に加えて、実際の運用シナリオにおける利便性について詳しく解説していきます。OSSツールの活用が進む中で、開発者の生産性向上に寄与することが期待される「torchchat」の魅力を探っていきましょう。

リンク：https://github.com/pytorch/torchchat

本コンテンツは、弊社AI開発ツール「IXV」を用いたOSSツール紹介です。情報の正確性には努めておりますが、内容に誤りが含まれる可能性がございますのでご了承ください。

1. torchchatでできること

torchchatは、大規模言語モデル（LLM）を簡単に実行できるOSSツールです。以下の機能があります。

1.1 PyTorch / Pythonを介してモデルを実行

  • チャット: コマンドラインインターフェース（CLI）を通じて、LLMとインタラクティブにチャットできます。
  • 生成: 入力プロンプトに基づいてテキストを生成します。
  • ブラウザでのチャット: ローカルサーバーを通じて、ブラウザでインタラクティブにモデルとチャットできます。

1.2 デスクトップ/サーバーでのモデル実行

  • AOTインダクタ使用: モデルを事前にコンパイルすることで、高速な推論を実現します。
  • C++を使用した実行: C++環境でモデルを実行するためのランナーがあります。

1.3 モバイルでのモデル実行

  • iOSへのデプロイ: iOSデバイス上でモデルを実行できます。
  • Androidへのデプロイ: Androidデバイス上でモデルを実行できます。

1.4 モデルの評価

モデルの精度をさまざまなタスクで評価することができます。

2. セットアップ手順

torchchatをセットアップするには、以下の手順を実行します。Python 3.10がインストールされていることを確認してください。

リポジトリをクローンします。

git clone https://github.com/pytorch/torchchat.git
cd torchchat

仮想環境を作成し、アクティブにします。

python3 -m venv .venv
source .venv/bin/activate

必要な依存関係をインストールします。

./install/install_requirements.sh

モデルをエクスポートするためのディレクトリを作成します。

mkdir exportedModels

torchchatはBSD 3ライセンスでリリースされており、Linux、Mac OS（M1/M2/M3）、Android、iOS（iOS 17以上、8GB以上のRAMが必要）で動作します。

3. 簡単な使い方

torchchatの基本的な使い方を以下に示します。

3.1 Pythonを介した推論

チャット: Llama3.1モデルとチャットするには、次のコマンドを実行します。

python3 torchchat.py chat llama3.1

生成: プロンプトに基づいてテキストを生成するには、次のコマンドを実行します。

python3 torchchat.py generate llama3.1 --prompt "男の子とクマについての物語を書いてください"

サーバー: REST APIを使用してモデルと対話するには、次のコマンドを実行します。

python3 torchchat.py server llama3.1

3.2 モバイルデバイスでの実行

iOSまたはAndroidデバイスでモデルを実行するための手順は、各プラットフォームに応じて異なりますが、基本的な流れは次のとおりです。

iOS

Xcodeを使用してアプリを構築し、エクスポートしたモデルファイルとトークナイザをアプリに追加します。

Android

Android Studioを使用してアプリを構築し、同様にモデルファイルとトークナイザを追加します。

4. 結論

torchchatは、さまざまなプラットフォームで大規模言語モデルを簡単に実行できる強力なツールです。PyTorchに基づいており、ユーザーが直感的に操作できるように設計されています。デスクトップ、サーバー、モバイルデバイスでの実行が可能で、評価機能も備えているため、幅広い用途に対応しています。興味のある方は、ぜひ試してみてください。