1. Llamaモデルとは
Llamaは、Meta社が提供する大規模言語モデル(LLM)で、さまざまな用途や要件に応じて使用可能です。
モデルは以下の種類に分かれています:
- Pretrained(事前学習済みモデル)
微調整やカスタマイズに最適な基本モデル。 - Fine-tuned(微調整済みモデル)
特定の目的(例:チャットや指示対応)に合わせて調整されたモデル。 - Trust and Safety Models(信頼性・安全性に特化したモデル)
セキュリティや倫理面での課題をサポートする特化型モデル。
2. ダウンロード手順
(1) Llama CLIのインストール
まず、Llama CLIをインストールします。以下のコマンドを実行してください:
pip install llama-stack
CLIが既にインストールされている場合は以下でアップデート:
pip install llama-stack -U
(2) モデルのリストを確認
利用可能なモデルを確認するには以下のコマンドを実行します:
llama model list
古いモデルも含めてすべてを表示するには:
llama model list --show-all
(3) モデルを選択してダウンロード
希望するモデルのIDを指定してダウンロードします:
llama model download --source meta --model-id MODEL_ID
スクリプト実行中に「カスタムURL」を求められた場合、提供されたURL(例:https://llama3-2-lightweight.llamameta.net/...
)を入力します。
(4) ダウンロードURLの注意
URLは48時間有効で、各モデルは最大5回までダウンロード可能です。このURLはメールでも送信されるため、期限内に利用するようにしてください。
3. 提供されるモデル
モデルは用途やサイズ別に用意されています。
Pretrained(事前学習済みモデル)
- Llama-3.2シリーズ
サイズ:1B、3B、11B(Vision対応)、90B(Vision対応) - Llama-3.1シリーズ
サイズ:70B、405B(大規模)
Fine-tuned(微調整済みモデル)
- 特定の用途に合わせて最適化されたモデル。例:
Llama-3.2-3B-Instruct
Llama-3.1-8B-Instruct
Trust and Safety Models(信頼性モデル)
- Llama Guardシリーズ
セキュリティや倫理的問題への対応に特化。
4. 特別な405Bモデルについて
405Bモデルは非常に大規模で、使用には特別なリソースが必要です。
- MP16(Model Parallel 16)
BF16(半精度浮動小数点)の完全版で、複数ノードが必要(最低8GPUを2台)。 - FP8(Floating Point 8)
量子化版で、1ノード8GPUで動作可能。
405Bモデルはストレージ750GBを使用し、高性能なGPU環境が必要です。
5. 開発支援ツール
Code Shield
- コード生成時のセキュリティリスクを軽減します。
Cybersecurity Eval
- サイバーセキュリティ分野のベンチマークテストに対応します。
6. 使用上の注意
- 責任ある利用
利用ガイドやライセンス条件に従って使用してください。 - フォーマットに注意
Fine-tunedモデルでは適切なトークン形式を使用する必要があります。