--- license: "other" license_name: "plamo-community-license" license_link: "https://plamo.preferredai.jp/info/plamo-community-license-en" model_name: "PLaMo 3 Translate 2B" library_name: transformers language: - ar - az - be - bg - bn - ca - ceb - de - en - es - et - eu - fa - fr - gu - he - hi - hr - hu - hy - id - it - ja - jv - ka - kk - km - ko - lt - lv - ml - mr - ms - my - ne - nl - pa - pl - ru - si - sk - sl - sr - sw - ta - te - th - tl - ur - uz - vi - zh pipeline_tag: translation tags: - translation - multilingual - custom_code - plamo --- # PLaMo 3 Translate 2B PFN™ translate model [English README](README.md) PLaMo 3 Translate 2Bは、Preferred Networks(PFN)が開発した、世界最高クラスの翻訳特化LLMです。 PFNと国立研究開発法人情報通信研究機構(NICT)の共同研究で得られた事前学習モデル「PLaMo 3 NICT」を基盤としています。 この基盤モデルに対し、数十Bトークン規模の翻訳特化の学習を行いました。 開発詳細については[テックブログ](https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release)をご参照ください。 PLaMo 3 Translate 2Bは53言語の多言語翻訳に対応しています ([対応言語](#対応言語)のセクションを参照)。 翻訳の周辺文脈、用語集、日本語における常体・敬体のスタイル指定にも対応しています。 学習時の最大長は、入力と出力を合わせて32,768トークンです。長い文章もまとめて翻訳できますが、さらに長い文章は、入力と出力の合計がこの範囲に収まるように分割してください。 PLaMo 3 Translate 2Bのライセンスは[PLaMo Community License](https://plamo.preferredai.jp/info/plamo-community-license-ja)です。個人での学習や趣味などの私的な用途や、学術用途を含む非商用利用では、事前の登録なしに無償で自由にご利用いただけます。商用利用の条件は[ライセンス](#ライセンス)を参照してください。 ## ベンチマーク結果 PLaMo 3 Translateは、日英翻訳と多言語翻訳の双方で世界最高クラスの性能を示します。2Bモデルの時点で、下図のすべての指標において、比較した翻訳特化LLMを上回っています。 ![PLaMo 3 Translate、TranslateGemma、HY-MT2の翻訳性能比較](figures/benchmark_ja.png) 上段は日英翻訳の品質で、PFTB、SaaS、WMT24++ COMET-22の平均です。中段は日本語と他の14言語、下段は英語と他の14言語との間の翻訳品質で、FLORES+ chrF++を双方向で平均したものです。いずれも高いほど良いスコアです。 FLORES+による多言語評価では、対応する53言語のうち、次の15言語を対象にしました。日本語または英語を中心に、それぞれ残りの14言語との翻訳を双方向で評価しています。 - 日本語、英語、アラビア語、インドネシア語、イタリア語、オランダ語、韓国語、スペイン語、タイ語、中国語(簡体字・繁体字)、ドイツ語、フランス語、ベトナム語、ロシア語 詳細については[テックブログ](https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release)をご参照ください。 ## モデルの選び方 ### モデル一覧 PLaMo 3 Translateには、0.8B、2B、8B、31Bの4つのサイズがあります。 それぞれのサイズについて、量子化やフォーマット変換を行ったモデルを別のリポジトリに用意しています。 | サイズ | BF16 | FP8 | W4A16 | W4AFP8 | NVFP4 | GGUF | MLX | | --- | --- | --- | --- | --- | --- | --- | --- | | 0.8B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-0.8b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-0.8b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-0.8b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-0.8b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-0.8b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-0.8b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-0.8b-MLX-4bit/blob/main/README_ja.md) | | 2B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-2b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-2b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-2b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-2b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-2b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-2b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-2b-MLX-4bit/blob/main/README_ja.md) | | 8B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-8b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-8b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-8b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-8b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-8b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-8b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-8b-MLX-4bit/blob/main/README_ja.md) | | 31B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-31b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-31b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-31b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-31b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-31b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-31b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-31b-MLX-4bit/blob/main/README_ja.md) |
量子化による精度変化 モデルサイズごとに、BF16と各配布形式の翻訳精度を比較します。各スコアの下の括弧内は、同じサイズのBF16との差です(マイナスは精度の低下を示します)。いずれも高いほど良いスコアです。 評価指標の詳細については[テックブログ](https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release)をご参照ください。 全体として、`GGUF Q2_K`では一部の指標で翻訳精度の低下が見られますが、他の形式ではBF16に近い精度を維持しています。 容量は重みファイルの合計です。 #### 31B | 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | **BF16** | 63.51 | 0.6244 | 0.5786 | 0.8799 | 37.81 | 56.61 | | FP8 | 32.31 | 0.6240
(-0.0004) | 0.5803
(+0.0017) | 0.8799
(0.0000) | 37.79
(-0.02) | 56.60
(-0.01) | | W4A16 | 17.19 | 0.6258
(+0.0014) | 0.5777
(-0.0009) | 0.8805
(+0.0006) | 37.74
(-0.07) | 56.49
(-0.12) | | W4AFP8 | 17.19 | 0.6223
(-0.0021) | 0.5716
(-0.0070) | 0.8813
(+0.0014) | 37.71
(-0.10) | 56.53
(-0.08) | | NVFP4 | 18.66 | 0.6258
(+0.0014) | 0.5748
(-0.0038) | 0.8809
(+0.0010) | 37.70
(-0.11) | 56.49
(-0.12) | | GGUF BF16 | 63.52 | 0.6241
(-0.0003) | 0.5793
(+0.0007) | 0.8799
(0.0000) | 37.82
(+0.01) | 56.59
(-0.02) | | GGUF Q4_K_M | 19.53 | 0.6237
(-0.0007) | 0.5770
(-0.0016) | 0.8810
(+0.0011) | 37.84
(+0.03) | 56.55
(-0.06) | | GGUF Q3_K_M | 15.86 | 0.6223
(-0.0021) | 0.5780
(-0.0006) | 0.8813
(+0.0014) | 37.78
(-0.03) | 56.54
(-0.07) | | GGUF Q2_K | 12.61 | 0.6126
(-0.0118) | 0.5745
(-0.0041) | 0.8801
(+0.0002) | 37.36
(-0.45) | 56.16
(-0.45) | | MLX 4bit | 18.66 | 0.6222
(-0.0022) | 0.5779
(-0.0007) | 0.8800
(+0.0001) | 37.82
(+0.01) | 56.58
(-0.03) | #### 8B | 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | **BF16** | 17.06 | 0.6119 | 0.5750 | 0.8805 | 37.45 | 56.22 | | FP8 | 9.41 | 0.6123
(+0.0004) | 0.5764
(+0.0014) | 0.8805
(0.0000) | 37.40
(-0.05) | 56.17
(-0.05) | | W4A16 | 5.71 | 0.6114
(-0.0005) | 0.5749
(-0.0001) | 0.8789
(-0.0016) | 37.36
(-0.09) | 56.19
(-0.03) | | W4AFP8 | 5.71 | 0.6174
(+0.0055) | 0.5759
(+0.0009) | 0.8794
(-0.0011) | 37.34
(-0.11) | 56.12
(-0.10) | | NVFP4 | 6.07 | 0.6040
(-0.0079) | 0.5783
(+0.0033) | 0.8792
(-0.0013) | 37.26
(-0.19) | 56.10
(-0.12) | | GGUF BF16 | 17.07 | 0.6110
(-0.0009) | 0.5755
(+0.0005) | 0.8802
(-0.0003) | 37.46
(+0.01) | 56.22
(0.00) | | GGUF Q4_K_M | 5.28 | 0.6100
(-0.0019) | 0.5765
(+0.0015) | 0.8802
(-0.0003) | 37.39
(-0.06) | 56.18
(-0.04) | | GGUF Q3_K_M | 4.31 | 0.6019
(-0.0100) | 0.5707
(-0.0043) | 0.8826
(+0.0021) | 37.20
(-0.25) | 55.93
(-0.29) | | GGUF Q2_K | 3.45 | 0.5989
(-0.0130) | 0.5676
(-0.0074) | 0.8791
(-0.0014) | 36.54
(-0.91) | 55.31
(-0.91) | | MLX 4bit | 6.07 | 0.6102
(-0.0017) | 0.5751
(+0.0001) | 0.8796
(-0.0009) | 37.41
(-0.04) | 56.19
(-0.03) | #### 2B | 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | **BF16** | 5.76 | 0.6061 | 0.5612 | 0.8780 | 37.02 | 55.74 | | FP8 | 3.43 | 0.6067
(+0.0006) | 0.5613
(+0.0001) | 0.8776
(-0.0004) | 36.98
(-0.04) | 55.76
(+0.02) | | W4A16 | 2.30 | 0.6032
(-0.0029) | 0.5594
(-0.0018) | 0.8783
(+0.0003) | 36.96
(-0.06) | 55.69
(-0.05) | | W4AFP8 | 2.30 | 0.6022
(-0.0039) | 0.5612
(0.0000) | 0.8772
(-0.0008) | 36.95
(-0.07) | 55.71
(-0.03) | | NVFP4 | 2.41 | 0.6032
(-0.0029) | 0.5626
(+0.0014) | 0.8783
(+0.0003) | 36.82
(-0.20) | 55.64
(-0.10) | | GGUF BF16 | 5.76 | 0.6062
(+0.0001) | 0.5619
(+0.0007) | 0.8782
(+0.0002) | 37.02
(0.00) | 55.75
(+0.01) | | GGUF Q4_K_M | 1.81 | 0.6062
(+0.0001) | 0.5602
(-0.0010) | 0.8774
(-0.0006) | 37.00
(-0.02) | 55.76
(+0.02) | | GGUF Q4_0 | 1.70 | 0.6069
(+0.0008) | 0.5604
(-0.0008) | 0.8791
(+0.0011) | 36.12
(-0.90) | 55.62
(-0.12) | | GGUF Q3_K_M | 1.50 | 0.6053
(-0.0008) | 0.5644
(+0.0032) | 0.8789
(+0.0009) | 36.81
(-0.21) | 55.59
(-0.15) | | GGUF Q2_K | 1.23 | 0.5977
(-0.0084) | 0.5610
(-0.0002) | 0.8777
(-0.0003) | 36.45
(-0.57) | 55.02
(-0.72) | | MLX 4bit | 2.41 | 0.6040
(-0.0021) | 0.5624
(+0.0012) | 0.8777
(-0.0003) | 36.99
(-0.03) | 55.64
(-0.10) | #### 0.8B | 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | **BF16** | 1.78 | 0.5862 | 0.5530 | 0.8724 | 36.08 | 54.44 | | FP8 | 1.22 | 0.5846
(-0.0016) | 0.5491
(-0.0039) | 0.8726
(+0.0002) | 36.00
(-0.08) | 54.60
(+0.16) | | W4A16 | 0.95 | 0.5847
(-0.0015) | 0.5439
(-0.0091) | 0.8711
(-0.0013) | 35.78
(-0.30) | 53.95
(-0.49) | | W4AFP8 | 0.95 | 0.5783
(-0.0079) | 0.5456
(-0.0074) | 0.8718
(-0.0006) | 35.75
(-0.33) | 54.38
(-0.06) | | NVFP4 | 0.98 | 0.5787
(-0.0075) | 0.5436
(-0.0094) | 0.8702
(-0.0022) | 35.54
(-0.54) | 54.20
(-0.24) | | GGUF BF16 | 1.78 | 0.5873
(+0.0011) | 0.5533
(+0.0003) | 0.8727
(+0.0003) | 36.10
(+0.02) | 54.45
(+0.01) | | GGUF Q4_K_M | 0.57 | 0.5832
(-0.0030) | 0.5451
(-0.0079) | 0.8716
(-0.0008) | 35.90
(-0.18) | 54.47
(+0.03) | | GGUF Q4_0 | 0.55 | 0.5853
(-0.0009) | 0.5500
(-0.0030) | 0.8723
(-0.0001) | 34.97
(-1.11) | 54.11
(-0.33) | | GGUF Q3_K_M | 0.49 | 0.5798
(-0.0064) | 0.5520
(-0.0010) | 0.8710
(-0.0014) | 35.32
(-0.76) | 54.15
(-0.29) | | GGUF Q2_K | 0.41 | 0.5620
(-0.0242) | 0.5397
(-0.0133) | 0.8659
(-0.0065) | 33.56
(-2.52) | 51.15
(-3.29) | | MLX 4bit | 0.98 | 0.5773
(-0.0089) | 0.5476
(-0.0054) | 0.8724
(0.0000) | 35.82
(-0.26) | 54.41
(-0.03) |
### 配布形式の選び方 PLaMo 3 Translateの各サイズには、用途とハードウェアに応じて次の配布形式があります。 | 形式 | 主な対象環境 | 推論エンジン | 用途の目安 | | --- | --- | --- | --- | | **BF16** | BF16対応GPU | Transformers/vLLM | 量子化なしの精度を優先。メモリに余裕がある場合 | | FP8 | NVIDIA Ada Lovelace/Hopper/Blackwell | vLLM | 精度と省メモリ・速度のバランスを重視 | | W4A16 | NVIDIA Ampere以降 | vLLM | 4bit重みでGPUメモリを抑えて実行 | | W4AFP8 | NVIDIA Hopper | vLLM | 4bit重みとFP8演算で、省メモリと処理量の両立を狙う | | NVFP4 | NVIDIA Blackwell | vLLM | FP4演算を活用し、省メモリ・高速化を狙う | | GGUF | CPU/各種GPU | llama.cpp | 手元のPCで実行。CPUとGPUの併用も可能 | | MLX-4bit | Apple silicon | mlx-lm | Macで省メモリに実行 | ## 使い方 ### Transformers モデルファイルをダウンロードし、そのディレクトリに移動します。以降の例はこのディレクトリで実行します。 ```bash pip install -U huggingface_hub hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b cd plamo-3-translate-2b ``` 必要なパッケージをインストールします。 ```bash pip install -U torch transformers accelerate numba ``` #### 1つの文章を翻訳する 手軽に翻訳を試せるよう、チャットテンプレートを用意しています。原文と翻訳先を指定すると、PFML3形式のプロンプトを作成できます。 アプリケーションへの組み込みなど、本格的に活用する場合は、[PFML3形式](#pfml3プロンプト形式)でプロンプトを直接組み立て、[vLLMのCompletions API](#completions-apiで翻訳する)に渡す方法をおすすめします。 以下は英語から日本語に翻訳する例です。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( ".", trust_remote_code=True, dtype="bfloat16", device_map="auto", ) inputs = tokenizer.apply_chat_template( [{"role": "user", "content": "The meeting has been rescheduled to next Monday."}], target_lang="ja", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) output = model.generate(**inputs, do_sample=False, max_new_tokens=512) text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(text) ``` `max_new_tokens`は訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。 翻訳例: > 会議は来週の月曜日に変更されました。 上の例では原文の言語を指定していません。`source_lang`を省略した場合は、モデルが原文から言語を判断して翻訳します。明示したい場合は、`source_lang="en"`のように指定してください。 #### 複数の文章をまとめて翻訳する 複数の文章は、チャットテンプレートにまとめて渡すことでバッチ翻訳できます。以下は、上で読み込んだ`model`と`tokenizer`を使い、2つの文章を日本語に翻訳する例です。 ```python tokenizer.padding_side = "left" texts = [ "The meeting has been rescheduled to next Monday.", "Please open the project dashboard.", ] messages = [[{"role": "user", "content": text}] for text in texts] inputs = tokenizer.apply_chat_template( messages, target_lang="ja", add_generation_prompt=True, padding=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, do_sample=False, max_new_tokens=512) translations = tokenizer.batch_decode( outputs[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True, ) for source, translation in zip(texts, translations): print(f"{source} → {translation}") ``` 文章の長さを揃えるために左側をパディングし、生成された訳文だけを取り出します。`target_lang`などの翻訳オプションは、この例ではバッチ内のすべての文章に適用されます。 ### これまでの訳文を参考に、続きを翻訳する 文書を段落ごとに翻訳するときは、これまでの原文・訳文のペアを履歴として渡せます。前の訳語や文体を参考にしながら、続きの文章を翻訳するための方法です。 チャットテンプレートを使う場合は、原文を`user`、その訳文を`assistant`として交互に並べ、最後の`user`に今回の原文を渡します。履歴は自動では保存されないため、次のリクエストにも必要なペアを含めてください。 翻訳方向はリクエスト全体で共通です。`source_lang`はすべての原文、`target_lang`はすべての訳文に適用されます。 履歴も入力トークン数に含まれます。入力全体と生成する訳文が、32,768トークンおよび実行環境の上限に収まるようにしてください。履歴が長くなった場合は、古い原文・訳文のペアから順に外し、直近の履歴を残すことをおすすめします。 上の例で読み込んだ`model`と`tokenizer`を使います。 ```python messages = [ {"role": "user", "content": "Open the project dashboard."}, {"role": "assistant", "content": "プロジェクトの管理画面を開きます。"}, {"role": "user", "content": "It lists all active tasks."}, {"role": "assistant", "content": "進行中のタスクがすべて表示されます。"}, {"role": "user", "content": "You can also filter them by owner."}, ] inputs = tokenizer.apply_chat_template( messages, source_lang="en", target_lang="ja", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) output = model.generate(**inputs, do_sample=False, max_new_tokens=512) text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(text) ``` ### PFML3プロンプト形式 PFML3は、翻訳する文章や翻訳先などを特殊トークンで区切って表すPLaMoのプロンプト形式です。上のTransformersの例では、チャットテンプレートが原文と翻訳先をPFML3に変換しています。ここでは変換結果の見方と、プロンプトを手書きするときの使い方を説明します。 本格的な活用には、PFML3でプロンプトを直接組み立て、[vLLMのCompletions API](#completions-apiで翻訳する)に渡す方法をおすすめします。 上のTransformersの例をPFML3に変換すると、次のようになります。ここでは文頭トークンを省略し、Pythonの文字列を分割して示しています。実際のプロンプトには改行は入りません。 ```python prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>input" "<|plamo:msg|>The meeting has been rescheduled to next Monday." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>" ) ``` - `dataset`の`translation`は翻訳タスクを表します。このモデルは翻訳専用のため、`dataset`には必ず`translation`を指定します。 - `input`の`<|plamo:msg|>`に続く部分が翻訳する原文です。 - `output`の`<|plamo:key|>lang<|plamo:val|>ja`は、翻訳先が日本語であることを表します。最後の`<|plamo:msg|>`の直後から訳文が生成されます。 `<|plamo:tag|>`は各要素の始まりを、`<|plamo:msg|>`はその本文の始まりを表します。言語や文体などを指定するときは、要素名に続けて`<|plamo:key|>`の後に属性名、`<|plamo:val|>`の後に値を書きます。例えば、`output`に`<|plamo:key|>form<|plamo:val|>plain`を追加すると、常体を指定できます。 参考文脈や用語集はオプショナルです。使う場合は、`dataset`と`input`の間に`context`、`glossary`の順で追加します。対訳履歴も使う場合は、`context`を`dataset`の直後に置き、過去の`input`・`output`の組を並べた後、今回の`input`の直前に`glossary`を置きます。用語集には、`<|plamo:index|>`の後に原語、`<|plamo:item|>`の後に訳語を書き、この組を用語の数だけ並べます。具体例は[翻訳オプション](#翻訳オプション)を参照してください。 #### 手書きのプロンプトを使う PFML3を手書きするときは、`dataset`を`translation`に指定して始め、`output`要素の末尾を`<|plamo:msg|>`で終えます。モデルは訳文の生成後、`<|plamo:tag|>`または`<|plamo:bos|>`を出力して停止します。 上の手書き例では、文頭を示す`<|plamo:bos|>`を省略しています。Transformersのトークナイザー、llama.cpp、mlx-lmは文頭トークンを自動で付けます。vLLMのCompletions APIでは`add_special_tokens=true`を指定してください。 チャットテンプレートで作った文字列には、文頭トークンがすでに含まれます。`tokenize=False`で受け取った文字列をTransformersのトークナイザーに渡す場合は、重複を避けるため`add_special_tokens=False`を指定してください。 例えば、手書きのプロンプトをTransformersに渡すには、上のTransformersの例の`model`と`tokenizer`を使います。 ```python inputs = tokenizer(prompt, return_tensors="pt").to(model.device) output = model.generate(**inputs, do_sample=False, max_new_tokens=512) text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(text) ``` #### 対訳履歴をPFML3で指定する 対訳履歴は手書きのPFML3でも指定できます。翻訳済みの`input`と`output`を文書の順に並べ、最後に今回の原文と、本文が空の`output`を置きます。次の例では、2組の対訳を参考にして、最後の「You can also filter them by owner.」だけを翻訳します。 ```python prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>" ) ``` 上の「手書きのプロンプトを使う」の例で、`prompt`をこの文字列に置き換えて実行してください。 続きを訳すときは、今回の原文と生成された訳文の組を履歴に追加します。その後に、次の原文を入れた`input`と、本文が空の`output`を続けます。 履歴には訳文の本文だけを残します。上の例で受け取った訳文は、そのまま使えます。 訳文の末尾に`<|plamo:tag|>`や`<|plamo:bos|>`が残っている場合は取り除き、次の`input`との間の`<|plamo:tag|>`が1つになるようにしてください。 ### 翻訳オプション 翻訳先や文体、参考文脈、用語集などは、`system`メッセージや原文には書かず、`apply_chat_template()`の引数で指定します。 上のTransformersの例で、`inputs`を作る部分を以下のコードに置き換えて実行してください。 | 引数 | 内容 | | --- | --- | | `target_lang` | 翻訳先の言語コード。必須。 | | `source_lang` | 原文の言語コード。省略可能。 | | `context` | 原文を解釈するための参考文脈(前後の文章や場面など)。 | | `glossary` | `{"source": "原語", "target": "訳語"}`のリスト。 | | `form` | 常体`plain`/敬体`polite`を指定(`target_lang="ja"`のみ)。 | 対訳履歴と併用する場合、`context`は全体の参考文脈として渡し、`glossary`と`form`は今回の翻訳に適用されます。過去の訳文自体は変更しません。 #### 用語集で訳語を指定する `glossary`に原語と訳語の組を渡して、用語の訳し方を指定します。 ```python inputs = tokenizer.apply_chat_template( [{"role": "user", "content": "Please open the project dashboard."}], target_lang="ja", glossary=[ {"source": "dashboard", "target": "管理画面"}, {"source": "project", "target": "プロジェクト"}, ], add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) ``` 翻訳例: > プロジェクトの管理画面を開いてください。
この例のPFML3プロンプト ```python prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>glossary" "<|plamo:index|>dashboard<|plamo:item|>管理画面" "<|plamo:index|>project<|plamo:item|>プロジェクト" "<|plamo:tag|>input<|plamo:msg|>Please open the project dashboard." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>" ) ```
#### 参考文脈を渡す `context`に前後の文章や場面を伝えます。この例では、川辺を歩いているという文脈を添えています。 ```python inputs = tokenizer.apply_chat_template( [{"role": "user", "content": "The bank was muddy."}], target_lang="ja", context="They were walking beside a river after heavy rain.", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) ``` 翻訳例: > 川岸はぬかるんでいた。
この例のPFML3プロンプト ```python prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>context" "<|plamo:msg|>They were walking beside a river after heavy rain." "<|plamo:tag|>input<|plamo:msg|>The bank was muddy." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>" ) ```
#### 常体・敬体を指定する 日本語への翻訳では、`form="plain"`で常体(だ・である調)、`form="polite"`で敬体(です・ます調)を指定できます。 ```python inputs = tokenizer.apply_chat_template( [{"role": "user", "content": "This system is convenient."}], target_lang="ja", form="plain", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) ``` 同じ原文に対する翻訳例: | 文体 | 指定 | 訳文 | | --- | --- | --- | | 常体 | `form="plain"` | このシステムは便利だ。 | | 敬体 | `form="polite"` | このシステムは便利です。 |
この例のPFML3プロンプト 常体: ```python prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>input<|plamo:msg|>This system is convenient." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja" "<|plamo:key|>form<|plamo:val|>plain<|plamo:msg|>" ) ``` 敬体: ```python prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>input<|plamo:msg|>This system is convenient." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja" "<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>" ) ```
#### すべてのオプションを同時に指定する 対訳履歴、参考文脈、用語集、文体は同時に指定できます。次の例では、2組の対訳履歴に続けて3文目を翻訳し、参考文脈にページの種類、用語集に`owner`の訳語、文体に敬体を指定しています。`context`は全体の参考文脈として渡され、`glossary`と`form`は今回の翻訳に適用されます。 ```python inputs = tokenizer.apply_chat_template( [ {"role": "user", "content": "Open the project dashboard."}, {"role": "assistant", "content": "プロジェクトの管理画面を開きます。"}, {"role": "user", "content": "It lists all active tasks."}, {"role": "assistant", "content": "進行中のタスクがすべて表示されます。"}, {"role": "user", "content": "You can also filter them by owner."}, ], source_lang="en", target_lang="ja", context="Help page of a project management tool.", glossary=[{"source": "owner", "target": "オーナー"}], form="polite", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) ``` 翻訳例: > また、オーナー別に絞り込むこともできます。
この例のPFML3プロンプト ```python prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>context<|plamo:msg|>Help page of a project management tool." "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。" "<|plamo:tag|>glossary<|plamo:index|>owner<|plamo:item|>オーナー" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>" ) ```
### vLLM #### サーバーを起動する モデルファイルをダウンロードし、そのディレクトリに移動します。[Transformers](#transformers)の手順でダウンロード済みの場合は不要です。 ```bash pip install -U huggingface_hub hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b cd plamo-3-translate-2b ``` 必要なパッケージをインストールして、vLLMサーバーを起動します。 ```bash pip install -U vllm openai numba vllm serve . --trust-remote-code \ --served-model-name plamo-3-translate \ --max-model-len 16384 --max-num-seqs 4 ``` この例では、入力と出力を合わせた最大長を16,384トークンに設定しています。必要に応じて、GPUメモリに合わせて調整してください。 #### Chat Completions APIで翻訳する Chat Completions APIでは、最後の`user`メッセージに今回の原文を入れ、翻訳オプションを`chat_template_kwargs`で渡します。 ```bash curl http://localhost:8000/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{ "model": "plamo-3-translate", "messages": [{"role": "user", "content": "Hello."}], "chat_template_kwargs": {"target_lang": "ja", "form": "polite"}, "temperature": 0, "max_tokens": 512, "stop": ["<|plamo:tag|>", "<|plamo:bos|>"] }' ``` `max_tokens`は訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。 訳文は`choices[0].message.content`に入ります。 **複数の文章をまとめて翻訳する場合** 複数の文章を翻訳するときは、文章ごとにリクエストを送り、並列に実行できます。vLLMは受け取ったリクエストをまとめて処理します。 ```python from concurrent.futures import ThreadPoolExecutor from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") texts = [ "The meeting has been rescheduled to next Monday.", "Please open the project dashboard.", ] def translate(text): response = client.chat.completions.create( model="plamo-3-translate", messages=[{"role": "user", "content": text}], temperature=0, max_tokens=512, stop=["<|plamo:tag|>", "<|plamo:bos|>"], extra_body={"chat_template_kwargs": {"target_lang": "ja"}}, ) return response.choices[0].message.content with ThreadPoolExecutor(max_workers=4) as executor: translations = list(executor.map(translate, texts)) for source, translation in zip(texts, translations): print(f"{source} → {translation}") ``` **対訳履歴を使ってChat Completions APIで翻訳する場合** 翻訳済みの原文・訳文を`user`/`assistant`のペアで渡します。最後の`user`だけが今回の翻訳対象です。 ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") messages = [ {"role": "user", "content": "Open the project dashboard."}, {"role": "assistant", "content": "プロジェクトの管理画面を開きます。"}, {"role": "user", "content": "It lists all active tasks."}, {"role": "assistant", "content": "進行中のタスクがすべて表示されます。"}, {"role": "user", "content": "You can also filter them by owner."}, ] response = client.chat.completions.create( model="plamo-3-translate", messages=messages, temperature=0, max_tokens=512, stop=["<|plamo:tag|>", "<|plamo:bos|>"], extra_body={"chat_template_kwargs": {"source_lang": "en", "target_lang": "ja"}}, ) print(response.choices[0].message.content) ``` #### Completions APIで翻訳する `prompt`には、各翻訳例に掲載したPFML3プロンプトを渡します。 ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>input" "<|plamo:msg|>The meeting has been rescheduled to next Monday." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>" ) response = client.completions.create( model="plamo-3-translate", prompt=prompt, temperature=0, max_tokens=512, stop=["<|plamo:tag|>", "<|plamo:bos|>"], extra_body={"add_special_tokens": True}, ) print(response.choices[0].text) ``` 訳文は`choices[0].text`に入ります。 **複数の文章をまとめて翻訳する場合** PFML3プロンプトを直接使う場合も、文章ごとにリクエストを並列に送れます。 ```python from concurrent.futures import ThreadPoolExecutor from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") texts = [ "The meeting has been rescheduled to next Monday.", "Please open the project dashboard.", ] def translate(text): prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>input<|plamo:msg|>" f"{text}" "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>" ) response = client.completions.create( model="plamo-3-translate", prompt=prompt, temperature=0, max_tokens=512, stop=["<|plamo:tag|>", "<|plamo:bos|>"], extra_body={"add_special_tokens": True}, ) return response.choices[0].text with ThreadPoolExecutor(max_workers=4) as executor: translations = list(executor.map(translate, texts)) for source, translation in zip(texts, translations): print(f"{source} → {translation}") ``` **対訳履歴を使って続きを翻訳する場合** [対訳履歴](#これまでの訳文を参考に続きを翻訳する)を使う翻訳は、Completions APIでも実行できます。翻訳済みの原文・訳文を含むPFML3プロンプトを渡すと、最後の原文に対する訳文が返ります。 ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") prompt = ( "<|plamo:tag|>dataset<|plamo:msg|>translation" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。" "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner." "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>" ) response = client.completions.create( model="plamo-3-translate", prompt=prompt, temperature=0, max_tokens=512, stop=["<|plamo:tag|>", "<|plamo:bos|>"], extra_body={"add_special_tokens": True}, ) print(response.choices[0].text) ``` ## 対応言語 日本語・英語を含む53言語に対応しています。中国語は簡体字と繁体字をそれぞれ1言語として数えています。Hugging Faceの言語表示では中国語が1言語にまとめられるため、52言語と表示されます。
対応言語と言語コードの一覧 | 言語 | コード | 言語 | コード | |---|---|---|---| | 日本語 | `ja` | 英語 | `en` | | 中国語(簡体字) | `zh-hans` | 中国語(繁体字) | `zh-hant` | | 韓国語 | `ko` | アラビア語 | `ar` | | アゼルバイジャン語 | `az` | ベラルーシ語 | `be` | | ブルガリア語 | `bg` | ベンガル語 | `bn` | | カタルーニャ語 | `ca` | セブアノ語 | `ceb` | | ドイツ語 | `de` | スペイン語 | `es` | | エストニア語 | `et` | バスク語 | `eu` | | ペルシャ語 | `fa` | フランス語 | `fr` | | グジャラート語 | `gu` | ヘブライ語 | `he` | | ヒンディー語 | `hi` | クロアチア語 | `hr` | | ハンガリー語 | `hu` | アルメニア語 | `hy` | | インドネシア語 | `id` | イタリア語 | `it` | | ジャワ語 | `jv` | ジョージア語 | `ka` | | カザフ語 | `kk` | クメール語 | `km` | | リトアニア語 | `lt` | ラトビア語 | `lv` | | マラヤーラム語 | `ml` | マラーティー語 | `mr` | | マレー語 | `ms` | ミャンマー語 | `my` | | ネパール語 | `ne` | オランダ語 | `nl` | | パンジャーブ語 | `pa` | ポーランド語 | `pl` | | ロシア語 | `ru` | シンハラ語 | `si` | | スロバキア語 | `sk` | スロベニア語 | `sl` | | セルビア語 | `sr` | スワヒリ語 | `sw` | | タミル語 | `ta` | テルグ語 | `te` | | タイ語 | `th` | タガログ語 | `tl` | | ウルドゥー語 | `ur` | ウズベク語 | `uz` | | ベトナム語 | `vi` | | |
## ライセンス PLaMo 3 Translate 2Bは、[PLaMo Community License](https://plamo.preferredai.jp/info/plamo-community-license-en)のもとで公開されています。 - [英語版](https://plamo.preferredai.jp/info/plamo-community-license-en) - [日本語版](https://plamo.preferredai.jp/info/plamo-community-license-ja) **私的な用途・非商用利用** 個人での学習や趣味など、私的な用途であれば、モデルを無償でダウンロードし、自由にご利用いただけます。学術用途を含む非商用利用でも、収入や売上の規模による制限はなく、PFNへの事前の利用登録も不要です。 **商用利用(収入または売上が10億円以下の場合)** 利用者またはその関係会社の直近事業年度の収入または売上が10億円以下であれば、[PLaMo商用利用登録フォーム](https://forms.gle/mTL8tBLrMYXKNZD56)で利用用途を登録することで、送信した時点から無償で商用利用できます。 **商用利用(収入または売上が10億円を超える場合)** 別途ライセンス契約が必要です。上記の登録フォームではなく、[PLaMo翻訳モデルに関するお問い合わせ](https://translate.preferredai.jp/llm/contact/)からPFNまでご相談ください。 詳細はPLaMo Community Licenseの本文をご確認ください。 ## Preferred NetworksグループのAIポリシー - [日本語](https://www.preferred.jp/ja/company/aipolicy/) - [English](https://www.preferred.jp/en/company/aipolicy/)