---
license: "other"
license_name: "plamo-community-license"
license_link: "https://plamo.preferredai.jp/info/plamo-community-license-en"
model_name: "PLaMo 3 Translate 2B"
library_name: transformers
language:
- ar
- az
- be
- bg
- bn
- ca
- ceb
- de
- en
- es
- et
- eu
- fa
- fr
- gu
- he
- hi
- hr
- hu
- hy
- id
- it
- ja
- jv
- ka
- kk
- km
- ko
- lt
- lv
- ml
- mr
- ms
- my
- ne
- nl
- pa
- pl
- ru
- si
- sk
- sl
- sr
- sw
- ta
- te
- th
- tl
- ur
- uz
- vi
- zh
pipeline_tag: translation
tags:
- translation
- multilingual
- custom_code
- plamo
---
# PLaMo 3 Translate 2B
PFN™ translate model
[English README](README.md)
PLaMo 3 Translate 2Bは、Preferred Networks(PFN)が開発した、世界最高クラスの翻訳特化LLMです。
PFNと国立研究開発法人情報通信研究機構(NICT)の共同研究で得られた事前学習モデル「PLaMo 3 NICT」を基盤としています。
この基盤モデルに対し、数十Bトークン規模の翻訳特化の学習を行いました。
開発詳細については[テックブログ](https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release)をご参照ください。
PLaMo 3 Translate 2Bは53言語の多言語翻訳に対応しています ([対応言語](#対応言語)のセクションを参照)。
翻訳の周辺文脈、用語集、日本語における常体・敬体のスタイル指定にも対応しています。
学習時の最大長は、入力と出力を合わせて32,768トークンです。長い文章もまとめて翻訳できますが、さらに長い文章は、入力と出力の合計がこの範囲に収まるように分割してください。
PLaMo 3 Translate 2Bのライセンスは[PLaMo Community License](https://plamo.preferredai.jp/info/plamo-community-license-ja)です。個人での学習や趣味などの私的な用途や、学術用途を含む非商用利用では、事前の登録なしに無償で自由にご利用いただけます。商用利用の条件は[ライセンス](#ライセンス)を参照してください。
## ベンチマーク結果
PLaMo 3 Translateは、日英翻訳と多言語翻訳の双方で世界最高クラスの性能を示します。2Bモデルの時点で、下図のすべての指標において、比較した翻訳特化LLMを上回っています。

上段は日英翻訳の品質で、PFTB、SaaS、WMT24++ COMET-22の平均です。中段は日本語と他の14言語、下段は英語と他の14言語との間の翻訳品質で、FLORES+ chrF++を双方向で平均したものです。いずれも高いほど良いスコアです。
FLORES+による多言語評価では、対応する53言語のうち、次の15言語を対象にしました。日本語または英語を中心に、それぞれ残りの14言語との翻訳を双方向で評価しています。
- 日本語、英語、アラビア語、インドネシア語、イタリア語、オランダ語、韓国語、スペイン語、タイ語、中国語(簡体字・繁体字)、ドイツ語、フランス語、ベトナム語、ロシア語
詳細については[テックブログ](https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release)をご参照ください。
## モデルの選び方
### モデル一覧
PLaMo 3 Translateには、0.8B、2B、8B、31Bの4つのサイズがあります。
それぞれのサイズについて、量子化やフォーマット変換を行ったモデルを別のリポジトリに用意しています。
| サイズ | BF16 | FP8 | W4A16 | W4AFP8 | NVFP4 | GGUF | MLX |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 0.8B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-0.8b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-0.8b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-0.8b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-0.8b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-0.8b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-0.8b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-0.8b-MLX-4bit/blob/main/README_ja.md) |
| 2B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-2b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-2b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-2b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-2b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-2b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-2b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-2b-MLX-4bit/blob/main/README_ja.md) |
| 8B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-8b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-8b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-8b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-8b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-8b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-8b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-8b-MLX-4bit/blob/main/README_ja.md) |
| 31B | [BF16](https://huggingface.co/pfnet/plamo-3-translate-31b/blob/main/README_ja.md) | [FP8](https://huggingface.co/pfnet/plamo-3-translate-31b-FP8/blob/main/README_ja.md) | [W4A16](https://huggingface.co/pfnet/plamo-3-translate-31b-W4A16/blob/main/README_ja.md) | [W4AFP8](https://huggingface.co/pfnet/plamo-3-translate-31b-W4AFP8/blob/main/README_ja.md) | [NVFP4](https://huggingface.co/pfnet/plamo-3-translate-31b-NVFP4/blob/main/README_ja.md) | [GGUF](https://huggingface.co/pfnet/plamo-3-translate-31b-GGUF/blob/main/README_ja.md) | [MLX-4bit](https://huggingface.co/pfnet/plamo-3-translate-31b-MLX-4bit/blob/main/README_ja.md) |
量子化による精度変化
モデルサイズごとに、BF16と各配布形式の翻訳精度を比較します。各スコアの下の括弧内は、同じサイズのBF16との差です(マイナスは精度の低下を示します)。いずれも高いほど良いスコアです。
評価指標の詳細については[テックブログ](https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release)をご参照ください。
全体として、`GGUF Q2_K`では一部の指標で翻訳精度の低下が見られますが、他の形式ではBF16に近い精度を維持しています。
容量は重みファイルの合計です。
#### 31B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| **BF16** | 63.51 | 0.6244 | 0.5786 | 0.8799 | 37.81 | 56.61 |
| FP8 | 32.31 | 0.6240
(-0.0004) | 0.5803
(+0.0017) | 0.8799
(0.0000) | 37.79
(-0.02) | 56.60
(-0.01) |
| W4A16 | 17.19 | 0.6258
(+0.0014) | 0.5777
(-0.0009) | 0.8805
(+0.0006) | 37.74
(-0.07) | 56.49
(-0.12) |
| W4AFP8 | 17.19 | 0.6223
(-0.0021) | 0.5716
(-0.0070) | 0.8813
(+0.0014) | 37.71
(-0.10) | 56.53
(-0.08) |
| NVFP4 | 18.66 | 0.6258
(+0.0014) | 0.5748
(-0.0038) | 0.8809
(+0.0010) | 37.70
(-0.11) | 56.49
(-0.12) |
| GGUF BF16 | 63.52 | 0.6241
(-0.0003) | 0.5793
(+0.0007) | 0.8799
(0.0000) | 37.82
(+0.01) | 56.59
(-0.02) |
| GGUF Q4_K_M | 19.53 | 0.6237
(-0.0007) | 0.5770
(-0.0016) | 0.8810
(+0.0011) | 37.84
(+0.03) | 56.55
(-0.06) |
| GGUF Q3_K_M | 15.86 | 0.6223
(-0.0021) | 0.5780
(-0.0006) | 0.8813
(+0.0014) | 37.78
(-0.03) | 56.54
(-0.07) |
| GGUF Q2_K | 12.61 | 0.6126
(-0.0118) | 0.5745
(-0.0041) | 0.8801
(+0.0002) | 37.36
(-0.45) | 56.16
(-0.45) |
| MLX 4bit | 18.66 | 0.6222
(-0.0022) | 0.5779
(-0.0007) | 0.8800
(+0.0001) | 37.82
(+0.01) | 56.58
(-0.03) |
#### 8B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| **BF16** | 17.06 | 0.6119 | 0.5750 | 0.8805 | 37.45 | 56.22 |
| FP8 | 9.41 | 0.6123
(+0.0004) | 0.5764
(+0.0014) | 0.8805
(0.0000) | 37.40
(-0.05) | 56.17
(-0.05) |
| W4A16 | 5.71 | 0.6114
(-0.0005) | 0.5749
(-0.0001) | 0.8789
(-0.0016) | 37.36
(-0.09) | 56.19
(-0.03) |
| W4AFP8 | 5.71 | 0.6174
(+0.0055) | 0.5759
(+0.0009) | 0.8794
(-0.0011) | 37.34
(-0.11) | 56.12
(-0.10) |
| NVFP4 | 6.07 | 0.6040
(-0.0079) | 0.5783
(+0.0033) | 0.8792
(-0.0013) | 37.26
(-0.19) | 56.10
(-0.12) |
| GGUF BF16 | 17.07 | 0.6110
(-0.0009) | 0.5755
(+0.0005) | 0.8802
(-0.0003) | 37.46
(+0.01) | 56.22
(0.00) |
| GGUF Q4_K_M | 5.28 | 0.6100
(-0.0019) | 0.5765
(+0.0015) | 0.8802
(-0.0003) | 37.39
(-0.06) | 56.18
(-0.04) |
| GGUF Q3_K_M | 4.31 | 0.6019
(-0.0100) | 0.5707
(-0.0043) | 0.8826
(+0.0021) | 37.20
(-0.25) | 55.93
(-0.29) |
| GGUF Q2_K | 3.45 | 0.5989
(-0.0130) | 0.5676
(-0.0074) | 0.8791
(-0.0014) | 36.54
(-0.91) | 55.31
(-0.91) |
| MLX 4bit | 6.07 | 0.6102
(-0.0017) | 0.5751
(+0.0001) | 0.8796
(-0.0009) | 37.41
(-0.04) | 56.19
(-0.03) |
#### 2B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| **BF16** | 5.76 | 0.6061 | 0.5612 | 0.8780 | 37.02 | 55.74 |
| FP8 | 3.43 | 0.6067
(+0.0006) | 0.5613
(+0.0001) | 0.8776
(-0.0004) | 36.98
(-0.04) | 55.76
(+0.02) |
| W4A16 | 2.30 | 0.6032
(-0.0029) | 0.5594
(-0.0018) | 0.8783
(+0.0003) | 36.96
(-0.06) | 55.69
(-0.05) |
| W4AFP8 | 2.30 | 0.6022
(-0.0039) | 0.5612
(0.0000) | 0.8772
(-0.0008) | 36.95
(-0.07) | 55.71
(-0.03) |
| NVFP4 | 2.41 | 0.6032
(-0.0029) | 0.5626
(+0.0014) | 0.8783
(+0.0003) | 36.82
(-0.20) | 55.64
(-0.10) |
| GGUF BF16 | 5.76 | 0.6062
(+0.0001) | 0.5619
(+0.0007) | 0.8782
(+0.0002) | 37.02
(0.00) | 55.75
(+0.01) |
| GGUF Q4_K_M | 1.81 | 0.6062
(+0.0001) | 0.5602
(-0.0010) | 0.8774
(-0.0006) | 37.00
(-0.02) | 55.76
(+0.02) |
| GGUF Q4_0 | 1.70 | 0.6069
(+0.0008) | 0.5604
(-0.0008) | 0.8791
(+0.0011) | 36.12
(-0.90) | 55.62
(-0.12) |
| GGUF Q3_K_M | 1.50 | 0.6053
(-0.0008) | 0.5644
(+0.0032) | 0.8789
(+0.0009) | 36.81
(-0.21) | 55.59
(-0.15) |
| GGUF Q2_K | 1.23 | 0.5977
(-0.0084) | 0.5610
(-0.0002) | 0.8777
(-0.0003) | 36.45
(-0.57) | 55.02
(-0.72) |
| MLX 4bit | 2.41 | 0.6040
(-0.0021) | 0.5624
(+0.0012) | 0.8777
(-0.0003) | 36.99
(-0.03) | 55.64
(-0.10) |
#### 0.8B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| **BF16** | 1.78 | 0.5862 | 0.5530 | 0.8724 | 36.08 | 54.44 |
| FP8 | 1.22 | 0.5846
(-0.0016) | 0.5491
(-0.0039) | 0.8726
(+0.0002) | 36.00
(-0.08) | 54.60
(+0.16) |
| W4A16 | 0.95 | 0.5847
(-0.0015) | 0.5439
(-0.0091) | 0.8711
(-0.0013) | 35.78
(-0.30) | 53.95
(-0.49) |
| W4AFP8 | 0.95 | 0.5783
(-0.0079) | 0.5456
(-0.0074) | 0.8718
(-0.0006) | 35.75
(-0.33) | 54.38
(-0.06) |
| NVFP4 | 0.98 | 0.5787
(-0.0075) | 0.5436
(-0.0094) | 0.8702
(-0.0022) | 35.54
(-0.54) | 54.20
(-0.24) |
| GGUF BF16 | 1.78 | 0.5873
(+0.0011) | 0.5533
(+0.0003) | 0.8727
(+0.0003) | 36.10
(+0.02) | 54.45
(+0.01) |
| GGUF Q4_K_M | 0.57 | 0.5832
(-0.0030) | 0.5451
(-0.0079) | 0.8716
(-0.0008) | 35.90
(-0.18) | 54.47
(+0.03) |
| GGUF Q4_0 | 0.55 | 0.5853
(-0.0009) | 0.5500
(-0.0030) | 0.8723
(-0.0001) | 34.97
(-1.11) | 54.11
(-0.33) |
| GGUF Q3_K_M | 0.49 | 0.5798
(-0.0064) | 0.5520
(-0.0010) | 0.8710
(-0.0014) | 35.32
(-0.76) | 54.15
(-0.29) |
| GGUF Q2_K | 0.41 | 0.5620
(-0.0242) | 0.5397
(-0.0133) | 0.8659
(-0.0065) | 33.56
(-2.52) | 51.15
(-3.29) |
| MLX 4bit | 0.98 | 0.5773
(-0.0089) | 0.5476
(-0.0054) | 0.8724
(0.0000) | 35.82
(-0.26) | 54.41
(-0.03) |
### 配布形式の選び方
PLaMo 3 Translateの各サイズには、用途とハードウェアに応じて次の配布形式があります。
| 形式 | 主な対象環境 | 推論エンジン | 用途の目安 |
| --- | --- | --- | --- |
| **BF16** | BF16対応GPU | Transformers/vLLM | 量子化なしの精度を優先。メモリに余裕がある場合 |
| FP8 | NVIDIA Ada Lovelace/Hopper/Blackwell | vLLM | 精度と省メモリ・速度のバランスを重視 |
| W4A16 | NVIDIA Ampere以降 | vLLM | 4bit重みでGPUメモリを抑えて実行 |
| W4AFP8 | NVIDIA Hopper | vLLM | 4bit重みとFP8演算で、省メモリと処理量の両立を狙う |
| NVFP4 | NVIDIA Blackwell | vLLM | FP4演算を活用し、省メモリ・高速化を狙う |
| GGUF | CPU/各種GPU | llama.cpp | 手元のPCで実行。CPUとGPUの併用も可能 |
| MLX-4bit | Apple silicon | mlx-lm | Macで省メモリに実行 |
## 使い方
### Transformers
モデルファイルをダウンロードし、そのディレクトリに移動します。以降の例はこのディレクトリで実行します。
```bash
pip install -U huggingface_hub
hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b
cd plamo-3-translate-2b
```
必要なパッケージをインストールします。
```bash
pip install -U torch transformers accelerate numba
```
#### 1つの文章を翻訳する
手軽に翻訳を試せるよう、チャットテンプレートを用意しています。原文と翻訳先を指定すると、PFML3形式のプロンプトを作成できます。
アプリケーションへの組み込みなど、本格的に活用する場合は、[PFML3形式](#pfml3プロンプト形式)でプロンプトを直接組み立て、[vLLMのCompletions API](#completions-apiで翻訳する)に渡す方法をおすすめします。
以下は英語から日本語に翻訳する例です。
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
".", trust_remote_code=True, dtype="bfloat16", device_map="auto",
)
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "The meeting has been rescheduled to next Monday."}],
target_lang="ja",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)
```
`max_new_tokens`は訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。
翻訳例:
> 会議は来週の月曜日に変更されました。
上の例では原文の言語を指定していません。`source_lang`を省略した場合は、モデルが原文から言語を判断して翻訳します。明示したい場合は、`source_lang="en"`のように指定してください。
#### 複数の文章をまとめて翻訳する
複数の文章は、チャットテンプレートにまとめて渡すことでバッチ翻訳できます。以下は、上で読み込んだ`model`と`tokenizer`を使い、2つの文章を日本語に翻訳する例です。
```python
tokenizer.padding_side = "left"
texts = [
"The meeting has been rescheduled to next Monday.",
"Please open the project dashboard.",
]
messages = [[{"role": "user", "content": text}] for text in texts]
inputs = tokenizer.apply_chat_template(
messages,
target_lang="ja",
add_generation_prompt=True,
padding=True,
return_dict=True, return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=512)
translations = tokenizer.batch_decode(
outputs[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True,
)
for source, translation in zip(texts, translations):
print(f"{source} → {translation}")
```
文章の長さを揃えるために左側をパディングし、生成された訳文だけを取り出します。`target_lang`などの翻訳オプションは、この例ではバッチ内のすべての文章に適用されます。
### これまでの訳文を参考に、続きを翻訳する
文書を段落ごとに翻訳するときは、これまでの原文・訳文のペアを履歴として渡せます。前の訳語や文体を参考にしながら、続きの文章を翻訳するための方法です。
チャットテンプレートを使う場合は、原文を`user`、その訳文を`assistant`として交互に並べ、最後の`user`に今回の原文を渡します。履歴は自動では保存されないため、次のリクエストにも必要なペアを含めてください。
翻訳方向はリクエスト全体で共通です。`source_lang`はすべての原文、`target_lang`はすべての訳文に適用されます。
履歴も入力トークン数に含まれます。入力全体と生成する訳文が、32,768トークンおよび実行環境の上限に収まるようにしてください。履歴が長くなった場合は、古い原文・訳文のペアから順に外し、直近の履歴を残すことをおすすめします。
上の例で読み込んだ`model`と`tokenizer`を使います。
```python
messages = [
{"role": "user", "content": "Open the project dashboard."},
{"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
{"role": "user", "content": "It lists all active tasks."},
{"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
{"role": "user", "content": "You can also filter them by owner."},
]
inputs = tokenizer.apply_chat_template(
messages, source_lang="en", target_lang="ja",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)
```
### PFML3プロンプト形式
PFML3は、翻訳する文章や翻訳先などを特殊トークンで区切って表すPLaMoのプロンプト形式です。上のTransformersの例では、チャットテンプレートが原文と翻訳先をPFML3に変換しています。ここでは変換結果の見方と、プロンプトを手書きするときの使い方を説明します。
本格的な活用には、PFML3でプロンプトを直接組み立て、[vLLMのCompletions API](#completions-apiで翻訳する)に渡す方法をおすすめします。
上のTransformersの例をPFML3に変換すると、次のようになります。ここでは文頭トークンを省略し、Pythonの文字列を分割して示しています。実際のプロンプトには改行は入りません。
```python
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input"
"<|plamo:msg|>The meeting has been rescheduled to next Monday."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
```
- `dataset`の`translation`は翻訳タスクを表します。このモデルは翻訳専用のため、`dataset`には必ず`translation`を指定します。
- `input`の`<|plamo:msg|>`に続く部分が翻訳する原文です。
- `output`の`<|plamo:key|>lang<|plamo:val|>ja`は、翻訳先が日本語であることを表します。最後の`<|plamo:msg|>`の直後から訳文が生成されます。
`<|plamo:tag|>`は各要素の始まりを、`<|plamo:msg|>`はその本文の始まりを表します。言語や文体などを指定するときは、要素名に続けて`<|plamo:key|>`の後に属性名、`<|plamo:val|>`の後に値を書きます。例えば、`output`に`<|plamo:key|>form<|plamo:val|>plain`を追加すると、常体を指定できます。
参考文脈や用語集はオプショナルです。使う場合は、`dataset`と`input`の間に`context`、`glossary`の順で追加します。対訳履歴も使う場合は、`context`を`dataset`の直後に置き、過去の`input`・`output`の組を並べた後、今回の`input`の直前に`glossary`を置きます。用語集には、`<|plamo:index|>`の後に原語、`<|plamo:item|>`の後に訳語を書き、この組を用語の数だけ並べます。具体例は[翻訳オプション](#翻訳オプション)を参照してください。
#### 手書きのプロンプトを使う
PFML3を手書きするときは、`dataset`を`translation`に指定して始め、`output`要素の末尾を`<|plamo:msg|>`で終えます。モデルは訳文の生成後、`<|plamo:tag|>`または`<|plamo:bos|>`を出力して停止します。
上の手書き例では、文頭を示す`<|plamo:bos|>`を省略しています。Transformersのトークナイザー、llama.cpp、mlx-lmは文頭トークンを自動で付けます。vLLMのCompletions APIでは`add_special_tokens=true`を指定してください。
チャットテンプレートで作った文字列には、文頭トークンがすでに含まれます。`tokenize=False`で受け取った文字列をTransformersのトークナイザーに渡す場合は、重複を避けるため`add_special_tokens=False`を指定してください。
例えば、手書きのプロンプトをTransformersに渡すには、上のTransformersの例の`model`と`tokenizer`を使います。
```python
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)
```
#### 対訳履歴をPFML3で指定する
対訳履歴は手書きのPFML3でも指定できます。翻訳済みの`input`と`output`を文書の順に並べ、最後に今回の原文と、本文が空の`output`を置きます。次の例では、2組の対訳を参考にして、最後の「You can also filter them by owner.」だけを翻訳します。
```python
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
```
上の「手書きのプロンプトを使う」の例で、`prompt`をこの文字列に置き換えて実行してください。
続きを訳すときは、今回の原文と生成された訳文の組を履歴に追加します。その後に、次の原文を入れた`input`と、本文が空の`output`を続けます。
履歴には訳文の本文だけを残します。上の例で受け取った訳文は、そのまま使えます。
訳文の末尾に`<|plamo:tag|>`や`<|plamo:bos|>`が残っている場合は取り除き、次の`input`との間の`<|plamo:tag|>`が1つになるようにしてください。
### 翻訳オプション
翻訳先や文体、参考文脈、用語集などは、`system`メッセージや原文には書かず、`apply_chat_template()`の引数で指定します。
上のTransformersの例で、`inputs`を作る部分を以下のコードに置き換えて実行してください。
| 引数 | 内容 |
| --- | --- |
| `target_lang` | 翻訳先の言語コード。必須。 |
| `source_lang` | 原文の言語コード。省略可能。 |
| `context` | 原文を解釈するための参考文脈(前後の文章や場面など)。 |
| `glossary` | `{"source": "原語", "target": "訳語"}`のリスト。 |
| `form` | 常体`plain`/敬体`polite`を指定(`target_lang="ja"`のみ)。 |
対訳履歴と併用する場合、`context`は全体の参考文脈として渡し、`glossary`と`form`は今回の翻訳に適用されます。過去の訳文自体は変更しません。
#### 用語集で訳語を指定する
`glossary`に原語と訳語の組を渡して、用語の訳し方を指定します。
```python
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "Please open the project dashboard."}],
target_lang="ja",
glossary=[
{"source": "dashboard", "target": "管理画面"},
{"source": "project", "target": "プロジェクト"},
],
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
```
翻訳例:
> プロジェクトの管理画面を開いてください。
この例のPFML3プロンプト
```python
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>glossary"
"<|plamo:index|>dashboard<|plamo:item|>管理画面"
"<|plamo:index|>project<|plamo:item|>プロジェクト"
"<|plamo:tag|>input<|plamo:msg|>Please open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
```
#### 参考文脈を渡す
`context`に前後の文章や場面を伝えます。この例では、川辺を歩いているという文脈を添えています。
```python
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "The bank was muddy."}],
target_lang="ja",
context="They were walking beside a river after heavy rain.",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
```
翻訳例:
> 川岸はぬかるんでいた。
この例のPFML3プロンプト
```python
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>context"
"<|plamo:msg|>They were walking beside a river after heavy rain."
"<|plamo:tag|>input<|plamo:msg|>The bank was muddy."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
```
#### 常体・敬体を指定する
日本語への翻訳では、`form="plain"`で常体(だ・である調)、`form="polite"`で敬体(です・ます調)を指定できます。
```python
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "This system is convenient."}],
target_lang="ja",
form="plain",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
```
同じ原文に対する翻訳例:
| 文体 | 指定 | 訳文 |
| --- | --- | --- |
| 常体 | `form="plain"` | このシステムは便利だ。 |
| 敬体 | `form="polite"` | このシステムは便利です。 |
この例のPFML3プロンプト
常体:
```python
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:msg|>This system is convenient."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja"
"<|plamo:key|>form<|plamo:val|>plain<|plamo:msg|>"
)
```
敬体:
```python
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:msg|>This system is convenient."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja"
"<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>"
)
```
#### すべてのオプションを同時に指定する
対訳履歴、参考文脈、用語集、文体は同時に指定できます。次の例では、2組の対訳履歴に続けて3文目を翻訳し、参考文脈にページの種類、用語集に`owner`の訳語、文体に敬体を指定しています。`context`は全体の参考文脈として渡され、`glossary`と`form`は今回の翻訳に適用されます。
```python
inputs = tokenizer.apply_chat_template(
[
{"role": "user", "content": "Open the project dashboard."},
{"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
{"role": "user", "content": "It lists all active tasks."},
{"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
{"role": "user", "content": "You can also filter them by owner."},
],
source_lang="en", target_lang="ja",
context="Help page of a project management tool.",
glossary=[{"source": "owner", "target": "オーナー"}],
form="polite",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
```
翻訳例:
> また、オーナー別に絞り込むこともできます。
この例のPFML3プロンプト
```python
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>context<|plamo:msg|>Help page of a project management tool."
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
"<|plamo:tag|>glossary<|plamo:index|>owner<|plamo:item|>オーナー"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>"
)
```
### vLLM
#### サーバーを起動する
モデルファイルをダウンロードし、そのディレクトリに移動します。[Transformers](#transformers)の手順でダウンロード済みの場合は不要です。
```bash
pip install -U huggingface_hub
hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b
cd plamo-3-translate-2b
```
必要なパッケージをインストールして、vLLMサーバーを起動します。
```bash
pip install -U vllm openai numba
vllm serve . --trust-remote-code \
--served-model-name plamo-3-translate \
--max-model-len 16384 --max-num-seqs 4
```
この例では、入力と出力を合わせた最大長を16,384トークンに設定しています。必要に応じて、GPUメモリに合わせて調整してください。
#### Chat Completions APIで翻訳する
Chat Completions APIでは、最後の`user`メッセージに今回の原文を入れ、翻訳オプションを`chat_template_kwargs`で渡します。
```bash
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "plamo-3-translate",
"messages": [{"role": "user", "content": "Hello."}],
"chat_template_kwargs": {"target_lang": "ja", "form": "polite"},
"temperature": 0,
"max_tokens": 512,
"stop": ["<|plamo:tag|>", "<|plamo:bos|>"]
}'
```
`max_tokens`は訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。
訳文は`choices[0].message.content`に入ります。
**複数の文章をまとめて翻訳する場合**
複数の文章を翻訳するときは、文章ごとにリクエストを送り、並列に実行できます。vLLMは受け取ったリクエストをまとめて処理します。
```python
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
texts = [
"The meeting has been rescheduled to next Monday.",
"Please open the project dashboard.",
]
def translate(text):
response = client.chat.completions.create(
model="plamo-3-translate",
messages=[{"role": "user", "content": text}],
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"chat_template_kwargs": {"target_lang": "ja"}},
)
return response.choices[0].message.content
with ThreadPoolExecutor(max_workers=4) as executor:
translations = list(executor.map(translate, texts))
for source, translation in zip(texts, translations):
print(f"{source} → {translation}")
```
**対訳履歴を使ってChat Completions APIで翻訳する場合**
翻訳済みの原文・訳文を`user`/`assistant`のペアで渡します。最後の`user`だけが今回の翻訳対象です。
```python
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
messages = [
{"role": "user", "content": "Open the project dashboard."},
{"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
{"role": "user", "content": "It lists all active tasks."},
{"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
{"role": "user", "content": "You can also filter them by owner."},
]
response = client.chat.completions.create(
model="plamo-3-translate",
messages=messages,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"chat_template_kwargs": {"source_lang": "en", "target_lang": "ja"}},
)
print(response.choices[0].message.content)
```
#### Completions APIで翻訳する
`prompt`には、各翻訳例に掲載したPFML3プロンプトを渡します。
```python
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input"
"<|plamo:msg|>The meeting has been rescheduled to next Monday."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
response = client.completions.create(
model="plamo-3-translate",
prompt=prompt,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"add_special_tokens": True},
)
print(response.choices[0].text)
```
訳文は`choices[0].text`に入ります。
**複数の文章をまとめて翻訳する場合**
PFML3プロンプトを直接使う場合も、文章ごとにリクエストを並列に送れます。
```python
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
texts = [
"The meeting has been rescheduled to next Monday.",
"Please open the project dashboard.",
]
def translate(text):
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:msg|>"
f"{text}"
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
response = client.completions.create(
model="plamo-3-translate",
prompt=prompt,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"add_special_tokens": True},
)
return response.choices[0].text
with ThreadPoolExecutor(max_workers=4) as executor:
translations = list(executor.map(translate, texts))
for source, translation in zip(texts, translations):
print(f"{source} → {translation}")
```
**対訳履歴を使って続きを翻訳する場合**
[対訳履歴](#これまでの訳文を参考に続きを翻訳する)を使う翻訳は、Completions APIでも実行できます。翻訳済みの原文・訳文を含むPFML3プロンプトを渡すと、最後の原文に対する訳文が返ります。
```python
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
response = client.completions.create(
model="plamo-3-translate",
prompt=prompt,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"add_special_tokens": True},
)
print(response.choices[0].text)
```
## 対応言語
日本語・英語を含む53言語に対応しています。中国語は簡体字と繁体字をそれぞれ1言語として数えています。Hugging Faceの言語表示では中国語が1言語にまとめられるため、52言語と表示されます。
対応言語と言語コードの一覧
| 言語 | コード | 言語 | コード |
|---|---|---|---|
| 日本語 | `ja` | 英語 | `en` |
| 中国語(簡体字) | `zh-hans` | 中国語(繁体字) | `zh-hant` |
| 韓国語 | `ko` | アラビア語 | `ar` |
| アゼルバイジャン語 | `az` | ベラルーシ語 | `be` |
| ブルガリア語 | `bg` | ベンガル語 | `bn` |
| カタルーニャ語 | `ca` | セブアノ語 | `ceb` |
| ドイツ語 | `de` | スペイン語 | `es` |
| エストニア語 | `et` | バスク語 | `eu` |
| ペルシャ語 | `fa` | フランス語 | `fr` |
| グジャラート語 | `gu` | ヘブライ語 | `he` |
| ヒンディー語 | `hi` | クロアチア語 | `hr` |
| ハンガリー語 | `hu` | アルメニア語 | `hy` |
| インドネシア語 | `id` | イタリア語 | `it` |
| ジャワ語 | `jv` | ジョージア語 | `ka` |
| カザフ語 | `kk` | クメール語 | `km` |
| リトアニア語 | `lt` | ラトビア語 | `lv` |
| マラヤーラム語 | `ml` | マラーティー語 | `mr` |
| マレー語 | `ms` | ミャンマー語 | `my` |
| ネパール語 | `ne` | オランダ語 | `nl` |
| パンジャーブ語 | `pa` | ポーランド語 | `pl` |
| ロシア語 | `ru` | シンハラ語 | `si` |
| スロバキア語 | `sk` | スロベニア語 | `sl` |
| セルビア語 | `sr` | スワヒリ語 | `sw` |
| タミル語 | `ta` | テルグ語 | `te` |
| タイ語 | `th` | タガログ語 | `tl` |
| ウルドゥー語 | `ur` | ウズベク語 | `uz` |
| ベトナム語 | `vi` | | |
## ライセンス
PLaMo 3 Translate 2Bは、[PLaMo Community License](https://plamo.preferredai.jp/info/plamo-community-license-en)のもとで公開されています。
- [英語版](https://plamo.preferredai.jp/info/plamo-community-license-en)
- [日本語版](https://plamo.preferredai.jp/info/plamo-community-license-ja)
**私的な用途・非商用利用**
個人での学習や趣味など、私的な用途であれば、モデルを無償でダウンロードし、自由にご利用いただけます。学術用途を含む非商用利用でも、収入や売上の規模による制限はなく、PFNへの事前の利用登録も不要です。
**商用利用(収入または売上が10億円以下の場合)**
利用者またはその関係会社の直近事業年度の収入または売上が10億円以下であれば、[PLaMo商用利用登録フォーム](https://forms.gle/mTL8tBLrMYXKNZD56)で利用用途を登録することで、送信した時点から無償で商用利用できます。
**商用利用(収入または売上が10億円を超える場合)**
別途ライセンス契約が必要です。上記の登録フォームではなく、[PLaMo翻訳モデルに関するお問い合わせ](https://translate.preferredai.jp/llm/contact/)からPFNまでご相談ください。
詳細はPLaMo Community Licenseの本文をご確認ください。
## Preferred NetworksグループのAIポリシー
- [日本語](https://www.preferred.jp/ja/company/aipolicy/)
- [English](https://www.preferred.jp/en/company/aipolicy/)