Instructions to use pfnet/plamo-3-translate-2b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use pfnet/plamo-3-translate-2b with Transformers:
# Use a pipeline as a high-level helper # Warning: Pipeline type "translation" is no longer supported in transformers v5. # You must load the model directly (see below) or downgrade to v4.x with: # pip install "transformers<5.0.0" from transformers import pipeline pipe = pipeline("translation", model="pfnet/plamo-3-translate-2b", trust_remote_code=True)# pip install -U transformers accelerate # Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("pfnet/plamo-3-translate-2b", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
Download README_ja.md from pfnet/plamo-3-translate-2b: direct link, hf CLI and curl.
- Browser
- Download file 41.6 kB
-
https://huggingface.co/pfnet/plamo-3-translate-2b/resolve/main/README_ja.md
- Command line
-
hf download hf://pfnet/plamo-3-translate-2b/README_ja.md
-
curl -L -o README_ja.md https://huggingface.co/pfnet/plamo-3-translate-2b/resolve/main/README_ja.md
license: other
license_name: plamo-community-license
license_link: https://plamo.preferredai.jp/info/plamo-community-license-en
model_name: PLaMo 3 Translate 2B
library_name: transformers
language:
- ar
- az
- be
- bg
- bn
- ca
- ceb
- de
- en
- es
- et
- eu
- fa
- fr
- gu
- he
- hi
- hr
- hu
- hy
- id
- it
- ja
- jv
- ka
- kk
- km
- ko
- lt
- lv
- ml
- mr
- ms
- my
- ne
- nl
- pa
- pl
- ru
- si
- sk
- sl
- sr
- sw
- ta
- te
- th
- tl
- ur
- uz
- vi
- zh
pipeline_tag: translation
tags:
- translation
- multilingual
- custom_code
- plamo
PLaMo 3 Translate 2B
PFN™ translate model
PLaMo 3 Translate 2Bは、Preferred Networks(PFN)が開発した、世界最高クラスの翻訳特化LLMです。 PFNと国立研究開発法人情報通信研究機構(NICT)の共同研究で得られた事前学習モデル「PLaMo 3 NICT」を基盤としています。 この基盤モデルに対し、数十Bトークン規模の翻訳特化の学習を行いました。 開発詳細についてはテックブログをご参照ください。
PLaMo 3 Translate 2Bは53言語の多言語翻訳に対応しています (対応言語のセクションを参照)。 翻訳の周辺文脈、用語集、日本語における常体・敬体のスタイル指定にも対応しています。 学習時の最大長は、入力と出力を合わせて32,768トークンです。長い文章もまとめて翻訳できますが、さらに長い文章は、入力と出力の合計がこの範囲に収まるように分割してください。
PLaMo 3 Translate 2BのライセンスはPLaMo Community Licenseです。個人での学習や趣味などの私的な用途や、学術用途を含む非商用利用では、事前の登録なしに無償で自由にご利用いただけます。商用利用の条件はライセンスを参照してください。
ベンチマーク結果
PLaMo 3 Translateは、日英翻訳と多言語翻訳の双方で世界最高クラスの性能を示します。2Bモデルの時点で、下図のすべての指標において、比較した翻訳特化LLMを上回っています。
上段は日英翻訳の品質で、PFTB、SaaS、WMT24++ COMET-22の平均です。中段は日本語と他の14言語、下段は英語と他の14言語との間の翻訳品質で、FLORES+ chrF++を双方向で平均したものです。いずれも高いほど良いスコアです。
FLORES+による多言語評価では、対応する53言語のうち、次の15言語を対象にしました。日本語または英語を中心に、それぞれ残りの14言語との翻訳を双方向で評価しています。
- 日本語、英語、アラビア語、インドネシア語、イタリア語、オランダ語、韓国語、スペイン語、タイ語、中国語(簡体字・繁体字)、ドイツ語、フランス語、ベトナム語、ロシア語
詳細についてはテックブログをご参照ください。
モデルの選び方
モデル一覧
PLaMo 3 Translateには、0.8B、2B、8B、31Bの4つのサイズがあります。 それぞれのサイズについて、量子化やフォーマット変換を行ったモデルを別のリポジトリに用意しています。
| サイズ | BF16 | FP8 | W4A16 | W4AFP8 | NVFP4 | GGUF | MLX |
|---|---|---|---|---|---|---|---|
| 0.8B | BF16 | FP8 | W4A16 | W4AFP8 | NVFP4 | GGUF | MLX-4bit |
| 2B | BF16 | FP8 | W4A16 | W4AFP8 | NVFP4 | GGUF | MLX-4bit |
| 8B | BF16 | FP8 | W4A16 | W4AFP8 | NVFP4 | GGUF | MLX-4bit |
| 31B | BF16 | FP8 | W4A16 | W4AFP8 | NVFP4 | GGUF | MLX-4bit |
量子化による精度変化
モデルサイズごとに、BF16と各配布形式の翻訳精度を比較します。各スコアの下の括弧内は、同じサイズのBF16との差です(マイナスは精度の低下を示します)。いずれも高いほど良いスコアです。
評価指標の詳細についてはテックブログをご参照ください。
全体として、GGUF Q2_Kでは一部の指標で翻訳精度の低下が見られますが、他の形式ではBF16に近い精度を維持しています。
容量は重みファイルの合計です。
31B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
|---|---|---|---|---|---|---|
| BF16 | 63.51 | 0.6244 | 0.5786 | 0.8799 | 37.81 | 56.61 |
| FP8 | 32.31 | 0.6240 (-0.0004) |
0.5803 (+0.0017) |
0.8799 (0.0000) |
37.79 (-0.02) |
56.60 (-0.01) |
| W4A16 | 17.19 | 0.6258 (+0.0014) |
0.5777 (-0.0009) |
0.8805 (+0.0006) |
37.74 (-0.07) |
56.49 (-0.12) |
| W4AFP8 | 17.19 | 0.6223 (-0.0021) |
0.5716 (-0.0070) |
0.8813 (+0.0014) |
37.71 (-0.10) |
56.53 (-0.08) |
| NVFP4 | 18.66 | 0.6258 (+0.0014) |
0.5748 (-0.0038) |
0.8809 (+0.0010) |
37.70 (-0.11) |
56.49 (-0.12) |
| GGUF BF16 | 63.52 | 0.6241 (-0.0003) |
0.5793 (+0.0007) |
0.8799 (0.0000) |
37.82 (+0.01) |
56.59 (-0.02) |
| GGUF Q4_K_M | 19.53 | 0.6237 (-0.0007) |
0.5770 (-0.0016) |
0.8810 (+0.0011) |
37.84 (+0.03) |
56.55 (-0.06) |
| GGUF Q3_K_M | 15.86 | 0.6223 (-0.0021) |
0.5780 (-0.0006) |
0.8813 (+0.0014) |
37.78 (-0.03) |
56.54 (-0.07) |
| GGUF Q2_K | 12.61 | 0.6126 (-0.0118) |
0.5745 (-0.0041) |
0.8801 (+0.0002) |
37.36 (-0.45) |
56.16 (-0.45) |
| MLX 4bit | 18.66 | 0.6222 (-0.0022) |
0.5779 (-0.0007) |
0.8800 (+0.0001) |
37.82 (+0.01) |
56.58 (-0.03) |
8B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
|---|---|---|---|---|---|---|
| BF16 | 17.06 | 0.6119 | 0.5750 | 0.8805 | 37.45 | 56.22 |
| FP8 | 9.41 | 0.6123 (+0.0004) |
0.5764 (+0.0014) |
0.8805 (0.0000) |
37.40 (-0.05) |
56.17 (-0.05) |
| W4A16 | 5.71 | 0.6114 (-0.0005) |
0.5749 (-0.0001) |
0.8789 (-0.0016) |
37.36 (-0.09) |
56.19 (-0.03) |
| W4AFP8 | 5.71 | 0.6174 (+0.0055) |
0.5759 (+0.0009) |
0.8794 (-0.0011) |
37.34 (-0.11) |
56.12 (-0.10) |
| NVFP4 | 6.07 | 0.6040 (-0.0079) |
0.5783 (+0.0033) |
0.8792 (-0.0013) |
37.26 (-0.19) |
56.10 (-0.12) |
| GGUF BF16 | 17.07 | 0.6110 (-0.0009) |
0.5755 (+0.0005) |
0.8802 (-0.0003) |
37.46 (+0.01) |
56.22 (0.00) |
| GGUF Q4_K_M | 5.28 | 0.6100 (-0.0019) |
0.5765 (+0.0015) |
0.8802 (-0.0003) |
37.39 (-0.06) |
56.18 (-0.04) |
| GGUF Q3_K_M | 4.31 | 0.6019 (-0.0100) |
0.5707 (-0.0043) |
0.8826 (+0.0021) |
37.20 (-0.25) |
55.93 (-0.29) |
| GGUF Q2_K | 3.45 | 0.5989 (-0.0130) |
0.5676 (-0.0074) |
0.8791 (-0.0014) |
36.54 (-0.91) |
55.31 (-0.91) |
| MLX 4bit | 6.07 | 0.6102 (-0.0017) |
0.5751 (+0.0001) |
0.8796 (-0.0009) |
37.41 (-0.04) |
56.19 (-0.03) |
2B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
|---|---|---|---|---|---|---|
| BF16 | 5.76 | 0.6061 | 0.5612 | 0.8780 | 37.02 | 55.74 |
| FP8 | 3.43 | 0.6067 (+0.0006) |
0.5613 (+0.0001) |
0.8776 (-0.0004) |
36.98 (-0.04) |
55.76 (+0.02) |
| W4A16 | 2.30 | 0.6032 (-0.0029) |
0.5594 (-0.0018) |
0.8783 (+0.0003) |
36.96 (-0.06) |
55.69 (-0.05) |
| W4AFP8 | 2.30 | 0.6022 (-0.0039) |
0.5612 (0.0000) |
0.8772 (-0.0008) |
36.95 (-0.07) |
55.71 (-0.03) |
| NVFP4 | 2.41 | 0.6032 (-0.0029) |
0.5626 (+0.0014) |
0.8783 (+0.0003) |
36.82 (-0.20) |
55.64 (-0.10) |
| GGUF BF16 | 5.76 | 0.6062 (+0.0001) |
0.5619 (+0.0007) |
0.8782 (+0.0002) |
37.02 (0.00) |
55.75 (+0.01) |
| GGUF Q4_K_M | 1.81 | 0.6062 (+0.0001) |
0.5602 (-0.0010) |
0.8774 (-0.0006) |
37.00 (-0.02) |
55.76 (+0.02) |
| GGUF Q4_0 | 1.70 | 0.6069 (+0.0008) |
0.5604 (-0.0008) |
0.8791 (+0.0011) |
36.12 (-0.90) |
55.62 (-0.12) |
| GGUF Q3_K_M | 1.50 | 0.6053 (-0.0008) |
0.5644 (+0.0032) |
0.8789 (+0.0009) |
36.81 (-0.21) |
55.59 (-0.15) |
| GGUF Q2_K | 1.23 | 0.5977 (-0.0084) |
0.5610 (-0.0002) |
0.8777 (-0.0003) |
36.45 (-0.57) |
55.02 (-0.72) |
| MLX 4bit | 2.41 | 0.6040 (-0.0021) |
0.5624 (+0.0012) |
0.8777 (-0.0003) |
36.99 (-0.03) |
55.64 (-0.10) |
0.8B
| 形式 | 容量(GB) | PFTB(英↔日) | SaaS(英→日) | WMT24++ COMET-22(英→日) | FLORES+ chrF++(日本語↔多言語) | FLORES+ chrF++(英語↔多言語) |
|---|---|---|---|---|---|---|
| BF16 | 1.78 | 0.5862 | 0.5530 | 0.8724 | 36.08 | 54.44 |
| FP8 | 1.22 | 0.5846 (-0.0016) |
0.5491 (-0.0039) |
0.8726 (+0.0002) |
36.00 (-0.08) |
54.60 (+0.16) |
| W4A16 | 0.95 | 0.5847 (-0.0015) |
0.5439 (-0.0091) |
0.8711 (-0.0013) |
35.78 (-0.30) |
53.95 (-0.49) |
| W4AFP8 | 0.95 | 0.5783 (-0.0079) |
0.5456 (-0.0074) |
0.8718 (-0.0006) |
35.75 (-0.33) |
54.38 (-0.06) |
| NVFP4 | 0.98 | 0.5787 (-0.0075) |
0.5436 (-0.0094) |
0.8702 (-0.0022) |
35.54 (-0.54) |
54.20 (-0.24) |
| GGUF BF16 | 1.78 | 0.5873 (+0.0011) |
0.5533 (+0.0003) |
0.8727 (+0.0003) |
36.10 (+0.02) |
54.45 (+0.01) |
| GGUF Q4_K_M | 0.57 | 0.5832 (-0.0030) |
0.5451 (-0.0079) |
0.8716 (-0.0008) |
35.90 (-0.18) |
54.47 (+0.03) |
| GGUF Q4_0 | 0.55 | 0.5853 (-0.0009) |
0.5500 (-0.0030) |
0.8723 (-0.0001) |
34.97 (-1.11) |
54.11 (-0.33) |
| GGUF Q3_K_M | 0.49 | 0.5798 (-0.0064) |
0.5520 (-0.0010) |
0.8710 (-0.0014) |
35.32 (-0.76) |
54.15 (-0.29) |
| GGUF Q2_K | 0.41 | 0.5620 (-0.0242) |
0.5397 (-0.0133) |
0.8659 (-0.0065) |
33.56 (-2.52) |
51.15 (-3.29) |
| MLX 4bit | 0.98 | 0.5773 (-0.0089) |
0.5476 (-0.0054) |
0.8724 (0.0000) |
35.82 (-0.26) |
54.41 (-0.03) |
配布形式の選び方
PLaMo 3 Translateの各サイズには、用途とハードウェアに応じて次の配布形式があります。
| 形式 | 主な対象環境 | 推論エンジン | 用途の目安 |
|---|---|---|---|
| BF16 | BF16対応GPU | Transformers/vLLM | 量子化なしの精度を優先。メモリに余裕がある場合 |
| FP8 | NVIDIA Ada Lovelace/Hopper/Blackwell | vLLM | 精度と省メモリ・速度のバランスを重視 |
| W4A16 | NVIDIA Ampere以降 | vLLM | 4bit重みでGPUメモリを抑えて実行 |
| W4AFP8 | NVIDIA Hopper | vLLM | 4bit重みとFP8演算で、省メモリと処理量の両立を狙う |
| NVFP4 | NVIDIA Blackwell | vLLM | FP4演算を活用し、省メモリ・高速化を狙う |
| GGUF | CPU/各種GPU | llama.cpp | 手元のPCで実行。CPUとGPUの併用も可能 |
| MLX-4bit | Apple silicon | mlx-lm | Macで省メモリに実行 |
使い方
Transformers
モデルファイルをダウンロードし、そのディレクトリに移動します。以降の例はこのディレクトリで実行します。
pip install -U huggingface_hub
hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b
cd plamo-3-translate-2b
必要なパッケージをインストールします。
pip install -U torch transformers accelerate numba
1つの文章を翻訳する
手軽に翻訳を試せるよう、チャットテンプレートを用意しています。原文と翻訳先を指定すると、PFML3形式のプロンプトを作成できます。
アプリケーションへの組み込みなど、本格的に活用する場合は、PFML3形式でプロンプトを直接組み立て、vLLMのCompletions APIに渡す方法をおすすめします。
以下は英語から日本語に翻訳する例です。
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
".", trust_remote_code=True, dtype="bfloat16", device_map="auto",
)
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "The meeting has been rescheduled to next Monday."}],
target_lang="ja",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)
max_new_tokensは訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。
翻訳例:
会議は来週の月曜日に変更されました。
上の例では原文の言語を指定していません。source_langを省略した場合は、モデルが原文から言語を判断して翻訳します。明示したい場合は、source_lang="en"のように指定してください。
複数の文章をまとめて翻訳する
複数の文章は、チャットテンプレートにまとめて渡すことでバッチ翻訳できます。以下は、上で読み込んだmodelとtokenizerを使い、2つの文章を日本語に翻訳する例です。
tokenizer.padding_side = "left"
texts = [
"The meeting has been rescheduled to next Monday.",
"Please open the project dashboard.",
]
messages = [[{"role": "user", "content": text}] for text in texts]
inputs = tokenizer.apply_chat_template(
messages,
target_lang="ja",
add_generation_prompt=True,
padding=True,
return_dict=True, return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, do_sample=False, max_new_tokens=512)
translations = tokenizer.batch_decode(
outputs[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True,
)
for source, translation in zip(texts, translations):
print(f"{source} → {translation}")
文章の長さを揃えるために左側をパディングし、生成された訳文だけを取り出します。target_langなどの翻訳オプションは、この例ではバッチ内のすべての文章に適用されます。
これまでの訳文を参考に、続きを翻訳する
文書を段落ごとに翻訳するときは、これまでの原文・訳文のペアを履歴として渡せます。前の訳語や文体を参考にしながら、続きの文章を翻訳するための方法です。
チャットテンプレートを使う場合は、原文をuser、その訳文をassistantとして交互に並べ、最後のuserに今回の原文を渡します。履歴は自動では保存されないため、次のリクエストにも必要なペアを含めてください。
翻訳方向はリクエスト全体で共通です。source_langはすべての原文、target_langはすべての訳文に適用されます。
履歴も入力トークン数に含まれます。入力全体と生成する訳文が、32,768トークンおよび実行環境の上限に収まるようにしてください。履歴が長くなった場合は、古い原文・訳文のペアから順に外し、直近の履歴を残すことをおすすめします。
上の例で読み込んだmodelとtokenizerを使います。
messages = [
{"role": "user", "content": "Open the project dashboard."},
{"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
{"role": "user", "content": "It lists all active tasks."},
{"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
{"role": "user", "content": "You can also filter them by owner."},
]
inputs = tokenizer.apply_chat_template(
messages, source_lang="en", target_lang="ja",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)
PFML3プロンプト形式
PFML3は、翻訳する文章や翻訳先などを特殊トークンで区切って表すPLaMoのプロンプト形式です。上のTransformersの例では、チャットテンプレートが原文と翻訳先をPFML3に変換しています。ここでは変換結果の見方と、プロンプトを手書きするときの使い方を説明します。
本格的な活用には、PFML3でプロンプトを直接組み立て、vLLMのCompletions APIに渡す方法をおすすめします。
上のTransformersの例をPFML3に変換すると、次のようになります。ここでは文頭トークンを省略し、Pythonの文字列を分割して示しています。実際のプロンプトには改行は入りません。
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input"
"<|plamo:msg|>The meeting has been rescheduled to next Monday."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
datasetのtranslationは翻訳タスクを表します。このモデルは翻訳専用のため、datasetには必ずtranslationを指定します。inputの<|plamo:msg|>に続く部分が翻訳する原文です。outputの<|plamo:key|>lang<|plamo:val|>jaは、翻訳先が日本語であることを表します。最後の<|plamo:msg|>の直後から訳文が生成されます。
<|plamo:tag|>は各要素の始まりを、<|plamo:msg|>はその本文の始まりを表します。言語や文体などを指定するときは、要素名に続けて<|plamo:key|>の後に属性名、<|plamo:val|>の後に値を書きます。例えば、outputに<|plamo:key|>form<|plamo:val|>plainを追加すると、常体を指定できます。
参考文脈や用語集はオプショナルです。使う場合は、datasetとinputの間にcontext、glossaryの順で追加します。対訳履歴も使う場合は、contextをdatasetの直後に置き、過去のinput・outputの組を並べた後、今回のinputの直前にglossaryを置きます。用語集には、<|plamo:index|>の後に原語、<|plamo:item|>の後に訳語を書き、この組を用語の数だけ並べます。具体例は翻訳オプションを参照してください。
手書きのプロンプトを使う
PFML3を手書きするときは、datasetをtranslationに指定して始め、output要素の末尾を<|plamo:msg|>で終えます。モデルは訳文の生成後、<|plamo:tag|>または<|plamo:bos|>を出力して停止します。
上の手書き例では、文頭を示す<|plamo:bos|>を省略しています。Transformersのトークナイザー、llama.cpp、mlx-lmは文頭トークンを自動で付けます。vLLMのCompletions APIではadd_special_tokens=trueを指定してください。
チャットテンプレートで作った文字列には、文頭トークンがすでに含まれます。tokenize=Falseで受け取った文字列をTransformersのトークナイザーに渡す場合は、重複を避けるためadd_special_tokens=Falseを指定してください。
例えば、手書きのプロンプトをTransformersに渡すには、上のTransformersの例のmodelとtokenizerを使います。
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)
対訳履歴をPFML3で指定する
対訳履歴は手書きのPFML3でも指定できます。翻訳済みのinputとoutputを文書の順に並べ、最後に今回の原文と、本文が空のoutputを置きます。次の例では、2組の対訳を参考にして、最後の「You can also filter them by owner.」だけを翻訳します。
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
上の「手書きのプロンプトを使う」の例で、promptをこの文字列に置き換えて実行してください。
続きを訳すときは、今回の原文と生成された訳文の組を履歴に追加します。その後に、次の原文を入れたinputと、本文が空のoutputを続けます。
履歴には訳文の本文だけを残します。上の例で受け取った訳文は、そのまま使えます。
訳文の末尾に<|plamo:tag|>や<|plamo:bos|>が残っている場合は取り除き、次のinputとの間の<|plamo:tag|>が1つになるようにしてください。
翻訳オプション
翻訳先や文体、参考文脈、用語集などは、systemメッセージや原文には書かず、apply_chat_template()の引数で指定します。
上のTransformersの例で、inputsを作る部分を以下のコードに置き換えて実行してください。
| 引数 | 内容 |
|---|---|
target_lang |
翻訳先の言語コード。必須。 |
source_lang |
原文の言語コード。省略可能。 |
context |
原文を解釈するための参考文脈(前後の文章や場面など)。 |
glossary |
{"source": "原語", "target": "訳語"}のリスト。 |
form |
常体plain/敬体politeを指定(target_lang="ja"のみ)。 |
対訳履歴と併用する場合、contextは全体の参考文脈として渡し、glossaryとformは今回の翻訳に適用されます。過去の訳文自体は変更しません。
用語集で訳語を指定する
glossaryに原語と訳語の組を渡して、用語の訳し方を指定します。
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "Please open the project dashboard."}],
target_lang="ja",
glossary=[
{"source": "dashboard", "target": "管理画面"},
{"source": "project", "target": "プロジェクト"},
],
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
翻訳例:
プロジェクトの管理画面を開いてください。
この例のPFML3プロンプト
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>glossary"
"<|plamo:index|>dashboard<|plamo:item|>管理画面"
"<|plamo:index|>project<|plamo:item|>プロジェクト"
"<|plamo:tag|>input<|plamo:msg|>Please open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
参考文脈を渡す
contextに前後の文章や場面を伝えます。この例では、川辺を歩いているという文脈を添えています。
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "The bank was muddy."}],
target_lang="ja",
context="They were walking beside a river after heavy rain.",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
翻訳例:
川岸はぬかるんでいた。
この例のPFML3プロンプト
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>context"
"<|plamo:msg|>They were walking beside a river after heavy rain."
"<|plamo:tag|>input<|plamo:msg|>The bank was muddy."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
常体・敬体を指定する
日本語への翻訳では、form="plain"で常体(だ・である調)、form="polite"で敬体(です・ます調)を指定できます。
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": "This system is convenient."}],
target_lang="ja",
form="plain",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
同じ原文に対する翻訳例:
| 文体 | 指定 | 訳文 |
|---|---|---|
| 常体 | form="plain" |
このシステムは便利だ。 |
| 敬体 | form="polite" |
このシステムは便利です。 |
この例のPFML3プロンプト
常体:
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:msg|>This system is convenient."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja"
"<|plamo:key|>form<|plamo:val|>plain<|plamo:msg|>"
)
敬体:
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:msg|>This system is convenient."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja"
"<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>"
)
すべてのオプションを同時に指定する
対訳履歴、参考文脈、用語集、文体は同時に指定できます。次の例では、2組の対訳履歴に続けて3文目を翻訳し、参考文脈にページの種類、用語集にownerの訳語、文体に敬体を指定しています。contextは全体の参考文脈として渡され、glossaryとformは今回の翻訳に適用されます。
inputs = tokenizer.apply_chat_template(
[
{"role": "user", "content": "Open the project dashboard."},
{"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
{"role": "user", "content": "It lists all active tasks."},
{"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
{"role": "user", "content": "You can also filter them by owner."},
],
source_lang="en", target_lang="ja",
context="Help page of a project management tool.",
glossary=[{"source": "owner", "target": "オーナー"}],
form="polite",
add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
翻訳例:
また、オーナー別に絞り込むこともできます。
この例のPFML3プロンプト
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>context<|plamo:msg|>Help page of a project management tool."
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
"<|plamo:tag|>glossary<|plamo:index|>owner<|plamo:item|>オーナー"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>"
)
vLLM
サーバーを起動する
モデルファイルをダウンロードし、そのディレクトリに移動します。Transformersの手順でダウンロード済みの場合は不要です。
pip install -U huggingface_hub
hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b
cd plamo-3-translate-2b
必要なパッケージをインストールして、vLLMサーバーを起動します。
pip install -U vllm openai numba
vllm serve . --trust-remote-code \
--served-model-name plamo-3-translate \
--max-model-len 16384 --max-num-seqs 4
この例では、入力と出力を合わせた最大長を16,384トークンに設定しています。必要に応じて、GPUメモリに合わせて調整してください。
Chat Completions APIで翻訳する
Chat Completions APIでは、最後のuserメッセージに今回の原文を入れ、翻訳オプションをchat_template_kwargsで渡します。
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "plamo-3-translate",
"messages": [{"role": "user", "content": "Hello."}],
"chat_template_kwargs": {"target_lang": "ja", "form": "polite"},
"temperature": 0,
"max_tokens": 512,
"stop": ["<|plamo:tag|>", "<|plamo:bos|>"]
}'
max_tokensは訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。
訳文はchoices[0].message.contentに入ります。
複数の文章をまとめて翻訳する場合
複数の文章を翻訳するときは、文章ごとにリクエストを送り、並列に実行できます。vLLMは受け取ったリクエストをまとめて処理します。
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
texts = [
"The meeting has been rescheduled to next Monday.",
"Please open the project dashboard.",
]
def translate(text):
response = client.chat.completions.create(
model="plamo-3-translate",
messages=[{"role": "user", "content": text}],
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"chat_template_kwargs": {"target_lang": "ja"}},
)
return response.choices[0].message.content
with ThreadPoolExecutor(max_workers=4) as executor:
translations = list(executor.map(translate, texts))
for source, translation in zip(texts, translations):
print(f"{source} → {translation}")
対訳履歴を使ってChat Completions APIで翻訳する場合
翻訳済みの原文・訳文をuser/assistantのペアで渡します。最後のuserだけが今回の翻訳対象です。
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
messages = [
{"role": "user", "content": "Open the project dashboard."},
{"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
{"role": "user", "content": "It lists all active tasks."},
{"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
{"role": "user", "content": "You can also filter them by owner."},
]
response = client.chat.completions.create(
model="plamo-3-translate",
messages=messages,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"chat_template_kwargs": {"source_lang": "en", "target_lang": "ja"}},
)
print(response.choices[0].message.content)
Completions APIで翻訳する
promptには、各翻訳例に掲載したPFML3プロンプトを渡します。
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input"
"<|plamo:msg|>The meeting has been rescheduled to next Monday."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
response = client.completions.create(
model="plamo-3-translate",
prompt=prompt,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"add_special_tokens": True},
)
print(response.choices[0].text)
訳文はchoices[0].textに入ります。
複数の文章をまとめて翻訳する場合
PFML3プロンプトを直接使う場合も、文章ごとにリクエストを並列に送れます。
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
texts = [
"The meeting has been rescheduled to next Monday.",
"Please open the project dashboard.",
]
def translate(text):
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:msg|>"
f"{text}"
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
response = client.completions.create(
model="plamo-3-translate",
prompt=prompt,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"add_special_tokens": True},
)
return response.choices[0].text
with ThreadPoolExecutor(max_workers=4) as executor:
translations = list(executor.map(translate, texts))
for source, translation in zip(texts, translations):
print(f"{source} → {translation}")
対訳履歴を使って続きを翻訳する場合
対訳履歴を使う翻訳は、Completions APIでも実行できます。翻訳済みの原文・訳文を含むPFML3プロンプトを渡すと、最後の原文に対する訳文が返ります。
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
prompt = (
"<|plamo:tag|>dataset<|plamo:msg|>translation"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
"<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
"<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
response = client.completions.create(
model="plamo-3-translate",
prompt=prompt,
temperature=0,
max_tokens=512,
stop=["<|plamo:tag|>", "<|plamo:bos|>"],
extra_body={"add_special_tokens": True},
)
print(response.choices[0].text)
対応言語
日本語・英語を含む53言語に対応しています。中国語は簡体字と繁体字をそれぞれ1言語として数えています。Hugging Faceの言語表示では中国語が1言語にまとめられるため、52言語と表示されます。
対応言語と言語コードの一覧
| 言語 | コード | 言語 | コード |
|---|---|---|---|
| 日本語 | ja |
英語 | en |
| 中国語(簡体字) | zh-hans |
中国語(繁体字) | zh-hant |
| 韓国語 | ko |
アラビア語 | ar |
| アゼルバイジャン語 | az |
ベラルーシ語 | be |
| ブルガリア語 | bg |
ベンガル語 | bn |
| カタルーニャ語 | ca |
セブアノ語 | ceb |
| ドイツ語 | de |
スペイン語 | es |
| エストニア語 | et |
バスク語 | eu |
| ペルシャ語 | fa |
フランス語 | fr |
| グジャラート語 | gu |
ヘブライ語 | he |
| ヒンディー語 | hi |
クロアチア語 | hr |
| ハンガリー語 | hu |
アルメニア語 | hy |
| インドネシア語 | id |
イタリア語 | it |
| ジャワ語 | jv |
ジョージア語 | ka |
| カザフ語 | kk |
クメール語 | km |
| リトアニア語 | lt |
ラトビア語 | lv |
| マラヤーラム語 | ml |
マラーティー語 | mr |
| マレー語 | ms |
ミャンマー語 | my |
| ネパール語 | ne |
オランダ語 | nl |
| パンジャーブ語 | pa |
ポーランド語 | pl |
| ロシア語 | ru |
シンハラ語 | si |
| スロバキア語 | sk |
スロベニア語 | sl |
| セルビア語 | sr |
スワヒリ語 | sw |
| タミル語 | ta |
テルグ語 | te |
| タイ語 | th |
タガログ語 | tl |
| ウルドゥー語 | ur |
ウズベク語 | uz |
| ベトナム語 | vi |
ライセンス
PLaMo 3 Translate 2Bは、PLaMo Community Licenseのもとで公開されています。
私的な用途・非商用利用
個人での学習や趣味など、私的な用途であれば、モデルを無償でダウンロードし、自由にご利用いただけます。学術用途を含む非商用利用でも、収入や売上の規模による制限はなく、PFNへの事前の利用登録も不要です。
商用利用(収入または売上が10億円以下の場合)
利用者またはその関係会社の直近事業年度の収入または売上が10億円以下であれば、PLaMo商用利用登録フォームで利用用途を登録することで、送信した時点から無償で商用利用できます。
商用利用(収入または売上が10億円を超える場合)
別途ライセンス契約が必要です。上記の登録フォームではなく、PLaMo翻訳モデルに関するお問い合わせからPFNまでご相談ください。
詳細はPLaMo Community Licenseの本文をご確認ください。
