plamo-3-translate-2b / README_ja.md
kaitos255's picture
Add PFN trademark tagline to English and Japanese model cards
455f15a verified
|
Raw History Blame Contribute Delete
41.6 kB
metadata
license: other
license_name: plamo-community-license
license_link: https://plamo.preferredai.jp/info/plamo-community-license-en
model_name: PLaMo 3 Translate 2B
library_name: transformers
language:
  - ar
  - az
  - be
  - bg
  - bn
  - ca
  - ceb
  - de
  - en
  - es
  - et
  - eu
  - fa
  - fr
  - gu
  - he
  - hi
  - hr
  - hu
  - hy
  - id
  - it
  - ja
  - jv
  - ka
  - kk
  - km
  - ko
  - lt
  - lv
  - ml
  - mr
  - ms
  - my
  - ne
  - nl
  - pa
  - pl
  - ru
  - si
  - sk
  - sl
  - sr
  - sw
  - ta
  - te
  - th
  - tl
  - ur
  - uz
  - vi
  - zh
pipeline_tag: translation
tags:
  - translation
  - multilingual
  - custom_code
  - plamo

PLaMo 3 Translate 2B

PFN™ translate model

English README

PLaMo 3 Translate 2Bは、Preferred Networks(PFN)が開発した、世界最高クラスの翻訳特化LLMです。 PFNと国立研究開発法人情報通信研究機構(NICT)の共同研究で得られた事前学習モデル「PLaMo 3 NICT」を基盤としています。 この基盤モデルに対し、数十Bトークン規模の翻訳特化の学習を行いました。 開発詳細についてはテックブログをご参照ください。

PLaMo 3 Translate 2Bは53言語の多言語翻訳に対応しています (対応言語のセクションを参照)。 翻訳の周辺文脈、用語集、日本語における常体・敬体のスタイル指定にも対応しています。 学習時の最大長は、入力と出力を合わせて32,768トークンです。長い文章もまとめて翻訳できますが、さらに長い文章は、入力と出力の合計がこの範囲に収まるように分割してください。

PLaMo 3 Translate 2BのライセンスはPLaMo Community Licenseです。個人での学習や趣味などの私的な用途や、学術用途を含む非商用利用では、事前の登録なしに無償で自由にご利用いただけます。商用利用の条件はライセンスを参照してください。

ベンチマーク結果

PLaMo 3 Translateは、日英翻訳と多言語翻訳の双方で世界最高クラスの性能を示します。2Bモデルの時点で、下図のすべての指標において、比較した翻訳特化LLMを上回っています。

PLaMo 3 Translate、TranslateGemma、HY-MT2の翻訳性能比較

上段は日英翻訳の品質で、PFTB、SaaS、WMT24++ COMET-22の平均です。中段は日本語と他の14言語、下段は英語と他の14言語との間の翻訳品質で、FLORES+ chrF++を双方向で平均したものです。いずれも高いほど良いスコアです。

FLORES+による多言語評価では、対応する53言語のうち、次の15言語を対象にしました。日本語または英語を中心に、それぞれ残りの14言語との翻訳を双方向で評価しています。

  • 日本語、英語、アラビア語、インドネシア語、イタリア語、オランダ語、韓国語、スペイン語、タイ語、中国語(簡体字・繁体字)、ドイツ語、フランス語、ベトナム語、ロシア語

詳細についてはテックブログをご参照ください。

モデルの選び方

モデル一覧

PLaMo 3 Translateには、0.8B、2B、8B、31Bの4つのサイズがあります。 それぞれのサイズについて、量子化やフォーマット変換を行ったモデルを別のリポジトリに用意しています。

量子化による精度変化

モデルサイズごとに、BF16と各配布形式の翻訳精度を比較します。各スコアの下の括弧内は、同じサイズのBF16との差です(マイナスは精度の低下を示します)。いずれも高いほど良いスコアです。

評価指標の詳細についてはテックブログをご参照ください。

全体として、GGUF Q2_Kでは一部の指標で翻訳精度の低下が見られますが、他の形式ではBF16に近い精度を維持しています。

容量は重みファイルの合計です。

31B

形式 容量(GB) PFTB(英↔日) SaaS(英→日) WMT24++ COMET-22(英→日) FLORES+ chrF++(日本語↔多言語) FLORES+ chrF++(英語↔多言語)
BF16 63.51 0.6244 0.5786 0.8799 37.81 56.61
FP8 32.31 0.6240
(-0.0004)
0.5803
(+0.0017)
0.8799
(0.0000)
37.79
(-0.02)
56.60
(-0.01)
W4A16 17.19 0.6258
(+0.0014)
0.5777
(-0.0009)
0.8805
(+0.0006)
37.74
(-0.07)
56.49
(-0.12)
W4AFP8 17.19 0.6223
(-0.0021)
0.5716
(-0.0070)
0.8813
(+0.0014)
37.71
(-0.10)
56.53
(-0.08)
NVFP4 18.66 0.6258
(+0.0014)
0.5748
(-0.0038)
0.8809
(+0.0010)
37.70
(-0.11)
56.49
(-0.12)
GGUF BF16 63.52 0.6241
(-0.0003)
0.5793
(+0.0007)
0.8799
(0.0000)
37.82
(+0.01)
56.59
(-0.02)
GGUF Q4_K_M 19.53 0.6237
(-0.0007)
0.5770
(-0.0016)
0.8810
(+0.0011)
37.84
(+0.03)
56.55
(-0.06)
GGUF Q3_K_M 15.86 0.6223
(-0.0021)
0.5780
(-0.0006)
0.8813
(+0.0014)
37.78
(-0.03)
56.54
(-0.07)
GGUF Q2_K 12.61 0.6126
(-0.0118)
0.5745
(-0.0041)
0.8801
(+0.0002)
37.36
(-0.45)
56.16
(-0.45)
MLX 4bit 18.66 0.6222
(-0.0022)
0.5779
(-0.0007)
0.8800
(+0.0001)
37.82
(+0.01)
56.58
(-0.03)

8B

形式 容量(GB) PFTB(英↔日) SaaS(英→日) WMT24++ COMET-22(英→日) FLORES+ chrF++(日本語↔多言語) FLORES+ chrF++(英語↔多言語)
BF16 17.06 0.6119 0.5750 0.8805 37.45 56.22
FP8 9.41 0.6123
(+0.0004)
0.5764
(+0.0014)
0.8805
(0.0000)
37.40
(-0.05)
56.17
(-0.05)
W4A16 5.71 0.6114
(-0.0005)
0.5749
(-0.0001)
0.8789
(-0.0016)
37.36
(-0.09)
56.19
(-0.03)
W4AFP8 5.71 0.6174
(+0.0055)
0.5759
(+0.0009)
0.8794
(-0.0011)
37.34
(-0.11)
56.12
(-0.10)
NVFP4 6.07 0.6040
(-0.0079)
0.5783
(+0.0033)
0.8792
(-0.0013)
37.26
(-0.19)
56.10
(-0.12)
GGUF BF16 17.07 0.6110
(-0.0009)
0.5755
(+0.0005)
0.8802
(-0.0003)
37.46
(+0.01)
56.22
(0.00)
GGUF Q4_K_M 5.28 0.6100
(-0.0019)
0.5765
(+0.0015)
0.8802
(-0.0003)
37.39
(-0.06)
56.18
(-0.04)
GGUF Q3_K_M 4.31 0.6019
(-0.0100)
0.5707
(-0.0043)
0.8826
(+0.0021)
37.20
(-0.25)
55.93
(-0.29)
GGUF Q2_K 3.45 0.5989
(-0.0130)
0.5676
(-0.0074)
0.8791
(-0.0014)
36.54
(-0.91)
55.31
(-0.91)
MLX 4bit 6.07 0.6102
(-0.0017)
0.5751
(+0.0001)
0.8796
(-0.0009)
37.41
(-0.04)
56.19
(-0.03)

2B

形式 容量(GB) PFTB(英↔日) SaaS(英→日) WMT24++ COMET-22(英→日) FLORES+ chrF++(日本語↔多言語) FLORES+ chrF++(英語↔多言語)
BF16 5.76 0.6061 0.5612 0.8780 37.02 55.74
FP8 3.43 0.6067
(+0.0006)
0.5613
(+0.0001)
0.8776
(-0.0004)
36.98
(-0.04)
55.76
(+0.02)
W4A16 2.30 0.6032
(-0.0029)
0.5594
(-0.0018)
0.8783
(+0.0003)
36.96
(-0.06)
55.69
(-0.05)
W4AFP8 2.30 0.6022
(-0.0039)
0.5612
(0.0000)
0.8772
(-0.0008)
36.95
(-0.07)
55.71
(-0.03)
NVFP4 2.41 0.6032
(-0.0029)
0.5626
(+0.0014)
0.8783
(+0.0003)
36.82
(-0.20)
55.64
(-0.10)
GGUF BF16 5.76 0.6062
(+0.0001)
0.5619
(+0.0007)
0.8782
(+0.0002)
37.02
(0.00)
55.75
(+0.01)
GGUF Q4_K_M 1.81 0.6062
(+0.0001)
0.5602
(-0.0010)
0.8774
(-0.0006)
37.00
(-0.02)
55.76
(+0.02)
GGUF Q4_0 1.70 0.6069
(+0.0008)
0.5604
(-0.0008)
0.8791
(+0.0011)
36.12
(-0.90)
55.62
(-0.12)
GGUF Q3_K_M 1.50 0.6053
(-0.0008)
0.5644
(+0.0032)
0.8789
(+0.0009)
36.81
(-0.21)
55.59
(-0.15)
GGUF Q2_K 1.23 0.5977
(-0.0084)
0.5610
(-0.0002)
0.8777
(-0.0003)
36.45
(-0.57)
55.02
(-0.72)
MLX 4bit 2.41 0.6040
(-0.0021)
0.5624
(+0.0012)
0.8777
(-0.0003)
36.99
(-0.03)
55.64
(-0.10)

0.8B

形式 容量(GB) PFTB(英↔日) SaaS(英→日) WMT24++ COMET-22(英→日) FLORES+ chrF++(日本語↔多言語) FLORES+ chrF++(英語↔多言語)
BF16 1.78 0.5862 0.5530 0.8724 36.08 54.44
FP8 1.22 0.5846
(-0.0016)
0.5491
(-0.0039)
0.8726
(+0.0002)
36.00
(-0.08)
54.60
(+0.16)
W4A16 0.95 0.5847
(-0.0015)
0.5439
(-0.0091)
0.8711
(-0.0013)
35.78
(-0.30)
53.95
(-0.49)
W4AFP8 0.95 0.5783
(-0.0079)
0.5456
(-0.0074)
0.8718
(-0.0006)
35.75
(-0.33)
54.38
(-0.06)
NVFP4 0.98 0.5787
(-0.0075)
0.5436
(-0.0094)
0.8702
(-0.0022)
35.54
(-0.54)
54.20
(-0.24)
GGUF BF16 1.78 0.5873
(+0.0011)
0.5533
(+0.0003)
0.8727
(+0.0003)
36.10
(+0.02)
54.45
(+0.01)
GGUF Q4_K_M 0.57 0.5832
(-0.0030)
0.5451
(-0.0079)
0.8716
(-0.0008)
35.90
(-0.18)
54.47
(+0.03)
GGUF Q4_0 0.55 0.5853
(-0.0009)
0.5500
(-0.0030)
0.8723
(-0.0001)
34.97
(-1.11)
54.11
(-0.33)
GGUF Q3_K_M 0.49 0.5798
(-0.0064)
0.5520
(-0.0010)
0.8710
(-0.0014)
35.32
(-0.76)
54.15
(-0.29)
GGUF Q2_K 0.41 0.5620
(-0.0242)
0.5397
(-0.0133)
0.8659
(-0.0065)
33.56
(-2.52)
51.15
(-3.29)
MLX 4bit 0.98 0.5773
(-0.0089)
0.5476
(-0.0054)
0.8724
(0.0000)
35.82
(-0.26)
54.41
(-0.03)

配布形式の選び方

PLaMo 3 Translateの各サイズには、用途とハードウェアに応じて次の配布形式があります。

形式 主な対象環境 推論エンジン 用途の目安
BF16 BF16対応GPU Transformers/vLLM 量子化なしの精度を優先。メモリに余裕がある場合
FP8 NVIDIA Ada Lovelace/Hopper/Blackwell vLLM 精度と省メモリ・速度のバランスを重視
W4A16 NVIDIA Ampere以降 vLLM 4bit重みでGPUメモリを抑えて実行
W4AFP8 NVIDIA Hopper vLLM 4bit重みとFP8演算で、省メモリと処理量の両立を狙う
NVFP4 NVIDIA Blackwell vLLM FP4演算を活用し、省メモリ・高速化を狙う
GGUF CPU/各種GPU llama.cpp 手元のPCで実行。CPUとGPUの併用も可能
MLX-4bit Apple silicon mlx-lm Macで省メモリに実行

使い方

Transformers

モデルファイルをダウンロードし、そのディレクトリに移動します。以降の例はこのディレクトリで実行します。

pip install -U huggingface_hub
hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b
cd plamo-3-translate-2b

必要なパッケージをインストールします。

pip install -U torch transformers accelerate numba

1つの文章を翻訳する

手軽に翻訳を試せるよう、チャットテンプレートを用意しています。原文と翻訳先を指定すると、PFML3形式のプロンプトを作成できます。

アプリケーションへの組み込みなど、本格的に活用する場合は、PFML3形式でプロンプトを直接組み立て、vLLMのCompletions APIに渡す方法をおすすめします。

以下は英語から日本語に翻訳する例です。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    ".", trust_remote_code=True, dtype="bfloat16", device_map="auto",
)

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "The meeting has been rescheduled to next Monday."}],
    target_lang="ja",
    add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)

max_new_tokensは訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。

翻訳例:

会議は来週の月曜日に変更されました。

上の例では原文の言語を指定していません。source_langを省略した場合は、モデルが原文から言語を判断して翻訳します。明示したい場合は、source_lang="en"のように指定してください。

複数の文章をまとめて翻訳する

複数の文章は、チャットテンプレートにまとめて渡すことでバッチ翻訳できます。以下は、上で読み込んだmodelとtokenizerを使い、2つの文章を日本語に翻訳する例です。

tokenizer.padding_side = "left"
texts = [
    "The meeting has been rescheduled to next Monday.",
    "Please open the project dashboard.",
]
messages = [[{"role": "user", "content": text}] for text in texts]

inputs = tokenizer.apply_chat_template(
    messages,
    target_lang="ja",
    add_generation_prompt=True,
    padding=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, do_sample=False, max_new_tokens=512)
translations = tokenizer.batch_decode(
    outputs[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True,
)
for source, translation in zip(texts, translations):
    print(f"{source} → {translation}")

文章の長さを揃えるために左側をパディングし、生成された訳文だけを取り出します。target_langなどの翻訳オプションは、この例ではバッチ内のすべての文章に適用されます。

これまでの訳文を参考に、続きを翻訳する

文書を段落ごとに翻訳するときは、これまでの原文・訳文のペアを履歴として渡せます。前の訳語や文体を参考にしながら、続きの文章を翻訳するための方法です。

チャットテンプレートを使う場合は、原文をuser、その訳文をassistantとして交互に並べ、最後のuserに今回の原文を渡します。履歴は自動では保存されないため、次のリクエストにも必要なペアを含めてください。

翻訳方向はリクエスト全体で共通です。source_langはすべての原文、target_langはすべての訳文に適用されます。

履歴も入力トークン数に含まれます。入力全体と生成する訳文が、32,768トークンおよび実行環境の上限に収まるようにしてください。履歴が長くなった場合は、古い原文・訳文のペアから順に外し、直近の履歴を残すことをおすすめします。

上の例で読み込んだmodelとtokenizerを使います。

messages = [
    {"role": "user", "content": "Open the project dashboard."},
    {"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
    {"role": "user", "content": "It lists all active tasks."},
    {"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
    {"role": "user", "content": "You can also filter them by owner."},
]

inputs = tokenizer.apply_chat_template(
    messages, source_lang="en", target_lang="ja",
    add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)

PFML3プロンプト形式

PFML3は、翻訳する文章や翻訳先などを特殊トークンで区切って表すPLaMoのプロンプト形式です。上のTransformersの例では、チャットテンプレートが原文と翻訳先をPFML3に変換しています。ここでは変換結果の見方と、プロンプトを手書きするときの使い方を説明します。

本格的な活用には、PFML3でプロンプトを直接組み立て、vLLMのCompletions APIに渡す方法をおすすめします。

上のTransformersの例をPFML3に変換すると、次のようになります。ここでは文頭トークンを省略し、Pythonの文字列を分割して示しています。実際のプロンプトには改行は入りません。

prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>input"
    "<|plamo:msg|>The meeting has been rescheduled to next Monday."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)
  • datasetのtranslationは翻訳タスクを表します。このモデルは翻訳専用のため、datasetには必ずtranslationを指定します。
  • inputの<|plamo:msg|>に続く部分が翻訳する原文です。
  • outputの<|plamo:key|>lang<|plamo:val|>jaは、翻訳先が日本語であることを表します。最後の<|plamo:msg|>の直後から訳文が生成されます。

<|plamo:tag|>は各要素の始まりを、<|plamo:msg|>はその本文の始まりを表します。言語や文体などを指定するときは、要素名に続けて<|plamo:key|>の後に属性名、<|plamo:val|>の後に値を書きます。例えば、outputに<|plamo:key|>form<|plamo:val|>plainを追加すると、常体を指定できます。

参考文脈や用語集はオプショナルです。使う場合は、datasetとinputの間にcontext、glossaryの順で追加します。対訳履歴も使う場合は、contextをdatasetの直後に置き、過去のinput・outputの組を並べた後、今回のinputの直前にglossaryを置きます。用語集には、<|plamo:index|>の後に原語、<|plamo:item|>の後に訳語を書き、この組を用語の数だけ並べます。具体例は翻訳オプションを参照してください。

手書きのプロンプトを使う

PFML3を手書きするときは、datasetをtranslationに指定して始め、output要素の末尾を<|plamo:msg|>で終えます。モデルは訳文の生成後、<|plamo:tag|>または<|plamo:bos|>を出力して停止します。

上の手書き例では、文頭を示す<|plamo:bos|>を省略しています。Transformersのトークナイザー、llama.cpp、mlx-lmは文頭トークンを自動で付けます。vLLMのCompletions APIではadd_special_tokens=trueを指定してください。

チャットテンプレートで作った文字列には、文頭トークンがすでに含まれます。tokenize=Falseで受け取った文字列をTransformersのトークナイザーに渡す場合は、重複を避けるためadd_special_tokens=Falseを指定してください。

例えば、手書きのプロンプトをTransformersに渡すには、上のTransformersの例のmodelとtokenizerを使います。

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=512)
text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(text)

対訳履歴をPFML3で指定する

対訳履歴は手書きのPFML3でも指定できます。翻訳済みのinputとoutputを文書の順に並べ、最後に今回の原文と、本文が空のoutputを置きます。次の例では、2組の対訳を参考にして、最後の「You can also filter them by owner.」だけを翻訳します。

prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)

上の「手書きのプロンプトを使う」の例で、promptをこの文字列に置き換えて実行してください。

続きを訳すときは、今回の原文と生成された訳文の組を履歴に追加します。その後に、次の原文を入れたinputと、本文が空のoutputを続けます。

履歴には訳文の本文だけを残します。上の例で受け取った訳文は、そのまま使えます。

訳文の末尾に<|plamo:tag|>や<|plamo:bos|>が残っている場合は取り除き、次のinputとの間の<|plamo:tag|>が1つになるようにしてください。

翻訳オプション

翻訳先や文体、参考文脈、用語集などは、systemメッセージや原文には書かず、apply_chat_template()の引数で指定します。

上のTransformersの例で、inputsを作る部分を以下のコードに置き換えて実行してください。

引数 内容
target_lang 翻訳先の言語コード。必須。
source_lang 原文の言語コード。省略可能。
context 原文を解釈するための参考文脈(前後の文章や場面など)。
glossary {"source": "原語", "target": "訳語"}のリスト。
form 常体plain/敬体politeを指定(target_lang="ja"のみ)。

対訳履歴と併用する場合、contextは全体の参考文脈として渡し、glossaryとformは今回の翻訳に適用されます。過去の訳文自体は変更しません。

用語集で訳語を指定する

glossaryに原語と訳語の組を渡して、用語の訳し方を指定します。

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Please open the project dashboard."}],
    target_lang="ja",
    glossary=[
        {"source": "dashboard", "target": "管理画面"},
        {"source": "project", "target": "プロジェクト"},
    ],
    add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

翻訳例:

プロジェクトの管理画面を開いてください。

この例のPFML3プロンプト
prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>glossary"
    "<|plamo:index|>dashboard<|plamo:item|>管理画面"
    "<|plamo:index|>project<|plamo:item|>プロジェクト"
    "<|plamo:tag|>input<|plamo:msg|>Please open the project dashboard."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)

参考文脈を渡す

contextに前後の文章や場面を伝えます。この例では、川辺を歩いているという文脈を添えています。

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "The bank was muddy."}],
    target_lang="ja",
    context="They were walking beside a river after heavy rain.",
    add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

翻訳例:

川岸はぬかるんでいた。

この例のPFML3プロンプト
prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>context"
    "<|plamo:msg|>They were walking beside a river after heavy rain."
    "<|plamo:tag|>input<|plamo:msg|>The bank was muddy."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)

常体・敬体を指定する

日本語への翻訳では、form="plain"で常体(だ・である調)、form="polite"で敬体(です・ます調)を指定できます。

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "This system is convenient."}],
    target_lang="ja",
    form="plain",
    add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

同じ原文に対する翻訳例:

文体 指定 訳文
常体 form="plain" このシステムは便利だ。
敬体 form="polite" このシステムは便利です。
この例のPFML3プロンプト

常体:

prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>input<|plamo:msg|>This system is convenient."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja"
    "<|plamo:key|>form<|plamo:val|>plain<|plamo:msg|>"
)

敬体:

prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>input<|plamo:msg|>This system is convenient."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja"
    "<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>"
)

すべてのオプションを同時に指定する

対訳履歴、参考文脈、用語集、文体は同時に指定できます。次の例では、2組の対訳履歴に続けて3文目を翻訳し、参考文脈にページの種類、用語集にownerの訳語、文体に敬体を指定しています。contextは全体の参考文脈として渡され、glossaryとformは今回の翻訳に適用されます。

inputs = tokenizer.apply_chat_template(
    [
        {"role": "user", "content": "Open the project dashboard."},
        {"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
        {"role": "user", "content": "It lists all active tasks."},
        {"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
        {"role": "user", "content": "You can also filter them by owner."},
    ],
    source_lang="en", target_lang="ja",
    context="Help page of a project management tool.",
    glossary=[{"source": "owner", "target": "オーナー"}],
    form="polite",
    add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

翻訳例:

また、オーナー別に絞り込むこともできます。

この例のPFML3プロンプト
prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>context<|plamo:msg|>Help page of a project management tool."
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
    "<|plamo:tag|>glossary<|plamo:index|>owner<|plamo:item|>オーナー"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:key|>form<|plamo:val|>polite<|plamo:msg|>"
)

vLLM

サーバーを起動する

モデルファイルをダウンロードし、そのディレクトリに移動します。Transformersの手順でダウンロード済みの場合は不要です。

pip install -U huggingface_hub
hf download pfnet/plamo-3-translate-2b --local-dir plamo-3-translate-2b
cd plamo-3-translate-2b

必要なパッケージをインストールして、vLLMサーバーを起動します。

pip install -U vllm openai numba

vllm serve . --trust-remote-code \
  --served-model-name plamo-3-translate \
  --max-model-len 16384 --max-num-seqs 4

この例では、入力と出力を合わせた最大長を16,384トークンに設定しています。必要に応じて、GPUメモリに合わせて調整してください。

Chat Completions APIで翻訳する

Chat Completions APIでは、最後のuserメッセージに今回の原文を入れ、翻訳オプションをchat_template_kwargsで渡します。

curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "plamo-3-translate",
    "messages": [{"role": "user", "content": "Hello."}],
    "chat_template_kwargs": {"target_lang": "ja", "form": "polite"},
    "temperature": 0,
    "max_tokens": 512,
    "stop": ["<|plamo:tag|>", "<|plamo:bos|>"]
  }'

max_tokensは訳文の生成上限です。この例では512トークンに設定しています。長文を翻訳する場合は、入力全体(原文・履歴・参考文脈・用語集など)と出力の合計が実行環境の上限に収まるように、生成上限を調整してください。

訳文はchoices[0].message.contentに入ります。

複数の文章をまとめて翻訳する場合

複数の文章を翻訳するときは、文章ごとにリクエストを送り、並列に実行できます。vLLMは受け取ったリクエストをまとめて処理します。

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
texts = [
    "The meeting has been rescheduled to next Monday.",
    "Please open the project dashboard.",
]

def translate(text):
    response = client.chat.completions.create(
        model="plamo-3-translate",
        messages=[{"role": "user", "content": text}],
        temperature=0,
        max_tokens=512,
        stop=["<|plamo:tag|>", "<|plamo:bos|>"],
        extra_body={"chat_template_kwargs": {"target_lang": "ja"}},
    )
    return response.choices[0].message.content

with ThreadPoolExecutor(max_workers=4) as executor:
    translations = list(executor.map(translate, texts))

for source, translation in zip(texts, translations):
    print(f"{source} → {translation}")

対訳履歴を使ってChat Completions APIで翻訳する場合

翻訳済みの原文・訳文をuser/assistantのペアで渡します。最後のuserだけが今回の翻訳対象です。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
messages = [
    {"role": "user", "content": "Open the project dashboard."},
    {"role": "assistant", "content": "プロジェクトの管理画面を開きます。"},
    {"role": "user", "content": "It lists all active tasks."},
    {"role": "assistant", "content": "進行中のタスクがすべて表示されます。"},
    {"role": "user", "content": "You can also filter them by owner."},
]

response = client.chat.completions.create(
    model="plamo-3-translate",
    messages=messages,
    temperature=0,
    max_tokens=512,
    stop=["<|plamo:tag|>", "<|plamo:bos|>"],
    extra_body={"chat_template_kwargs": {"source_lang": "en", "target_lang": "ja"}},
)
print(response.choices[0].message.content)

Completions APIで翻訳する

promptには、各翻訳例に掲載したPFML3プロンプトを渡します。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>input"
    "<|plamo:msg|>The meeting has been rescheduled to next Monday."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)

response = client.completions.create(
    model="plamo-3-translate",
    prompt=prompt,
    temperature=0,
    max_tokens=512,
    stop=["<|plamo:tag|>", "<|plamo:bos|>"],
    extra_body={"add_special_tokens": True},
)
print(response.choices[0].text)

訳文はchoices[0].textに入ります。

複数の文章をまとめて翻訳する場合

PFML3プロンプトを直接使う場合も、文章ごとにリクエストを並列に送れます。

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
texts = [
    "The meeting has been rescheduled to next Monday.",
    "Please open the project dashboard.",
]

def translate(text):
    prompt = (
        "<|plamo:tag|>dataset<|plamo:msg|>translation"
        "<|plamo:tag|>input<|plamo:msg|>"
        f"{text}"
        "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
    )
    response = client.completions.create(
        model="plamo-3-translate",
        prompt=prompt,
        temperature=0,
        max_tokens=512,
        stop=["<|plamo:tag|>", "<|plamo:bos|>"],
        extra_body={"add_special_tokens": True},
    )
    return response.choices[0].text

with ThreadPoolExecutor(max_workers=4) as executor:
    translations = list(executor.map(translate, texts))

for source, translation in zip(texts, translations):
    print(f"{source} → {translation}")

対訳履歴を使って続きを翻訳する場合

対訳履歴を使う翻訳は、Completions APIでも実行できます。翻訳済みの原文・訳文を含むPFML3プロンプトを渡すと、最後の原文に対する訳文が返ります。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
prompt = (
    "<|plamo:tag|>dataset<|plamo:msg|>translation"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>Open the project dashboard."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>プロジェクトの管理画面を開きます。"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>It lists all active tasks."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>進行中のタスクがすべて表示されます。"
    "<|plamo:tag|>input<|plamo:key|>lang<|plamo:val|>en<|plamo:msg|>You can also filter them by owner."
    "<|plamo:tag|>output<|plamo:key|>lang<|plamo:val|>ja<|plamo:msg|>"
)

response = client.completions.create(
    model="plamo-3-translate",
    prompt=prompt,
    temperature=0,
    max_tokens=512,
    stop=["<|plamo:tag|>", "<|plamo:bos|>"],
    extra_body={"add_special_tokens": True},
)
print(response.choices[0].text)

対応言語

日本語・英語を含む53言語に対応しています。中国語は簡体字と繁体字をそれぞれ1言語として数えています。Hugging Faceの言語表示では中国語が1言語にまとめられるため、52言語と表示されます。

対応言語と言語コードの一覧
言語 コード 言語 コード
日本語 ja 英語 en
中国語(簡体字) zh-hans 中国語(繁体字) zh-hant
韓国語 ko アラビア語 ar
アゼルバイジャン語 az ベラルーシ語 be
ブルガリア語 bg ベンガル語 bn
カタルーニャ語 ca セブアノ語 ceb
ドイツ語 de スペイン語 es
エストニア語 et バスク語 eu
ペルシャ語 fa フランス語 fr
グジャラート語 gu ヘブライ語 he
ヒンディー語 hi クロアチア語 hr
ハンガリー語 hu アルメニア語 hy
インドネシア語 id イタリア語 it
ジャワ語 jv ジョージア語 ka
カザフ語 kk クメール語 km
リトアニア語 lt ラトビア語 lv
マラヤーラム語 ml マラーティー語 mr
マレー語 ms ミャンマー語 my
ネパール語 ne オランダ語 nl
パンジャーブ語 pa ポーランド語 pl
ロシア語 ru シンハラ語 si
スロバキア語 sk スロベニア語 sl
セルビア語 sr スワヒリ語 sw
タミル語 ta テルグ語 te
タイ語 th タガログ語 tl
ウルドゥー語 ur ウズベク語 uz
ベトナム語 vi

ライセンス

PLaMo 3 Translate 2Bは、PLaMo Community Licenseのもとで公開されています。

私的な用途・非商用利用

個人での学習や趣味など、私的な用途であれば、モデルを無償でダウンロードし、自由にご利用いただけます。学術用途を含む非商用利用でも、収入や売上の規模による制限はなく、PFNへの事前の利用登録も不要です。

商用利用(収入または売上が10億円以下の場合)

利用者またはその関係会社の直近事業年度の収入または売上が10億円以下であれば、PLaMo商用利用登録フォームで利用用途を登録することで、送信した時点から無償で商用利用できます。

商用利用(収入または売上が10億円を超える場合)

別途ライセンス契約が必要です。上記の登録フォームではなく、PLaMo翻訳モデルに関するお問い合わせからPFNまでご相談ください。

詳細はPLaMo Community Licenseの本文をご確認ください。

Preferred NetworksグループのAIポリシー