[English](README.md) | 日本語 | [デモ](https://huggingface.co/spaces/Respair/Nichijou_demo) # Nichijou 500M Nichijouは、日本語の音声と会話全体をエンドツーエンドで生成できる、強力なhourglass型の拡散Transformerです。 ## 推論 [inference_cleaned.ipynb](inference_cleaned.ipynb)を参照してください。 入力の書き方や対応タグについては、[使い方とポイント(英語)](docs/usage.md)にまとめています。 ## 学習 [学習とデータセットのガイド(英語)](docs/training.md)を参照してください。 ## アーキテクチャと学習 hourglass型のDiTを採用し、計算の大部分を時間方向の解像度を半分にした状態で行います。これにより、学習コストを抑えながら、より大きなバッチを使えます。学習対象は、Fishコーデックの量子化後の潜在表現にPCAを適用したものです。 H100を1枚使い、1週間で計52万ステップ学習しました。学習には、通常のTTS、音声の続きを生成するprefix-conditioned generation、途中の区間を埋めるinfillingの3つの目的を使っています。infillingで学習しているので、音声編集もできるかもしれませんが、そこはまだ評価していません。
✦ A PERSONAL NOTE
I was also working on a few things that are much larger in scope; but unfortunately due to my circumstances I may not be able to manage them anymore alone.
So if there's anyone (preferably) in Japan willing to help (or maybe pick them up? depends), feel free to reach me.
✦ 日本語
実は、これとは別に、もっと大きな規模のプロジェクトもいくつか進めていました。ただ、個人的な事情により、今後は一人で続けていくのが難しいかもしれません。
もし協力してくださる方、あるいは状況によっては引き継いでくださる方がいらっしゃれば、どうぞお気軽にご連絡ください。