すべての作品

Kanpeki Pitch

研究プロトタイプ

日本語の文を話すと、アクセントがずれた単語を教えてくれます。

端末内だけで動くピッチアクセント練習ツール。フレーズごとの辞書アクセントを求め、録音をモーラ単位で揃え、声の高さを追跡して、各フレーズを「正しい・違う・判定できない」で評価します。iOSアプリに向けた研究スパイクで、文・JLPT語彙・「箸・橋・端」のようなミニマルペアを練習できるWebデモ付き。

GitHubで見る ↗

使用技術

  • Python
  • PyTorch
  • scikit-learn
  • FastAPI
  • wav2vec2
  • OpenJTalk
  • VOICEVOX

ポイント

  • 期待アクセントはOpenJTalk、モーラのタイミングはひらがなwav2vec2モデル、声の高さはSwiftF0。
  • 決定木モデルとBiGRU系列モデルの平均で、初めての話者でも安定し、「判定できない」を減らしています。
  • 学習に使っていない話者と文で評価:誤警報は約4%、見逃しは約1%。
  • 当てずっぽうより「判定しない」を選びます。正しいのに間違いと言うのが学習者にとって最悪だからです。
  • 参照音声はVOICEVOX。辞書のアクセントに合うよう音程を整えています。
文とアクセントガイド、その下に期待と実際の音の高さをモーラごとに比べた結果
フレーズごとに判定。ここでは「音が」だけが下がらず平らになっています。
ミニマルペア:どれも「はし」と読む橋・箸・端と、それぞれのアクセント
ミニマルペア:どの「はし」を言ったか。