WhisperとQwen3-ASRの転写結果をdiff形式でLLMに統合させ、単一モデルの限界を超える高品質なASR訓練データを生成する2段階パイプラインの解説記事です。Whisperは漢字・固有名詞に強く、Qwen3はCER全体で優位という異なる強みを持つモデルを組み合わせ、Forced Alignmentで単語レベルのタイムスタンプを付与します。後段のチャンク分割スクリプトでは文末スコアリングによる自然な20〜30秒チャンク生成とWhisper再転写によるCER品質チェックまでを自動化しています。
本記事は、IT企業名・サービス名・略語を含む実際の音声データで9つのASRモデルを評価した一次ベンチマークです。汎用的な日本語音声認識ベンチとは異なり、「openclawやARRをちゃんと書き起こせるか」という実務目線で評価しています。
RTX5090を使い最新の日本語ASRモデルを同一条件でベンチマークした結果、精度・安定性ともにqwen/qwen3-asr-1.7b（WER: 0.1899）とwhisper（WER: 0.2099）が頭一つ抜け出しました。速度最優先ならparakeet-tdt-0.6b-v3（RTF: 0.002）、日本語メディア特化ならreazonspeech-espnet-v2が有力な選択肢です。WER評価にはMeCab分かち書き＋句読点除去による正規化を実装し、モデル間の公平な比較を実現しています。
IBM Granite Speech（`granite-4.0-1b-speech`）を100時間の日本語音声データでファインチューニングし、CERを0.37から0.14まで改善しました。公式スクリプトのProjector+LoRAのみの学習では精度改善に限界があり、`lm_head`とLanguage Modelの後ろから8層を追加で学習させることが最大要因になりました。Qwen3-ASR-1.7B（CER 0.14）と同等の精度を1Bパラメータで達成しています。
VibeVoice-ASRを4bit・8bit量子化してDERを実測したところ、量子化が精度を下げるとは限らず、ドラマ系音声では4bitがオリジナルより8.5ポイント改善した