カスタムLogitsProcessorでHuggingFace TransformersのJSON繰り返しハルシネーションを修正
HuggingFace TransformersでカスタムLogitsProcessorを実装するステップバイステップガイド。ファインチューニング済みQwenの推論時に、JSONのContentフィールド内のみを対象にno-repeat-ngramを選択的に適用し、繰り返しハルシネーションを抑制する。
IBM Granite Speech 1Bを日本語音声でファインチューニングしてCER 20%以上に改善した話
IBM Granite Speech（`granite-4.0-1b-speech`）を100時間の日本語音声データでファインチューニングし、CERを0.37から0.14まで改善しました。公式スクリプトのProjector+LoRAのみの学習では精度改善に限界があり、`lm_head`とLanguage Modelの後ろから8層を追加で学習させることが最大要因になりました。Qwen3-ASR-1.7B（CER 0.14）と同等の精度を1Bパラメータで達成しています。