#finetune

IBM Granite Speech 1Bを日本語音声でファインチューニングしてCER 20%以上に改善した話

IBM Granite Speech（`granite-4.0-1b-speech`）を100時間の日本語音声データでファインチューニングし、CERを0.37から0.14まで改善しました。公式スクリプトのProjector+LoRAのみの学習では精度改善に限界があり、`lm_head`とLanguage Modelの後ろから8層を追加で学習させることが最大要因になりました。Qwen3-ASR-1.7B（CER 0.14）と同等の精度を1Bパラメータで達成しています。

Logits ProcessorでQwen（LLM）のハルシネーション対策

カスタムLogits Processorを使い、JSONのContentフィールド内に限定してno-repeat-ngramを適用することで、Qwenファインチューニング時の繰り返しハルシネーションを副作用なく抑制した。repetition_penaltyやno_repeat_ngram_sizeは全体に効きすぎるため実用上の副作用があるが、スコープを絞ることでその問題を回避できる。TransformersのLogits Processor APIは柔軟で、Qwen以外のモデルにも同じアプローチが使える。