#llm

カスタムLogitsProcessorでHuggingFace TransformersのJSON繰り返しハルシネーションを修正

HuggingFace TransformersでカスタムLogitsProcessorを実装するステップバイステップガイド。ファインチューニング済みQwenの推論時に、JSONのContentフィールド内のみを対象にno-repeat-ngramを選択的に適用し、繰り返しハルシネーションを抑制する。