Heures a rattraper pour congés maladie

 Je suis agent contractuelle de la fonction publique au service jeunesse. J'ai des journées de 4h et des journées de 9h30 de travail. Je suis à 80% d'un temps complet. 
Voici ma problématique 
Quand je suis en congés pour maladie mon employeur me compte 5,36 heures, forfait journalier selon mon temps de travail. Et que ce soit pour les jours à 4h ou à 9h30. Sur une période mon compte temps augmente d'une 1,36 heures mais sur une autre je perds 4h. Ces 4h je dois donc les récupérer. 
Parfois je fais des semaines de 9h30 chaque jour. Si je suis en arrêt pour maladie pour la semaine je dois récupérer 20h.
Il ne me semble pas que cela soit normal.
Pouvez-vous m'éclairer svp ? 
Merci