Heures à rattraper et arrêt maladie

Mon entreprise a décidé de faire le pont le 10 mai comme les 8 et 9 mai étaient des jours fériés. On devait rattraper la matinée du 10 le vendredi 3 mai après-midi.
Enceinte et malade j'avais déjà été en arrêt les 29 et 30 avril. J'ai essayé de reprendre le travail le 2 mai mais ça n'allait tjs pas donc mon médecin m'a mise de nvx en arrêt du 3 mai au 7 mai comme les 8, 9 étaient fériés et qu'on faisait le pont le 10... Sauf que pour mon entreprise je leur dois les heures du 10 mai car même si j'ai été en arrêt le 3 mai quand ils ont rattrapé les heures, je ne l'étais pas le 10 et c'est la journée du 10 mai qui compte... J'ai demandé à ce compte là qu'on me les enlève de ma paie car ca me ferait une semaine trop longue avec la grossesse, ils n'ont pas voulu.
Est-ce qu'ils ont raison ? 

Mencore par avance,

Cordialement