Date de reprise de congé trimestriel pour temps partiel

Quand je pose une semaine de CT, du lundi au vendredi, l’employeur en décompte 5 jours et jusque-là tout est normal.

J’ai posé un congé trimestriel du mardi 29 octobre au mardi 5 novembre. Etant donné que cette période comprend un jour férié, je pensais reprendre mon travail le jeudi 7 novembre. Malheureusement, mon employeur considère que c'est comme pour les congés payés (décompte des jours jusqu'à la date de reprise) et donc que je dois reprendre le travail le mercredi 6 novembre même si d’habitude je ne travaille pas les mercredis de par mon temps partiel.

Quel jour dois-je revenir de mes congés trimestriels ?