Durée préavis démission pendant période repos compensatoire

Bonjour,

Je suis boulanger et salarié non cadre et suite à un grand nombre d'heures supplémentaires réalisées depuis 10 ans, mon employeur m'a imposé 3 semaines de repos compensatoire du 28/05/2024 au 17/06/2024. Je ne reprends donc le travail que le 17/06.

Le 30/05 dernier, je lui ai signifié ma démission. 
J'ai 2 semaines de préavis à respecter.
Pour moi j'étais donc libéré de mes obligations envers lui pour le 14/06.
Il me dit que ca ne pourra pas être le cas car les 2 semaines de préavis doivent être faites sur du temps de travail effectif et non sur des congés.
Je serai Ok si il s'agissait de congés payés mais là ce n'est pas le cas puisqu'il s'agit de repos compensatoires imposés de plus.
Quelqu'un pourrais t'il mécllairer svp car je dois démarrer mon nouvel emploi le 17/06 et mon futur employeur me dis que je suis dans mon bon droit.

Cordialement,