Décompte du temps de travail

Bonjour,

Je travaille dans le bar d'un club de vacances. Mon responsable me dit régulièrement de ne pas hésiter à fermer le bar légèrement plus tôt si je vois que je n'ai plus de clients. Il arrive donc de temps en temps que je finisse 30 minutes plus tôt environ. 
Récemment, mon responsable m'a demandée combien d'heure je lui "devais" , en référence aux fois où j'ai pû finir plus tôt. En effet, comme mes heures supplémentaires et mes heures de nuits sont rendues en repos compensateurs et non en majoration, selon lui , les fois où j'ai fini plus tôt peuvent être prise en compte pour compenser ces heures majorées.

Je trouve cela assez curieux mais je me trompe peut être.  L'employeur ayant l'obligation de me fournir du travail, c est lui qui décide de me dire de ne pas hésiter à partir plus tôt si je n'ai pas de clients, sans me donner des tâches pour combler les vides. C est pour cela que je trouve que c est pas très cohérent de "devoir" ces heures où l'absence de clients n'est pas de mon fait. 

Mon responsable peut t il réellement tenir compte des fois où je suis partie plus tôt pour me rendre les heures majorées ?