Lissage du salaire / fin de contrat en cours d'année

 Je suis chauffeur en cdd à temps partiel, dans une entreprise de transport (IDCC 16).

Dans mon contrat de travail, il est stipulé qu'en fin d'année civile, une retenue de salaire de 10% maximum pourra être effectuée si mon temps de travail effectif est inférieur au temps de travail prévu dans mon contrat, jusqu'à extinction de la dette.

Mon CDD va se terminer le 31/05, or il est précisé dans la convention collective que "en cas d'Embauche ou de rupture du contrat en cours de période de référence, le décompte des temps est régularisé sur la base du temps de travail effectivement réalisé par rapport à l'horaire théorique moyen que le salarié aurait dû réaliser sur la période considérée."

Je ne suis pas certain de comprendre : est-ce que cela veut dire qu'à la fin de mon CDD, l'employeur pourra retirer de mon solde tout compte l'ensemble des heures non travaillées ?

Car mon temps de travail effectif est très inférieueur au temps prévu dans mon contrat. J'ai un contrat pour 24h/ semaine, mais je ne travaille que 15h-18h par semaine (aléa des livraions...).

A la fin de mon CDD, l'employeur pourra t-il me demander de verser la différence entre les heures du contrat / les heures de travail effectif, alors que je n'ai pas refusé de travailler plus ?

Merci pour votre aide