Finir plus tôt suite activité d'entreprise

Bonjour, 

Mon entreprise a fait un repas de Noël suivi d'une activité en extérieure qui terminait bien au-delà de la journée de travail. L'inscription a ces deux évènements se faisaient par liste.
Pour des raisons personnelles et d'obligation, je ne pouvais pas être présent pour l'activité.
Nous étions plusieurs dans cette situation, j'ai demandé au "RH" comment cela se passer.
Il a attendu la veille pour venir me voir pour dire que l'entreprise fermerait à 14h30 (à la place de 15h30 pour moi) et que je devrais rattraper le temps de travail (nous avons un compteur temps). Bien entendu, pour les autres employés qui ont fait l'activité et donc pas présent dans l'entreprise, ils n'ont pas eu à rattraper quoique se soit.
Nous avions la possibilité d'être minimum deux dans l'entreprise, je possède les clés et l'alarme de la société.
L'employeur avait t'il le droit de me forcer à partir avant et de rattraper le temps ?
nous dépendons de la convention collective de la métallurgie de l'Hérault.