Prime d'ancienneté et augmentation

 Au même poste depuis 7 ans, je viens de me rendre compte, après vérification auprès de l'inspection du travail (convention collective 3168) que j'avais le droit de percevoir une prime d'ancienneté.
J'en ai parlé à mes employeurs qui, après renseignements, ont fait leur calcul. Ils sont donc revenus vers mois au bout de 6 semaines en m'expliquant que du fait des augmentations (pas tous les ans et au montant aléatoire) qu'ils m'avaient accordées,  mon salaire dépassait ce que j'aurais dû recevoir avec la prime d'ancienneté. Du coup, pour eux le dossier est clos: ils ne me verseront pas d'arriérés.
Sont-ils dans leur droit ? Et sinon comment faire valoir les miens sans conflit?
Cordialement