Modification horaires

Jusqu'à maintenant je travaillais chez un client en équipe (6h-14h / 13h-21h) ou alors en journée en fonction de la charge de travail (8h-17h).

La charge de travail ayant augmenté, le client a demandé de former une équipe seulement de nuit (22h-6h), je me suis porté volontaire sauf que maintenant ils veulent modifier les horaires (20h30-4h30), cela ne me convient pas, déjà que la vie sociale pour un travailleur de nuit est compliqué alors là...
Je précise que jusqu'à maintenant je n'ai signé aucun document spécifiant les horaires travaillées.
Mon employeur peut-il m'obliger à respecter les horaires tel qu'il le souhaite où suis-je dans mon droit de les refuser ?

Je remercie d'avance ceux qui m'aideront