Nous sommes séparé et mon enfant de 7ans ne veut pas aller en vacances où son père est hébergé

 Je suis séparé du père de mon fils de 7 ans depuis 2 ans. Celui-ci vit à l'étranger et se déplace pour rendre visite à son fils en étant hébergé chez son frère. 
Mon fils  habite avec moi . Son père et moi n'avons pas saisi le Juge des affaires familiales car d'un commun accord le père passe une partie des vacances avec son fils quand il est là.
Jusqu'ici tout allait bien. Mais mon fils ne veut plus se rendre là où son père est hébergé( chez son oncle) pour la garde. Il veut voir son père mais pas chez son oncle car celui-ci crie régulièrement sur lui selon ses propos et il est en pleur tout le temps quand il se trouve là-bas.
J'ai parler avec mon fils, lui faisant comprendre que c'est son oncle mais il est en pleur chaque que j'en parle avec lui. Il me dit qu'il veut voir son père mais pas chez son oncle car il lui fait peur.
J'en ai parler à son père mais celui-ci ne veut rien savoir, il me dit que l'enfant n'a pas à décider où il l'emmène. 
Nous n'arrivons pas à nous comprendre et je ne sais pas quoi faire.