portage salarial et frais professionnel et prime inflation

 Je suis actuellement en portage salarial. Mon employeur ne m'a pas versé la prime inflation alors que je travaille avec lui depusi 4 ans et que mon salaire est loin de dépasser les 2000. Je lui ai envoyé un mail lui demandant quand elle serait versée. Il m'a répondu que cela lui coûtait trop d'argent et qu'il ne la verserait pas. Il m'a indiquait que je n'avais pas à lui poser la question et que si je n'étais pas contente, je n'avais qu'à partir. 
J'ai régulièrement des problèmes avec lui car mes prestataires font le réglement et lui me paye avec un à deux mois de retard. Mon souci, j'aimerais partir mais il me reste des frais professionnels à me faire payer assez conséquent (+ 10000 qui correspondent à des formations, des frais de locations de salle) et il me semble que je perdrais cette somme si je pars maintenant.
Pouvez vous m'éclairer sur mes Droits ? Merci par avance.