Enquête sociale de la PMI suite à information préoccupante diffamatoire

Bonjour,
J'ai quitté le père de mes 2 enfants il y a 9 mois pour violences conjugales. J'ai déposé 2 plaintes qui ont été classées sans suite pour infractions insuffisamment caractérisée ; mon ex-conjoint a en effet nié être à l'origine de mes blessures et être l'auteur des faits que j'avais rapportés... En attente d'une audience devant le JAF, les enfants vivent avec moi et voient leur père un WE sur 2 et la moitié des vacances scolaires. 
Il y a 2 mois, mon ex-conjoint a signalé une information préoccupante à la CRIP : il serait inquiet pour les enfants parce que je serais instable psychologiquement, j'aurais inventé les violences qu'il a commises sur moi ( l'un de nos enfants en a malheureusement été témoin une fois ) , je monterais les enfants contre lui, je serais cleptomane, toxicomane, dépressive, et j'en oublie.
J'ai donc été contactée par une AS et une puéricultrice mandatées pour effectuer une enquête sociale suite à cette information préoccupante. Nous nous sommes rencontrées une 1ère fois à mon domicile sans les enfants, puis une seconde fois avec les enfants ( 4 et 7 ans ) avec qui elles se sont entretenues sans moi. Je dois désormais me rendre à un dernier RDV dans leur bureau sans les enfants. D'après leurs 1ères conclusions, les enfants vont très bien, mais elles envisagent de peut-être me proposer un suivi médico-psychologique, parce que j'ai pleuré en leur parlant... Je suis suivie par un thérapeute depuis plus d'un an, c'est notamment ce qui m'a permis de réagir, de porter plainte et finalement de partir. 
Mes semaines sont chargées : les enfants, une formation à distance dans le cadre de ma reconversion professionnelle, une nouvelle vue à organiser, une séparation très difficile par avocats interposés, un ex-conjoint qui continue de me compliquer de compliquer mes démarches, ne verse pas de pension, et s'est attribué l'ancien domicile conjugale... je peine à trouver du temps pour moi, pournme reconstruire, revoir mes amis dont mon ex-conjoint m'avait éloignée,  j'aspire à une vie normale, gaie et joyeuse avec les enfants, j'essaie de regarder devant... Bien que je comprends que les enquêtrices de la PMI fassent leur travail et doivent mener leur enquête jusqu'au bout, je suis abasourdie par leur proposition de suivi... Mon ex-conjoint buvait quotidiennement pendant notre vie commune; cela.le rendait agressif, violent; il m'a détruite psychologiquement. J'ai l'impression d'être à nouveau sous son emprise, de devoir encore rendre des comptes, d'être une mauvaise personne, une incapable, de devoir éternellement me remettre en question... d'être rattrapée par le passé que j'ai fui! Mais je me sens impuissante... Suis-je contrainte de tout accepter, même si je suis convaincue que tout cela n'a aucun intérêt pour les enfants et est même contre-productif pour ma reconstruction? Peut-on impunément "instrumentaliser" les services sociaux comme l'a fait mon ex-conjoint? Je suis perdue...
Merci pour vos conseils et éclairages.