Rupture contrat CDI

J'ai signé un contrat cdi dans une société de service (consultant), qui avait date d'effet le 03/01/2022
Je me suis présenté chez le client avec mon consultant qui gère mon contrat, seulement la région étant très loin et n'ayant pas pu avoir d'appartement sur place, suite à la question du client à savoir si j'avais trouvé un appartement je lui ai répondu que je n'en avais pas, que j'étais à l'hotel et que ça allait être compliqué pour moi de rester plus tard,
Après ça il s'est un peu énervé et a refusé que je démarre le poste et donc ma période d'essai .. le consultant présent s'est énervé aussi et a dit qu'il allait voir avec sa direction pour faire passer ça comme un abandon de poste ou autre, je suis donc allé déposer une main courante à la police pour expliqué la situation, que je n'avais pas pu démarrer la mission et que j'étais bien présent
Suite à ça une RH m'a appelé pour que je donne un mail de rupture de contrat anticipé, chose que j'ai fait mais en expliquant que je faisais ça car je n'avais pas pu démarer ma période d'essai .. 

J'ai aujourd'hui reçu un mail du consultant : "

Je te remercie pour ton courriel, ce dernier n’est cependant pas très clair dans sa rédaction. Tu t’es effectivement présenté hier sur le site de notre client et nous as indiqué ainsi qu’à notre client que finalement, tu n’étais pas en mesure d’assurer la prise du poste et que tu souhaitais renoncer à ton contrat. Nous ne nous opposons pas à cela tant que tu formalises ce souhait dans les formes qui s’imposent. Nous te rassurons également sur le fait que ton refus de démarrer ton contrat n’engendrera aucune conséquence judiciaire.

J’attends donc un nouveau mail de ta part demandant la rupture du contrat.
Je te serai gré de reprendre un à un les éléments précités, afin que la partie à laquelle est imputable la rupture soit clairement identifiable.

Merci de ton concours,

Cordialement, "

Donc ce n'est pas totalement la vraie version mais si il m'assure que je ne risque pas de préjudice est-ce que je dois rédiger ce mail expliquant que la démission vient bien de moi ? Est-ce qu'on son mail fait foi pour ne pas être poursuivi pour dommage et intéret derrière ?

Merci de m'éclairer sur ce cas particulier car j'ai des angoisses énorme depuis ce jours et j'aimerais une rupture à l'amiable sans poursuite pour pouvoir être libre de retrouver un autre emploi proche de chez moi sans soucis d'appartement

Merci encore..