Ganz
offensichtlich ist sein Vetrauen durch das stark angeknackst was ihr gemeinsam gemacht habt, also die Affäre. Schliesslich kann er (und du genauso wenig) wissen ob du bei ihm anders bist und ihm ewig treu sein wirst, du hast die Grenze ja bereits einmal überschritten...
Und er fängt halt an sich zu distanzieren, damit ihn das nicht weiter so verletzt.
Kann aber auch sein, dass es ihn stört, dass er "für dich" so viele Menschen aufgegeben hat und gerade einfach daran wieder dorthin Kontakte aufzubauen und distanziert sich deswegen.
Oder baut wieder eine Beziehung zu seiner Ex-Frau auf, weil er denkt, dass er einen grossen Fehler gemacht hat...
Egal wie, ich würde ein ganz ernstes Gespräch suchen und ihm sagen, dass du so ein ignorieren nicht akzeptieren wirst in einem Gespräch, sondern er einfach mal ganz klar Stellung bezieht, wenn er denn weiterhin möchte, dass das mit euch funktioniert.