Tja...
... zum der Frage, ab wann etwas überhaupt "Fremdgehen" ist, gibt es grundsätzlich viele verschiedene Ansichten von sehr restriktiv bis hin zu offenen Beziehungen. Für einen meiner langjährigen Freunde zählt das "Kuscheln" bereits unter Sex, für die meisten hingegen nicht.
Nähe zu anderen zu suchen, muss für den Partner keineswegs verletzend sein, Sex mit anderen auch nicht, treffen mit dem / der Ex auch nicht. Das sind individuelle, persönliche Einstellungen, die entweder kompatibel sind oder eben nicht.
Das einzige, was dabei wirklich zählt, ist einen Partner zu finden, bei dem man alles hat, was man möchte und der die eigene Einstellung teilt, was den Rest angeht.
Aber genau da hängt es wohl bei Dir, da stimmt weder das eine noch das andere - das ist nicht kompliziert sondern eine Frage, wie man sich entscheiden möchte.