Wo ist das Problem?
Ich kann nicht ganz nachvollziehen, wo das Problem ist. Bist Du nicht eigentlich da, wo Du sein wolltest?
Ansonsten würde ich sagen, dass Du im klassischen Dilemma jeder Affäre bist. Nämlich diese Trennung zwischen Verstand (Wir wollen beide nur eine Affäre, ist ja nur Sex, unsere Kinder und unsere Beziehungen gehen vor) und Gefühl (eigentlich will ich doch mehr und warum stecke ich eigentlich zurück).
Es ist einfach so, dass jede Affäre auch Gefühle mit sich bringt und man zumeist nach einer Weile eben immer mehr den Verstand abschaltet und dem Gefühl, dem Wunsch nach mehr, nachgibt.
Es gibt für Deine Situation keinen wirklichen Rat: Entweder es bleibt halt wie es ist oder Ihr überlegt Euch neu, was Ihr wirklich wollt.