Zunächsteinmal ist es kein Fremdgehen. Anders würde ich es sehen, wenn du in eine Beziehungspause gegangen wärst, nur damit du mit ich schlafen kannst. Dann wäre es dreiste verarsche.
Im Normalfall hätte ich dir geraten mit ihm offen über eure Probleme zu reden. Das Thema Sex hätte ich persönlich dann auch angesprochen, damit es später in der Beziehung keine dummen "Überraschungen" für den Partner gibt. In deinem Fall jedoch kann ich überhaupt nicht nachvollziehen, wieso du mit ihm zusammen bist. Sollte man nicht eher die Leute um sich herum sammeln, die einem guttun, anstatt die, welche einem schlechttun?
Aus deinem Post kommt für mich es so rüber, als ob du Angst vor ihm hättest. Stimmt das?