Ohje ...
... jetzt drehen wieder alle am Rad, nur weil jemand in der Anfangsphase einer Beziehung einmal fremd gegangen ist.
Jetzt mal etwas konstruktiver:
Ich finde nicht, dass etwas dabei ist wenn er um Mitternacht mal eben noch zu einem Kumpel geht und ich kann verstehen dass es ihn nervt, wenn Du dann "stresst". Dich daraufhin zu verletzen finde ich allerdings wiederum nicht ok von ihm.
Meine Vermutung ist, dass ihr ein Kommunikationsproblem habt. Es ist schwer das eindeutig aus Deiner Nachricht herauszulesen, weil Du weder schreibst wie Du Dich beschwerst (wobei "beschweren" an sich tatsächlich schon nach "Stress machen" klingt) und wie er darauf wiederum reagiert was dazu führt dass Du Dich zurückziehst.
Idealerweise sollte es so aussehen, dass Dir bewusst ist dass um Mitternacht weggehen an sich nicht schlimm ist und Du merkst, dass es Dich einfach wegen dem stört, was in der Vergangenheit vorgefallen ist. Dass es Dir zu schaffen macht ist ja ok (das sind Dinge an denen man arbeiten muss... und der erste Part ist jetzt Deiner), aber da Du Dir bewusst bist warum, musst Du Dich dann nicht beschweren, sondern kannst einfach beschwerdefrei mit ihm über Deine Gefühle reden. Er wiederum hat auch einen Part. Und zwar kann und sollte er wenn Du ihm Deine Gefühle beschwerdefrei mitteilst darauf eingehen und Dich nicht dafür verurteilen - vielleicht mit Dir zusammen nach Lösungen suchen und Dir natürlich versichern, dass er Dich liebt und für Dich da ist.
Also prinzipiell hat sowohl sein Wunsch wegzugehen als auch Deine Angst davor beide ihre Daseinsberechtigung - nur wie ihr damit umgeht ist nicht gut. Es entstehen negative Gefühle dabei die sich in eurer Interaktion gegenseitig hochsteigern statt abgebaut werden.