Nein, ich an deiner Stelle würde nicht zu ihm fahren.
Wenn er nicht akzeptieren kann, dass du nicht bei ihm übernachten willst, dann beachtet er deine Grenzen nicht und die ganze Beziehung hat keinen Sinn und Zweck.
Du schreibst, er ist sehr eifersüchtig und laut seiner Selbstaussage ist er süchtig nach dir. Das weist schon mal auf einen ungesunden Kontrollwahn hin, solltet ihr die Entfernung überbrücken und irgendwann zusammenziehen wollen. Ich könnte mir dann auch gut vorstellen, dass du dich von ihm unterbuttern; bzw. einmal gesetzte Grenzen selbst einreißen lässt.