Die Drohung ...
... mit dem Jugendamt solltest Du erstmal nicht fürchten. Sein Position ist nicht so stark wie er denkt. Natürlich hat er als Vater ein Umgangsrecht, aber das bedeutet nicht das er die Termine diktieren kann. Die Kinder haben da auch ein mitspracherecht (ab einem gewissen alter).
Werde einfach selber offensiv und lass Dich von einem Familienanwalt beraten, nicht um jetzt Krieg gegen Deinen Ex zu führen, sondern um einfach zu wissen was Sache ist und wie die Rechte verteilt sind.
Ansonsten kein Panik, niemand wird Dir Deine Kinder wegnehmen, sollte Dein Ex in dieser Richtung was sagen ist das erstmal nur Geschwätz.
Viele Grüße
Torrin