Bevor...
... ich zum Jugendamt gehen würde, würde ich versuchen, mit ihm persönlich darüber zu sprechen.
Alles, was Du weißt, weißt Du aus zweiter oder dritter Hand. Ich würde ihn ganz sachlich mit dem kontrontieren, was ich gehört habe, und dann sehen, wie er reagiert. Und dann würde ich erstmal den Vorschlag unterbreiten, dass er eure Tochter OHNE weiblichen Anhang sieht, denn sicherlich würde auch ER es nicht toll finden, wenn eure Tochter jede Woche einen neuen "Stiefpapi" zu sehen bekäme...
Ein Wort zu dieser Vorgehensweise: Wie es in den Wald ruft, so schallt es heraus. Wer Wind sät, wird Sturm ernten.
Wenn die Geschichte nicht aus dem Ruder laufen soll - und im Interesse eurer gemeinsamen Tochter solltet ihr beide darum bemüht sein - würde ich es erst mal auf die Art und Weise versuchen. Fruchtet eine persönliche, sachliche (!) Aussprache nicht, würde ich DANACH erst zum Jugendamt gehen.