Frohe Ostern erstmal!
Und nein, ich finde das nicht unhöflich.
Mein Freund und ich haben auch nicht dieselbe Muttersprache. Ich spreche Deutsch und er Griechisch. Zusammen reden wir meistens Griechisch und wenn meine Familie dabei ist Englisch. Deutsch kann er nicht. Und ja natürtlich passiert es da mal, dass ich mit ihm kurz was auf griechisch rede oder meine Familie ins Deutsche fällt. Da aber niemand meint, dass man etwas schlimmesw von sich gibt, ist da auch keiner beleidigt^^.
Ich habe aber leider (jetzt nicht im Zusammenhang mit meinem Partner) erlebt, dass viele Menschen aggressiv darauf reagieren, wenn sie eine Sprache hören, die sie nicht verstehen. Ich sag den Leuten dann immer, sie sollen sich mal selbst nicht für so wichtig nehmen, wenn sie meinen die anderen würden schlecht über sie in einer anderen Sprache rede ;).
Naja deiner Familie solltest du das so direkt natürlich nicht sagen.
Versuch deiner Familie zu erklären, dass sich dein Freund wirklich Mühe gibt, du ihm aber zwischendurch helfen musst, damit er nicht ausgeschlossen wird.
Alles Gute!