indem Du kein Problem aus etwas machst, was kein Problem ist.
Auf die Frage "seid ihr verwandt?" würde ich mit angehobener Augenbraue antworten "klar, er ist mein Urgroßvater, sieht man das nicht?" und dann hat sich das auch zügig gegeben ;)
Zumal es doch bei fast allen bei einem Mal fragen bleiben wird. (Wenn nicht: Sparschwein kaufen, demjenigen unter die Nase halten und sagen "einmal blöd fragen kostet zwei fuffzich!")
Was machst Du Dir für einen Kopf darum? Ja, auf etwas ungewöhnliches wird man auch mal angesprochen, ist dennoch nur Smalltalk. Das hat sehr wahrscheinlich keinen Hintergrund.