西村大臣、高齢の親族と会う際は「玄関先で挨拶するだけで家には上がらない」