安倍首相、ちゅうちょなく入国拒否拡大