Могу ли я отказать бывшему супругу оставаться у меня в жилье?

Мой бывший муж приезжает видеться с ребенком, сам он из Митино,сейчас я с молодым человеком и со своим ребенком от бывшего мужа проживаем в съемной квартире, но у меня в нашем городе есть квартира (не в собственности) собственник моя бабушка или дед (точно не знаю), там прописаны дядя,я,моя дочь,моя мама,бабушка и дед,квартира муниципальная! Мой дядя сдружился с бывшим мужем и мой муж хочет приезжать к дочке и находится в моей квартире без моего ведома, могу ли я отказать ему? Ведь там как никак мои вещи остались.. да и в принципе я против чтобы он находился у меня дома(где я прописана) без меня... как мне быть?