Бывший муж угрожает при моем отъезде подать в суд на лишение меня материнских прав

Здравствуйте. У меня есть дочь 6 лет, я в разводе. Дочь прописана у своего отца, но квартира по факту в собственности его мамы. Дочь и я живем у моих родителей. Я уезжаю в Москву, предложили работу. Дочь пока остается жить с бабушкой и дедушкой. Бывший муж угрожает при моем отъезде подать в суд на лишение меня материнских прав, т.к. я не участвую в воспитании ребенка и как он говорит, что я ''гулящая'' женщина. Чего нельзя сказать, т.к. мой график дом-работа-дом. Подскажите, может ли он добиться своего и что я могу предпринять до своего отъезда?