Муж хочет обратиться в суд, сказав, что я лишаю его общения с детьми

Здравствуйте. Мы с мужем не живем вместе 1,5 года, как появились двойняшки, я стала жить со своими родителями, а муж к нам не пошел, остался с мамой, т.к. дом не достроен был. Почти сразу у нас начались конфликты, ссоры, он не приходил к детям по месяцу и дети стали плакать, как его увидят. После чего он стал приходить 2 раза в неделю, так было удобно всем, но когда я говорила ,чтобы мы пошли к нему - он отказывался. Сейчас он хочет видеть детей каждый день, только на моей территории. К себе не пускает, но мы не разведены. Он хочет обратиться в суд, сказав, что я лишаю его общения с детьми. Рассудите, так ли это и что мне делать?