Материнский капитал, не выполнил обязательство, могут ли забрать деньги обратно?

Здравствуйте, в 2010 году купили квартиру за 1000000 миллион. 400.000 тыс своих денег и 600 тыс взяли ипотеку в банке. У нас трое детей, материнский капитал на третьего ребенка. В 2011 году написали заявление в пенсионный фонд на частичное гашение основного долга и процентов ипотеки. 330 тыс пенсионный перевел на счет сбербанка. В квартире собственник только глава семьи, т.к. квартира приобреталась по ипотеке. В пенсионный фонд дано обязательство, что после погашения ипотеки дли в квартире будут распределены по соглашению сторон. В Декабре 2013 погасили ипотеку, доли не выделили продали квартиру и купили большой благоустроенный дом. Часть денег пришлось брать в банке (Ипотека) поэтому доли на детей в доме опять не выделить. Но условия проживания намного улучшились. Мы сделали еще одно обязательство только на дом и на землю. В данный момент пенсионный подал иск в суд о взыскании материнского капитала плюс проценты. Они считают что мы не законно использовали средства мат капит. Хотя эти деньги пошли на улучшение жилищных условий. Единственное что я не выполнил обязательство по распределению долей. Могут ли забрать деньги обратно? Спасибо