Проблемы с границами земельного участка

Здравствуйте. Скажите пожалуйста, вот у нас есть земельный участок, и у нашего соседа. Такая ситуация, что мы взяли 1 квадратный метр его участка, а наш сосед также 1 квадратный метр нашего участка. Это было 6 лет назад. И мы договорились на словах и не стали вызывать геодезистов и межевой план не делали. И вот буквально месяц назад на соседнем участке сменился собственник. И теперь новый собственник говорит, что у нас не соблюдения границы ЗУ и необходимо все вернуть в прежнее состояние. Хотя территории этих участков, которые мы позаимствовали друг у друга одинаковы. И еще мы как бы не особо понимаем, что нам делать, так как у нас идет приватизация ЗУ, так как у нас участок пямятник архитектуры и на его как бы куске у нас уже построен бассейн и забор. Подскажите пожалуйста, что делать?