Odbiór domu jednorodzinnego.

Witam.mam problem z odbiorem domu jednorodzinnego.Wraz z żoną kupiłem w 2015r.dom,budynek gospodarczy na ogrodzonej już działce 15 a od zbywcy, wdowy po byłym właścicielu (kobieta kompletnie nie wiedziała co i jakie prace są wykonywane).Dom był i jest w trakcie budowy od 1996(tj.wydania pozwolenia na budowę).Wszystkie dokumenty łącznie z prawidłowo prowadzonym dziennikiem budowy,właścicielka przekazała nam.Dom ten kupiliśmy na kredyt hipoteczny na zakup i na dokończenie budowy.W tym samym roku 2015 bez problemu w wydziale budownictwa przepisano pozwolenie na nasze nazwiska.Inspektorzy przeglądali wszystkie dokumenty łącznie z mapą zasadniczą i nie mieli żadnych zastrzeżeń.W kolejnym roku 2016 po zakończeniu wszystkich prac budowlanych przeżyliśmy wszystkie dokumenty do odbioru budynku w nadzorze budowlanym. Tu jednak pojawił się problem,gdyż panowie w nadzorze stwierdzili na aktualnej mapie zasadniczej, że budynek ten nie może zostać odebrany gdyż nie zachowano 4 m od granicy z sąsiadem.Wobec czego podjęliśmy próbę uregulowania tej sytuacji i chcieliśmy odkupić ten brakujący pas ziemi od sąsiadów,którzy wyrazili początkowo zgodę(nawet podpisali wstępne dokumenty dla geodety).Jednak po jakimś czasie ciągle wydłużali czas uregulowania prawnie,w końcu stwierdzili że mają jakieś problemy z bankiem(też mają kredyt hipoteczny),unikali rozmów na ten temat.Ponadto postawili tuż przy ogrodzeniu mała szopkę.I wszystkie starania spelzly na niczym.Stoimy w martwym punkcie.Błąd popełniliśmy na samym początku,że nie powołalismy geodety,ale wszystko na pierwszy rzut oka wydawało się w porządku,dla naszego banku też.Tak krótko wygląda ta historia która trwa do chwili obecnej.Chcemy uregulować tą sytuację,przede wszystkim odebrac dom.Poza tym bank w umowie zastrzegł że budynek musi zostać odebrany(boimy się że cofna nam kredyt,albo bank zarząda spłaty całego kredytu).Nie chcemy wytaczać sprawy byłej włascicielce,za dużo włożylismy kosztów w dom.W rzeczywistości dom wygląda na dobrze wytyczony,bo nawet przekracza 4 metry w jednym miejscu(ale do ogrodzenia a nie do granicy z działką sąsiada).Były właściciel postawił ogrodzenie-siatka i słupki,dopiero potem został wytyczony dom.Kierownik budowy twierdzi,że dom był wytyczony zgodnie z projektem.Geodeta ten sam co wytyczał dom także twierdzi że wszystko było ok.Na mapach zasadniczych z 1993,1996 i ostatnia starsza z 1999 zachowana jest odległość istniejącego budynku 4 m od ścian do ogrodzenia(właśnie wszystkie mapy z tamtego okresu pokazują odległość do siatki/ogrodzenia,na jednej mapie tylko zaznaczone są granice jako punktyABCD i odległości wg nich są zachowane).Aktualne mapy zasadnicze przedstawiają jednak co innego-odległość od budynku do granicy z sąsiadem nawet 2,70 m.Wychodzi na to że ogrodzona mamy działkę sąsiadów i uzytkujemy ich ziemię przez to że 20 lat temu a nawet więcej właściciel ogrodzil tak działkę.Tylko co z tego jak problemem jest odbiór domu.Co zrobić aby uzyskać odbiór budynku?Proszę o pomoc zwłaszcza że trwa to już 5 lat i pochłonęło to nasze nerwy i pieniądze również(najgorsze jest to że w dzienniku budowy jest zapis o ukończeniu budowy z 2018,wykonana jest inwentaryzacja po budowie).wszystko jest niemal ukończone poza najważniejszym-odbiorem.