Zakup działki z służebnością drogi.

Dzień dobry. Zakupiłam działkę budowlaną z wydanymi warunkami zabudowy z dostępem do drogi publicznej ale niestety przez służebność przejazdu przez inną działkę. Obecnie wygląda to jak dróżka polną ma 7 m szerokości bez problemu przejazd. Działka zakupiona w moich stronach rodzinnych. Troszkę ludzi tam znam i teraz nie wiem czy to złośliwość ludzi ale padają do mnie pytania czy ja mogę tą dróżką jeździć jak ona jest pana xyz. Dodam że wpis o służebności mam w akcie notarialnym. Jak dla mnie wg dokumentacji jest wszystko ok ale ludzie już na bokach gadają. Pytanie czy ja mogę się bezpiecznie zacząć budować czy z tej służebności nie będę mieć teraz czy w przyszłości problemów. Boje się że się wybuduje i zaczną się problemy??