Czy można się pobudować na działce zagrodowej.

Czy mogę się wybudować na działce, która jest określona w zagospodarowaniu przestrzennym jako działka zagrodowa nie będąc rolnikiem ? Brat obiecał mi odpisać notarialnie ziemię około 20 arów. On jest rolnikiem a ziemia na której miałby stanąć mój dom jest określona jako działka zagrodowa na której może wybudować się tylko rolnik. Areał ziemi mógłby być ponad 30 arów jeśli zmieniło by to coś w uzyskaniu pozwolenia na budowę. W starostwie uzyskałam informację, że aby uzyskać pozwolenie na budowę muszę udokumentować że jestem rolnikiem i posiadam hektar ziemi . W innym przypadku nie dostanę pozwolenia na budowę. Chciałabym się dowiedzieć czy są jakieś aspekty prawne które pozwolą ominąć taką przeszkodę?