Czy konkubent może mnie wyrzucić z domu?

Mieszkam Z konkubentem i dwójka dzieci w jego domu. Z poprzedniego małżeństwa mam 10 letniego syna. Z konkubentem mamy 2 letnią córkę. Konkurent przestał się dogadywać z moim synem (wyzywa go, zabrania korzystac z niektórych produktów spożywczych, które kupił) w odwecie syn też go wyzywa. Sytuacja caly czas sje pogarsza. Dochodzi do rękoczynów miedzy nimi. Konkubent każe mi się wyprowadzić z moim synem. Jednak ja bez córki nie odejdę.
Czy w takiej sytuacji, kiedy ją nie pracuję zawodowo, nie mam dochodu tylko świadczenia rodzinne konkubent może mnie wyrzucić z domu z małym dzieckiem. Czy jest taki przepis, ktory mówi że on ma obowiązek zapewnienia i opłacenia mi lokum do momentu podjęcia przeze mnie pracy.
Jak to wyglada prawnie?