Wezwanie do zwrotu niesłusznie pobranego zasiłku.

Witam, w dniu 05.08.2019. miałem podpisaną umowę zlecenie, wykonywałem prace w tym dniu (do g.10), poczułem się źle i poszedłem do lekarza gdzie otrzymałem zwolnienie L4 od tego dnia czyli 05.08.19r. do 19.08.19r., potem było ono kilkukrotnie przedłużane.
ZUS żąda od mnie zwrotu za niesłusznie pobrany zasiłek (wg.art.17 ust 1 zasiłkowej) za w/w okres twierdząc że wykonywałem pracę zarobkową będąc na zasiłku chorobowym.
Uważam że postąpiłem poprawnie idąc w tym dniu do lekarza, rozumiem że zasiłek otrzymałem za ten dzień i to nie powinno się liczyć ale czemu za pozostały okres.
ZUS mi odpowiedział że powinienem wziąć od następnego dnia czyli od 06.08.
Mam oświadczenie przychodni i lekarza że byłem w godzinach wieczornych czyli praktycznie nie wykonywałem pracy w tym okresie kiedy poszedłem na L4, rozumiem tutaj konflikt daty wystawienia, ale to powinni odjąć za ten dzień.
Dziwne że następne zwolnienia (kontynuacja) nie są egzekwowane ?
Bardzo proszę o poradę