Za sve vrijeme boravka u Beogradu Gordana Bajloni stekla je ogromno poštovanje kao osoba koja je osvajala srca svih na koje je nailazila. Nažalost, njena se obitelj susrela s nedaćama koje su je natjerale da napusti Srbiju i da se posljednji put oprosti od mjesta koje je nekada zvala domom.
Njen otac, cijenjeni Ignjat Bajloni, poznat po svojim neprocjenjivim doprinosima za napredak i prosperitet Beograda, služio je kao njen patrijarh. No, Gordana je svjesno odlučila da se neće oslanjati samo na ugled svoje obitelji. Umjesto toga, svim se srcem posvetila nepokolebljivoj ustrajnosti i odlučnosti, naposljetku procvjetavši u ženu izuzetnog intelekta i profinjene elegancije. Po dolasku 1855. godine smjestili su se na šarmantnom brežuljku Topčiderskog brda.
Ignjat se, osim njegovanja bogatog vrta, marljivo bavio kožarskim zanatom. U međuvremenu, njegov najstariji sin Jakov započeo je naukovanje kod vještog bačvara u poznatoj pivovari u prekrasnom gradu Beču. Kasnije se zapošljava kod uglednog bačvara Kincela u Beogradu.Drugi sin Anton stekao je pod paskom strica Nemaca veliko znanje u mlinarstvu. Nemac, koji je vješto upravljao državnim mlinom u mirnom mjestu Bratincu na Mlavi, prenio je svoje znanje Antonu. U međuvremenu, najmlađi sin Venceslav, od milja zvan Vasa, ostao je vjeran ocu i vjerno ga podržavao u svim njegovim pothvatima.
U razdoblju od 1858. do 1878. godine cijenjena obitelj Bajloni vodila je cijenjenu gostionicu smještenu u poznatoj Hajdučkoj ulici na Veljkovom vencu. Kasnije je glasoviti Antonin Němec kupio ovu istaknutu ustanovu od uglednog Milosava Pazarca na užurbanoj tržnici Tobdžija. Počevši s radom 1870. godine, izgradili su parni mlin koji je dvije godine kasnije dovršen pod uglednim imenom Ignjat Bajloni i sinovi, iako je bio u isključivom vlasništvu sinova jer je Ignjat Bajloni već bio otišao s ovoga svijeta. Unatoč cijenjenoj lozi obitelji Bajloni, njihova je najstarija kći živjela povučeno u velikom dvorcu smještenom u Lisabonu.
