J. Žemgulys gimė 1890 m. gruodžio 17 d. Rusėnų kaime, Kretingos apskr., vidutinio ūkininko šeimoje. Baigęs Liepojos valstybinę gimnaziją, įstojo į Petrapilio Karo Medicinos akademiją, bet dėl per didelio akademijos sukarinimo, persikėlė į Dorpatu universiteto Medicinos fakultetą. Per I-ą pasaulinį karą gydytojas buvo kilnojamas iš vietos į vietą gydyti sužeistųjų. Gydęsis ir dirbęs Charkovo karo ligononėje, čia pabaigė ir medicinos mokslus.
1918 m. J.Žemgulys grįžo į Lietuvą. 1919 m. paskirtas Kauno ligoninės chirurginio skyriaus vedėju. Pasižymėjo kaip gabus, darbštus, principingas gydytojas. Jo skyriuje buvo įvesta pavyzdinga tvarka. 1919 m. aktyviai dalyvavo Kauno medicinos draugijos steigime. Jos nariu išbuvo 18 metų. 1920 m. ėmė leisti ir redaguoti draugijos žurnalą Medicina.
Atsikėlęs į Panevėžį dirbo kartu su gydytojais S.Mačiuliu ir A.Gudoniu. 1941 m. birželio 26 d. buvo kartu su jais nužudytas.
