1874-ben született Budapesten, egy szegény értelmiségi család legidősebb gyermekeként. Iskoláit a fővárosban végzi, majd 1892-től a budapesti egyetem orvosi karán tanul. Medikusként a szövet- és fejlődéstani, majd az élettani intézetben dolgozik. 1897-ben szerzi meg orvosdoktori oklevelét, egy évvel később Árkövy meghívja a Fogászati Klinikára.

1905-ben jelent meg habilitációs közleménye, majd 1906-ban docenatúrát kap fogászati műtéttanból. Sorban jelennek meg közleményei, melyekben a fogbél életkor szerinti nagyságának változásával, a fogak replantációjának kérdésével, a gyökértömések bakteriológiai vizsgálatával, az ezüstsó dentinre kifejtett hatásával foglalkozik. De ő írta Berend Gyermektherápiájának szájápolással foglalkozó fejezetét is. Magyarra fordította Gustav Preiswerk sztomatológiai tankönyvét és atlaszát is (1904).

Főműve, a Gyakorlati fogászat 1914-ben jelent meg. Salamon Henrik korszakos jelentőségűnek értékeli a könyvet: „A tankönyv az egyetemi orvosi tanításnak és tanulásnak általában és valamelyik orvosi szaktudományénak különösen és még inkább, egyeik elengedhetetlen előfeltétele… A magyar tanulóknak, azoknak az ifjaknak, akik a fogorvoslási pályára léptek, 1914-ig nem állt ilyen tankönyv rendelkezésére. Barna írt ugyan egykor ilyen, de csonkán maradt…A fiatal magyar fogorvos-nemzedék évtizedeken keresztül német tankönyvekre volt utalva. Ezekről elmondható, hogy általában igen gyarlóak voltak…Összefoglaló – a tan minden területét átfogó – tankönyvre volt szükség. Ezt alkotta meg Szabó. Hangyaszorgalommal hordta össze az adatokat, rendszerbe foglalta a szétszórt ismereteket és az egész anyagot a legszélesebb fejlődés-történeti alapon boncolja szét és építi föl az olvasó előtt…Minden magyar fogorvos-növendék ebből a könyvből tanul, nemcsak azért, mert magyar nyelvű, hanem azért is, mert az egész világirodalom egyik legjobb tankönyve.”

A könyv a fogak bonctanát, a konzerváló fogászatot, az extractiós tant és a parodontologiát tárgyalja, nincs szó benne a fogpótlásokról, a fogszabályozásról és a szájsebészetről. A tárgyalt részek megoszlása - Huszár György szerint – nem egyenletes. A konzerváló fogászat foglalja el a mű legnagyobb részét, a parodontologia viszont aránytalanul kevés. A mű azonban hiányosságai ellenére annyira hézagpótló mű volt, hogy nagy sikert ért el. A könyv 1925-ben és 1930-ban újabb kiadást ért meg, majd 1925-ben olasz, 1932-ben spanyol nyelven is megjelent.

1914-től a Rothman Ármin visszavonulása után ő lett a Poliklinika fogászati osztályának vezetője. A világháború alatt katonaorvosként teljesített szolgálatot. Árkövy nyugdíjaztatása után a tanári kar Szabó bízta meg a Fogászati Klinika ideiglenes vezetésével. 1921-ben kapja meg a nyilvános rendes tanári és klinika igazgatói kinevezését.

Az Árkövytől örökölt klinikát gyökeres átalakítja, modernizálja. Új osztályokat létesít (fogszabályozó osztály, fogtechnikai laboratórium, orvosi laboratórium), a meglévő osztályokat bővíti (röntgenosztály, fekvőbeteg részleg), külön rendelőt hoz létre szájnyálkahártya betegek részére, felszerelteti modern eszközökkel a műtőt.

„Kitűnő előadó, temperamentumos, élvezetes előadásokat tart. Fontosnak tartja a képzést és továbbképzést, példamutatóan felkészül minden előadására. A fogászat az orvoskaron nem volt kötelező tárgy, de Szabó előadásain - melyek közül több szombat délutánra esett - a hallgatók mellett, vidéki és fővárosi fogorvosok olyan számban jelentek meg, hogy a teremben már állóhelyek sem voltak szabadon. Nagy sikerrel és igen sokszor külföldi fogorvosok részvételével rendezett továbbképző kurzusokat a klinikán. Különösen az olasz, osztrák, német kollégák szerettek hozzá járni tanulni. Az egész világ szakmai elismerését vívta ki az 1931. szeptember 2-8. között Szabó vezetésével Budapesten megrendezett I. Nemzetközi Stomatológus Kongresszus.

A világ 23 országából 1100-an jelentek meg. Páratlan könyvtárat gyűjt össze, melyet később a klinikának adományoz, így a klinika 3500 kötetes szakkönyvtára a világon szinte páratlan szakirodalmat jelentett. Különféle általa készített mulázs és műszer- gyűjtemények egészítették ezt ki. Szabó klinikai működésének ideje felöleli azt a negyed századot, mely alatt több mint 11 ezer orvostanhallgató hallgatta a stomatológiát, több mint 600 fogorvos kapott szakorvosi képesítést, és Szabó rendszeres továbbképző tanfolyamain 1922-től 741magyar és 20 külföldi vendégorvos fogorvos tanult a klinikán.

Hat orvosa lett életében magántanár: Máthé Dénes, Morelli Gusztáv, Simon Béla, Horváth Lajos, Balogh Károly, Móczár László. Később további számos orvosa lett magántanár Máthé majd Balogh professzorsága alatt: Oravecz Pál, Molnár László, Szokolóczy-Syllaba Béla, Hattyasy Dezső, Lőrinczy Ervin, Kocsis Antal Gábor, Szenthe István, Varga István, Fodor György István, Rehák Rudolf, Sugár László, Máthé Gyula. Ők alkotják a magyar fogászat Szabó iskolájának legjelentősebb tagjait. Kiváló gyógyító szakemberként, tehetséges kutatóként, eredményes oktatóként két évtizedes klinika igazgatói tevékenysége a magyar fogászat történetének páratlanul eredményes periódusát köszönheti Szabó Józsefnek.”