1851-ben született Budapesten. Már édesapja is foglalkozott fogászattal, Barna Ignác mellett dolgozott, mint fogtechnikus. Apja fivére és édesanyja testvére is fogorvos volt. Ennek ellenére a család papnak szánta a fiút, de ő a papi hivatás helyett az orvosi felé fordult.

1870-ben iratkozott be a pesti egyetem orvosi fakultására. Egyetemi évei alatt Jendrassik professzor élettani intézetében szövettannal és fejlődéstannal foglalkozott. 1873-ban önálló kísérletekbe kezd, a macskák fogcsírájának átültetési lehetőségeit vizsgálja. 1876-ban nyerte el az orvosdoktori diplomát egy hónappal utána chirurgiae doctor minősítést szerezte meg, majd végül fogászmesteri oklevelet kapott.

Ezután következett a tapasztalatszerzés időszaka, Árkövy elhatározta, hogy külföldi intézeteket, klinikákat látogatva ismerkedik meg a korszerű módszerekkel. Az egyetem dékánjának segítségével ösztöndíjat kapott Angliába, azzal a céllal, hogy ott a modern fogászat módszereiről, az aranytömés és gyökérkezelés technikájáról, valamint a magán- és kórházi praxis helyzetéről ismereteket gyűjtsön. A londoni Dental Hospitalban kezdte meg tanulmányútját. Itt lett híve a kórházakban működő ún. „dental departmantnek”, ahol a szegényebb betegek fogászati ellátása zajlott. Angliai tanulmányútja egyéb sikereket is hozott, az Odontolical Society of London tagjai sorába választotta, székfoglaló előadását a dentin fejlődéséről tartotta.

Hazatérve 1877-ben magángyakorlatot kezd, de szerette volna bevezetni a külföldön megismert módszereket a hazai tudományos életbe. Ezért javaslatot tett egy kórházi osztály felállítására a Rókus Kórházban. Indoklásában kiemeli, hogy a betegek gyógyításán kívül a tanítás és tudományos kutatás céljait is szolgálná. Terve nem valósulhatott meg, mivel a kórház akkori igazgatója mereven elzárkózott a fogászati osztály megnyitásától.
Miután elutasították, más megoldást próbált találni céljai eléréséhez, úgy döntött, hogy magángyógyintézetet hoz létre. Kérvényében célul tűzi ki, hogy „ezen intézetet alulirott fogbetegek gyógyítása céljából és azon főcél szemmeltartásával szándékozik létesíteni, hogy az ott segélyt kereső betegeket majdnem egyetemi magántanári minőségben tudományos búvárlati és tanítási beteg-anyag gyanánt használhassa és egyetemi orvostanhallgatók előtt előadásokkal egybekötött demostratiókat tartson.
Ezen oknál fogva alulirott kérelmezi, miszerint ezen általa létesítendő intézet a „Dr. Árkövy József Foggyógyintézete” címet viselhesse.”

Miután az engedélyt megkapta az orvosik fakultáshoz közel, a Magyar utca 21. szám alatti ház két szobájában megnyitotta intézetét 1880. március 1-jén. A szegény betegek számára a rendelés ingyenes volt. Kezdetben hetenként háromszor 2-2 órán át volt nyitva. Ilyenkor Árkövy előadásokat tartott, konzerváló kezeléseket, foghúzást, műtéteket végeztek. 1883-ban egy nagyobb szobával bővült az intézmény, amelyben a műtőszékeket helyezték el. Árkövy munkatársa, Hattyasy Lajos pontos kimutatást készített a kezelésekről és a intézetben megfordult orvostanhallgatókról. A Foggyógyintézet fennállásának nyolc éve alatt több mint 11383 beteget látott el, 894 orvostanhallgató és 64 orvos részesült szakképzésben.

1881-ben Árkövy megkapja a magántanári címet, s ezzel a Foggyógyintézet az egyetemhez csatlakozott, s minisztériumi támogatást is kapott. Azonban a fenntartási költségek egyre emelkedtek, melynek nagy részét Árkövy maga fizette. Emellett mind a betegszám, mind az orvostanhallgatók száma állandóan nőtt. Ezért Árkövy az elért eredményekre hivatkozva 1886-ban kéri, hogy az egyetem falain belül helyezzék el az intézményt. Kérését ekkor még elutasítják, de az 1888/89-es tanévben félsikert ért el, s gyógyintézetét a Rókus Kórházba helyezi át. Itt azonban az amúgy is helyszűkében lévő kórház csak egyetlen helyiséget tud átengedni fogászat céljaira. Ez a korábbi könyvtárszoba egyetlen ajtóval és ablakkal rendelkező helyiség volt, mely egy zárt kórházi folyósóra nézett.
Árkövy tovább küzdött azért, hogy a fogászati oktatást sikerüljön bevinni az egyetem falai közé. 1890-ben Markusovszky Lajos az, aki felkarolja az egyetemi fogászati oktatás ügyét, így állt fel 1890-ben az Egyetemi Fogászati Intézet. Árkövy pályafutásának új periódusa kezdődött ezzel. 1892-ben Árkövy nyilvános rendkívüli tanári címet kap. Újabb fontos lépés volt, hogy 1909-ben a klinika megkapta új épületét a Mária és Pál utca sarkán, melyet hivatalosan Stomatológiai Klinikának hívtak ezután.

Tudományos munkássága is jelentős. 1885-ban jelent meg Diagnostik der Zahnkrankenheiten című szakkönyve, mely háromévi adatgyűjtés eredményeként született meg. „A kutatás módszere, mely az orvosi gondolkodás szabályait követte, a betegségek objektív és szubjektív tüneteit regisztrálva, majd kórbonctani makro- és mikroszkópos vizsgálattal nyomon követték a pulpa és a gyökérhártya állapotát. Az adatok összegzése után felállították a kórképet, s rendszerbe tették a betegségek fajtáit. Új elnevezéseket adtak a különböző kórképeknek. E modern természettudományi vizsgálatok, módszerek, kutatási eszközök igénybevételével valóban egyetemi szintre emelte a fogászati diagnosztikát. Könyvét német nyelven írta. 1895-ben Ludwig Brand berlini kolléga teljes egészében átvette az Árkövy könyvében leírt csoportosítást, valamint a pulpa- és a gyökérhártya-betegségek specializálását.
A könyv egyik hátránya az volt, hogy a szakemberek csak nagyon lassan és nehezen fogadták el Árkövy fogászati betegségekkel kapcsolatos klasszifikálását, valamint a már akkor nemzetközivé vált angol szakirodalmi nyelv nem sokat tudott kezdetni a német nyelven megjelent könyvvel. A kiadás után már az foglalkoztatta Árkövyt, hogy műtéttannal kell kiegészíteni a művét.”

1902-ben jelent meg Indikationen der stomatologischen Therapie című műve. A könyvben 18 oldalon a porcelántömésekről ír igen részletesen. Egyéb művei, mint egy 54 monográfia, több nyelven is megjelentek, publikált a legnevesebb szakmai folyóiratokban is. Ő indította el a Stomatológiai Közlemények című lapot, melynek szerkesztője is volt. Tudományos munkásságának elismeréseként nemességet kapott 1905-ben.
1918-ban megkapta a ny. r. egyetemi tanári kinevezését, mellyel a világ első nyilvános rendes stomatológus professzora lett.
Árkövy szorgalmazta, hogy tanítványai, klinikájának tagjai szerepeljenek a szaksajtóban, nemzetközi kongresszusokon. Tanítványaiból iskola alakult, melyen közül öten magántanári képesítést is kaptak: Rothmann Ármin, Hattyasy Lajos, Antal János, Szabó József és Salamon Henrik.

Árkövy aktívan részt vett a szakma társadalmi szerveződésében is. Megalapíotta a Budapesti Kir. Orvosegyesület Stomatologikus Szakosztályát 1896-ban, melynek elnöke Árkövy, elnökhelyettese Turnovsky Jenő volt. Tudományos üléseik előadásainak kivonatatit az Orvosi Hetilap is közölte. 1897-ben a Stomatológusok Országos Egyesületét alapítja meg, mely még ebben az évben nagyggyűlést tartott, melynek színvonalas beszámolóit külön füzetben is megjelentetik. De Árkövy tagja és alapítója volt az 1907-ben Párizsban létrehozott Association Stomatologique Internationale-nak is.

Árkövy szeretett volna utódjáról gondoskodni, de a kiéleződő személyes és szakmai érdekellentétek miatt 1920-ban beadja nyugdíjaztatási kérvényét, melyet el is fogadnak. Ezután kiköltözött a klinikán található lakásáról, majd 1922. május 17-én hosszú szenvedés után elhunyt.