Kilencgyermekes kántortanítói családban született. 1902- ben a jezsuiták kalocsai gimnáziumában kezdte meg a tanulmányait, majd az alsó négy osztály elvégzése után 15 évesen belépett a Jézus Társaságába. Kétéves nagyszombati noviciátus után 1908-11 között Kalocsán összevontan végezte el a felső négy osztályt. Kiváló emlékezőtehetsége volt, több ezer hexametert tudott Vergiliustól könyv nélkül.
1917-ben Innsbruckban kezdte meg, és 1921-ben ugyanitt fejezte be teológiai tanulmányait. 1920 nyarán szentelték pappá.
1922-ben P. Somogyi Jenő tartományfőnök felajánlása nyomán – hogy amennyiben emberáldozat nélkül átvészelik a Tanácsköztársaság időszakát, a magyar jezsuita rendtartomány „pogány” missziós munkát vállal – P. Szarvas első magyarként a párizsi jezsuita rendtartomány sanghaji missziójába került.
1922. augusztus 21-én indult Marseille-ből Kínába, és negyvenkét napi tengeri utazás után érkezett Sanghajba. Az első évet a kínai nyelv elsajátítására fordította, Nanjingba került tovább gyakorolni, majd a római általános rendfőnök a magyar misszionáriusokat – akik ekkor már ketten voltak – a xianxiani francia misszióba rendelte. Így került P. Szarvas Damingba, ahol 1924-től dolgozott. Munkájában hamarosan a kalocsai iskolanővérek is segítették.
Először a Daming városától délre fekvő missziós állomás vezetésével bízták meg, amelynek körzetében mintegy háromezer-ötszáz katolikus élt, huszonöt-harminc faluban elszórtan.A nyári hónapokban P. Szarvas a nyugati részeken missziós körutakat tett, ahol még nem éltek keresztények. Orvosságot osztott a beteg kínai gyerekek között, évente ezerötszáz-kétezer haldoklót keresztelt meg.
Áldozatos és sikeres munkája elismeréseként Msgr. Lecroart, a missziós kerület francia püspöke, esperessé nevezte ki. 1932-ben a déli részek püspöki vikáriusa lett. A keresztények száma rohamosan nőtt, ezért Csiucsiang közelében megépítette a Lisieux-i Szent Teréz-templomot, amelyet 1933. május 7-én szenteltek fel hívek ezreinek jelenlétében. Az új templom a kínai magyar misszió egyik dísze és virágzó lelki élet központja lett.
A magyar misszió 1936-ban önálló lett, ekkor P. Szarvast nevezte ki a Szentszék apostoli prefektussá, a jezsuiták pedig a misszió vezetőjévé. Az első tíz év alatt négyezer-hatszáz hitújoncot keresztelt meg, egész kínai missziója alatt pedig kilencezret.
P. Takács János SJ 1942-ben lett a misszió vezetője, Msgr. Szarvas pedig apostoli adminisztrátor maradt 1947 végéig. A kommunisták 1946. szeptember 28-án elfogták, és másnap néptörvényszéket tartottak felette. Egy akácdoronggal verték a fejét, lebuktatták az asztalról, a végén sok sebből vérezve, eltört végtagokkal, megnyomorítva vetették a börtönbe. Már halottnak vélték, de a magyar jezsuiták gondos ápolásának köszönhetően talpra állt. Hívei kérésére elhagyta Damingot, és Róma engedélyével hazatért.
Budapestre 1948 januárjában érkezett, másfél évig országszerte előadásokat tartott a kínai missziókról.
A budapesti Szent Ferenc Kórházban hunyt el 1965. augusztus 20-án.
A teljes és részletes életrajz itt olvasható!