A gimnázium első öt évét Xántus a győri bencés főgimnáziumban töltötte, majd a pécsi püspöki líceumban érettségizett, és ugyanott végezte el a jogakadémiát 1845-ben. 1848 májusában öccsével együtt belépett a Somogy megyei nemzetőrségbe, és tűzmesterként vett részt a pákozdi csatában.
1849. február 8-án osztrák fogságba esett. Königgrätzben (Hradec Králové, Csehország) tartották fogva, majd közlegényként besorozták a csehországi Bilinben (Bilina, Csehország) állomásozó 35. gyalogezredbe. Anyja bécsi kapcsolatainak köszönhetően elbocsátották a katonai szolgálatból, de hazatérés helyett inkább Drezdába utazott. Prágában ismét letartóztatták, de mivel nem találtak kézzelfogható bizonyítékot arra, hogy katonatársait dezertálásra és lázadásra biztatta volna, katonai felügyelet alatti hazaszállításáról döntöttek.
Xántus azonban megszökött, és Hamburgon keresztül 1850. november 18-án Londonba érkezett. Ott azonnal bekapcsolódott az emigráció tevékenységébe, és ő lett az 1851-ben alapított Magyar Emigránsok Demokratikus Segítségnyújtási Bizottságának elnöke. 1852 közepén az Egyesült Államokba emigrált.
Ott-tartózkodásának első éveiről alig tudunk valamit. Ami biztos, hogy 1853-ban New Orleansban csatlakozott Karl von Scherzer és Moritz Wagner természetrajzi gyűjtőútjához. 1855. szeptember 24-én szerződéses katonaként (private soldier) Louis Vésey néven öt évre belépett az amerikai hadseregbe. Állomáshelye, a kansasi Fort Riley katonaorvosa vonta be a washingtoni Smithsonian Institution természetrajzi gyűjtőmunkájába, amit egészen 1864-es hazatéréséig végzett. 1861 novemberében hazalátogatott, tudósnak és szabadságharcosnak kijáró tisztelettel fogadták, egzisztenciát azonban nem tudott teremteni, ezért 1862 júniusában visszatért az Egyesült Államokba. Részben az amerikai polgárháború miatt bezárultak lehetőségei az Egyesült Államokban, s ezért a hazatelepülés mellett döntött. Több mint egy évtizedes amerikai tartózkodása során százezres nagyságrendben gyűjtött zoológiai, botanikai, paleontológiai és ásványtani anyagot, de neki köszönhetően jutott a Magyar Nemzeti Múzeum is mintegy 7500 észak-amerikai természetrajzi tárgyhoz.
Emellett évek óta részt vett a pesti Állatkert előkészítésében, hazatérését követően is sokat tett érte, és 1866. augusztus 9-én végül az ő igazgatása alatt nyitotta meg kapuit. 1868 decemberében természetrajzi és népismei gyűjtőként csatlakozott az osztrák–magyar kelet-ázsiai expedícióhoz.
A részletes életrajz és expedíciós leírás itt olvasható.