A Zichy család főnemesi ágának leszármazottjaként, gróf Zichy Edmund és Odescalchi Paolina hercegnő negyedik gyermekeként született a család Fejér megyei birtokán. Származása és neveltetése is egyértelműen politikai pályára vezette, de édesapja nagy jelentőségű műgyűjteményének örököseként (aki az oroszországi Ferenc József-földet – s benne a róla elnevezett Zichy-földet – felfedező expedíció jelentős mecénása is volt) a kulturális küldetéstudatát is tekinthetjük családi tradíciónak nála.
Politikai pályafutását – a Német Birodalomban végzett jogi tanulmányai után – 1860-ban Fejér megyei főszolgabíróként kezdte meg, de már 1861-ben országgyűlési képviselővé választották. 1865 és 1875 között előbb Deák-párti, majd független képviselő, majd rövid szünet után, 1878-tól haláláig folyamatosan aktív országgyűlési politikus volt (előbb a Szabadelvű Párt, azután ismét független, végül a Függetlenségi és 48-as Párt képviselőjeként). 1965-ben Berlinben vette feleségül Hermine von Redern grófnőt, akitől az évek során öt gyermeke született. Ügyvédi oklevelét már a Bihar vármegye Élesd kerületének képviselőjeként, az 1870-es évek elején szerezte meg.