Marković je leta 1955 začel nogometno kariero pri Iskri. Od leta 1955 do 1958 je igral za Čelik iz Zenice, nato pa za zagrebški Dinamo od 1958 do 1966. Leta 1958 je z modrimi osvojil jugoslovansko prvenstvo, v sezoni 1962/63 pa še pokal. Za Dinamo je odigral 252 tekem. Nato je nastopal za dunajski klub Wiener Sport Club od leta 1966 do 1967, za Austrio pa od leta 1967 do 1969.

Za jugoslovansko reprezentanco je odigral 16 tekem

Leta 1962 je nastopil tudi na svetovnem prvenstvu v Čilu in bil izbran v najboljšo enajsterico, v kateri so bili ob njem še Schrojf, Djalma Santos, Masopust, Popluhar, Pluskal, Garrincha, Amarildo, Seeler, Pele in Zagalo.

Po koncu igralske kariere se je posvetil trenerskemu poklicu. Kot trener je vodil nogometaše Zagreba, belgijskega Standarda iz Liegea, dvakrat francoske Nice, Hajduka. Večkrat je bil trener Dinama, s katerim je v sezoni 1979/80 osvojil jugoslovanski pokal. Kot trener in športni direktor je vodil tudi dunajski Rapid. V sezoni 1972/73 je z jugoslovansko reprezentanco do 23 let osvojil evropski naslov.

Prvi častni predsednik HNS

Bil je tudi selektor hrvaške vrste, kot športni delavec pa je bil predan HNS. Leta 1998 je sedel na predsedniški stolček hrvaške zveze, kjer je deloval do leta 2012, ko je postal prvi častni predsednik HNS. Za svoje delo v nogometu je Marković prejel številne nagrade in priznanja.