Maurice Joseph Micklewhite néven egy kétszobás, áram nélküli dél-londoni lakásban látta meg a napvilágot. A halpiacon hordárként dolgozó apja és takarítónő anyja nem sok munícióval látták el az életre, mert úgy gondolták, ő is a halüzletben boldogul majd. Nem tanult jól az iskolában, nem is érezte jól magát, ezért tizenhat évesen félbehagyta tanulmányait. Alkalmi munkákból élt, a film világával egy mozi takarítójaként került közelebbi kapcsolatba, 1951-től katonai szolgálatot teljesített, még a koreai háborút is megjárta. Megállapodnia azután sikerült, hogy egy apróhirdetésre jelentkezve segédügyelő lett egy vidéki színháznál. Esetenként kisebb mellékszerepeket is kapott, és felvette a Michael Scott művésznevet, amelyet 1954-ben Londonba költözve meg kellett változtatnia, mert egyik kollégáját már így hívták. Ügynökével éppen az új néven törték a fejüket, amikor a Zendülés a Caine hadihajón című film plakátjára tévedt a szeme, és megszületett a fejében a Michael Caine művésznév. 

A következő években több mint száz televíziós produkcióban tűnt fel, és szerepelt Harold Pinter első drámájának bemutatóján is. 1959-ben Peter O'Toole-t helyettesítette Lindsay Anderson rendező West End-i színházában, amikor O'Toole az Arábiai Lawrence forgatására utazott Marokkóba. 1964-ben a színész-producer Stanley Baker felkérésére vállalt szerepet a Zulu című kalandfilmben, melynek sikere a maga mögött hagyott tizenkét szürke, fáradsággal teli év végét jelentette. Egy évvel később Az Ipcress ügyirat titkos ügynökének bőrében találta magát, s a kedvező fogadtatás után hasonló jellegű főszerepet játszott 1966-ban a Temetés Berlinben és A millió dolláros agy című thrillerekben.

A skatulyából az Alfie drámai főszerepével sikerült kiszabadulnia és nemzetközi rivaldafénybe kerülnie, a nőbolond Alfie Elkind szerepéért Golden Globe- és Oscar-díjra is jelölték. A hetvenes évek elején kedvelt akciósztárrá nőtte ki magát, játszott Az olasz melóban 1969-ben, A mesterdetektívben Laurence Olivier oldalán 1972-ben, melyért másodszor jelölték Oscarra. 1976-ban újabb színészóriás, Sean Connery mellett bizonyított az Aki király akart lenni című kalandfilmben, majd Richard Attenborough A híd túl messze van című háborús drámájában. 1983-ban a Rita többet akar című filmben Oscar-díjra jelölték, és megkapta a Golden Globe-díjat. Első Oscar-díját a legjobb mellékszereplő kategóriában Woody Allen Hannah és nővéreiben nyújtott alakításának köszönhette 1986-ban.

A gálán nem volt jelen, mert éppen a Cápa című horror negyedik, hatalmasat bukó részét forgatta, amelyért a legrosszabb színésznek járó Arany Málna-díjra is jelölték. A kilencvenes években sem volt kevésbé tevékeny, pályájának íve mégis megtörni látszott, legalábbis az ítészek hol fakónak, hol édeskésnek minősítették. 1996-ban a független filmes Little Voice jelezte a visszatérést, jutalma harmadik Golden Globe-díja lett. A művészileg újjászületett színészt 1999-ben újabb Oscarral tüntették ki Az árvák hercegében nyújtott alakításáért, 2002-ben A csendes amerikai főszerepéért az egekbe magasztalták, és újra jelölték a filmvilág legrangosabb kitüntetésére. (Ezzel azt a ritka bravúrt érte el, hogy fél évszázadon át minden évtizedben legalább egyszer jelölték az Oscar-díjra.)

Ezután olyan kasszasikerek következtek, mint a Christopher Nolan rendezte A sötét lovag, az Eredet és A sötét lovag – Felemelkedés. Hetvenhét évesen a fényes hollywoodi sikerek után visszatért hazájába, hogy a tőle megszokott tökéletességgel eljátssza a Harry Brown idős igazságosztóját. 2013-ban újabb thriller, a Now You See Me főszereplőjeként láthatta a moziközönség, majd a 2016-os folytatásban is szerepet vállalt. 2014-ben került a mozikba a Kingsman: A titkos szolgálat című akció-vígjáték, s szerepet kapott Paolo Sorrentino filmjében, az Ifjúságban 2015-ben.

Gazdag pályafutása során több mint 130 filmben szerepelt. 2000-ben II. Erzsébet királynő lovaggá ütötte, a brit nemesek közé apja iránti tiszteletből Sir Michael Micklewhite néven vonult be. Pályafutására visszaemlékezve azt nyilatkozta: „Kezdetben csak olyan ajánlatokat kaptam, amelyeket valaki már visszautasított. Így történt ez az Alfie esetében is, amivel már minden élő és mozgó angol színészt megkerestek. Én nem voltam híres, így senki nem foglalkozott azzal, hogy vigyázzon az érzéseimre. Soha nem utasítottam vissza egyetlen szerepet sem.” Így történhetett, hogy két Oscar-díja ellenére voltak rossz választásai is. „Rettenetesen sok filmet készítettem életem során, készítettem sok rettenetes filmet is. De hát mindegy, hiszen a rosszakért ugyanúgy megfizettek, mint a jókért.”