A Borsod megyei Mezőkeresztesen, Matyóföldön született. Szülei papnak vagy orvosnak szánták, de őt inkább az asztalitenisz és az ökölvívás vonzotta, bokszolónak készült. Tizenhat évesen egy vereség után elment a kedve a sportágtól, de egyre nagyobb sikereket aratott Miskolcon a középiskola színjátszó körében. Érettségi után azonnal felvették a Színház- és Filmművészeti Főiskolára, hallgatóként a Vígszínházban játszott, ahol ösztöndíjat is kapott. Diplomájának megszerzése után, 1963-ban a miskolci Nemzeti Színházhoz szerződött, egy évvel később a kecskeméti Katona József Színházhoz hívta Radó Vilmos igazgató, 1965-től egy évtizeden át a budapesti József Attila tagja volt. 1974-től 1981-ig a Vígszínház társulatához tartozott, majd a Madách Színházban játszott.

Koncz Gábor főiskolásként Visegrádon (forrás: MTI Fotó/Keleti Éva)

1992-től szabadúszóként fellépett a Turay Ida Színházban, a Körúti Színházban és a Budaörsi Játékszínben, több darab rendezőjeként is bemutatkozott. 2012 óta az Újszínházhoz köti szerződés, ahol nemcsak játszik, hanem több darabot is színpadra állított, köztük Csurka István művei mellett Gyurkovics Tibor Nagyvizit című darabját, melynek 1972-es ősbemutatójában ő is játszott. Kedvenc színpadi szerepe Molnár Ferenc Liliom című drámájának címszerepe és McMurphy Ken Kesey Száll a kakukk fészkére című darabjában, emellett jelentős alakítást nyújtott mint Szakhmáry Zoltán (Móricz: Úri muri), Jago (Shakespeare: Othello), Vang vízárus (Brecht: A szecsuáni jólélek), Lucifer (Madách: Az ember tragédiája), Queeg (Herman Wouk: Zendülés a Caine hadihajón) és Bánk bán Katona József drámájában.

Negyedéves főiskolai hallgatóként évfolyamtársa, Sebestyén Ferenc mellett  (forrás: MTI Fotó/Keleti Éva)

A kiváló testi adottságokkal rendelkező, mindig kaszkadőr nélkül dolgozó színészt filmes szerepeiben is egy ország szerette meg. Sokszor játszott csibészes, vagány figurákat, de hitelesen formált meg személyiségétől távolabb eső karaktereket is. Már főiskolásként, 1982-ben a kamera elé állt a Legenda a vonaton című filmben, a következő évben kisebb szerepet kapott a Hattyúdalban. Munkásfiút formált meg a Tilos a szerelem című filmben, és játszott a Jókai művéből Várkonyi Zoltán által rendezett látványos filmben, A kőszívű ember fiaiban is. A Sikátor című tragikus szerelmi történetben Törőcsik Mari volt a partnere, és feltűnt a Hideg napok című filmben is. 1968-ban szerepelt az Egri csillagok filmváltozatában, A völgy című drámában és a Bors című népszerű tévésorozatban, utóbbiban Bujtor Istvánnal alakították a kétbalkezes rendőrnyomozó párost, Dezsőt és Oszit. 1970-ben a Gyula vitéz télen-nyáron című vígjátékban gyári munkás volt, aki egy tévésorozat hőseként lesz népszerű.

Koncz Gábor a Dunai hajós című tv-filmben (forrás: MTV Fotó)

A Verne regénye nyomán forgatott Dunai hajós című kosztümös film főszerepe után A fekete gyémántok című Jókai-filmadaptációban szerepelt. 1978-ban és 1980-ban Fábri Zoltán rendezte a Magyarok és a Fábián Bálint találkozása Istennel című filmekben, a Magyar rapszódiában és az Allegro Barbaróban Jancsó Miklós instruálta. Szerepelt az 1992-ben, szintén Jókai műve alapján forgatott, Zsurzs Éva rendezte A névtelen vár című tévésorozatban, játszott Bujtor István Csak semmi pánik című bűnügyi vígjátékában, 1996-ban pedig a Rejtő-könyvekből készült A három testőr Afrikában című alkotásban. Kisebb szerepet kapott az Arnold Schwarzenegger főszereplésével Magyarországon forgatott A vörös zsaru című filmben, valamint a Costa Gavras rendezte Zenedoboz című drámában. Egyik legutóbbi filmes munkáját Kamondi Zoltán utolsó rendezésében, a Halj már meg! című játékfilmben kapta. 

Több népszerű tévésorozatban is szerepelt, mint a Kisváros vagy a Barátok közt. Szinkronizálni is hívják, a többi közt az ő hangján szólalt meg a kopasz New York-i zsaru, Kojak – állítása szerint kétszáz epizód után ma már egy rendőrezredest is képes lenne helyettesíteni. Gyorsvonat című irodalmi estjében kedvenc íróitól és költőitől válogatott verseit és műveit adja elő. Egy nyilatkozatában azt mondta, hogy mesterségét játéknak tartja, egyfajta hobbinak tekinti. Az állatbarát színésznek több szenvedélye is van: a vadászat, a horgászás, a vízisíelés, a lovaglás (hatévesen nagyapja tanította meg lovagolni, és minden filmjét a saját lovain forgatta), valamint az asztalitenisz. Kaszkadőr nélkül című önéletrajzi kötete 2007-ben jelent meg. A saját tervezésű házban, Gödön élő színész az utóbbi években több gerincműtéten is átesett.

Koncz Gábor a Hogy volt?! című televíziómúsorban 2017-ben (forrás: MTVA Fotó/Zih Zsolt)

Művészi munkája elismeréseként 1968-ban Jászai Mari-díjjal tüntették ki, 1982-ben lett érdemes művész, a Kossuth-díjat 1997-ben kapta, 2007 óta a Magyar Köztársasági Érdemrend középkeresztjének tulajdonosa. 2009-ben lett a Halhatatlanok Társulatának örökös tagja, 2011-ben Pécsi Sándor-díjat kapott.