A finn versenyző, ahogy az F1-es pilóták többsége, gokartozással kezdte, majd 2001-től a különböző formaautó-sorozatokban versenyzett sikeresen.
Nagy feltűnést keltett a 2004-es Race of Champions gálán, ahol az akkor még ismeretlennek számító fiú a rali-világbajnok Sebastien Loeböt és az ötszöros F1-bajnok Michael Schumachert is legyőzve nyert. 2005-ben a GP2-es bajnokságban Nico Rosberg mögött a második helyen végzett.
A Forma-1-ben először 2003-ban tesztelhetett, a Minardi és a Renault is kipróbálta, az utóbbi csapat 2006-ra főállású tesztpilótának, majd 2007-re versenyzőnek szerződtette. Bemutatkozó évében a kezdet egy kicsit döcögős volt, de a finn a szezon végére magára talált, és Japánban megszerezte a csapat egyetlen dobogós helyezését.
2008-tól a McLarennél folytatta, a finn másodszor töltve be a távozott Fernando Alonso helyét. Kovalainen teljesítménye Lewis Hamiltoné mellett elég halvány volt, csak feleannyi pontot gyűjtött, mint a bajnoki címet megszerző csapattársa. Ezzel együtt sikert is elkönyvelhetett a versenyző, ugyanis a Magyar Nagydíjon – szerencsével ugyan, de – megszerezte első Forma-1-es futamgyőzelmét.
A McLarennél 2009-ben sem Kovalainen volt a sztár, az immár világbajnok Lewis Hamilton mellett a finn még hátvédnek sem volt valami jó. Ugyan időnként jól kvalifikált, de a versenyeken jellemzően visszaesett, a wokingi csapat az év végén nem is hosszabbított vele szerződést. A pilóta 2010-re az újonc Lotus-csapatnál talált helyet, legemlékezetesebb megmozdulása az volt, amikor a Szingapúri Nagydíjon kigyulladt autóját hidegvérrel, saját kezűleg oltotta el.
2011-re maradt a Lotusnál, és pontot ugyan nem szerzett a már Renault-motoros autóval, mégis a szezon egyik legjobb teljesítményét nyújtotta. Kovalainen másodvirágzását élve mindent kihozott az autóból, amit lehetett, látszott rajta, hogy élvezi a versenyzést. Teljesítményével teljesen elhomályosította a végül menesztett Jarno Trullit, az immár KERS-es és Caterham névre átkeresztelt autóval jó esélye lehet a pontszerzésre 2012-ben.