A németországi Mainzban született a második világháború alatt, szülei a következő évben Hamburgban egy bombázás áldozatai lettek, az árván maradt kisfiút anyai nagyszülei nevelték fel az ausztriai Grazban. Német állampolgárságát megtartotta, de osztrák jogosítvánnyal versenyzett, és amikor azt kérdezték tőle, németnek vagy osztráknak tartja-e magát, mindig azt válaszolta: „Európainak.”

Az önfejű és lázadó természetű fiú beszállt ugyan a családi fűszerkereskedő cégbe, de jobban izgatta a veszély és a sebesség. Kétszer törte végtagját iskolai síversenyen, és számtalanszor járművét, amikor áttért a terepmotorozásra. Az arroganciáig magabiztos, de rendkívül tehetséges Rindt 1962-ben már túraautó-bajnokságon indult egy Alfa Romeo Giulietta kormánya mögött, majd együlésesek következtek, amelyeket riasztó gyakorisággal tört össze, sokszor ő maga is kórházba került, amikor azonban épségben ért célba, őt intették le elsőként.

Útja egyre magasabbra vezetett, 1963-ban már a Formula Junior kategóriában szerepelt, és még egy versenyképtelen kocsival is meglepően jó eredményeket ért el. A következő évben két Forma-2-es versenyt nyert, megelőzve többek között a kategóriába „leránduló” Graham Hillt és James Clarkot is. Sikerének köszönhetően 1964-ben Rob Walker csapatában, egy Brabham volánja mögött elindulhatott élete első Forma-1-es futamán, az Osztrák Nagydíjon.

1965-ben három évre szóló szerződést írt alá a Forma 1-es Cooper csapattal. Az itt töltött idő alatt vetélytársai mellett a megbízhatatlan autóval is meg kellett küzdenie, 1966-ban például úgy lett harmadik összetettben, hogy még futamgyőzelmet sem aratott. Közben 1965-ben egy Ferrarival megnyerte a 24 órás Le Mans-i versenyt, és továbbra is indult a Forma-2-ben, ahol 1967-ben kilenc nagydíjon diadalmaskodott.  

Vezetési stílusa gyors, erőszakos, de mindig tiszta volt, ahogy írták róla: „Autója szinte az oldalán haladt, olyan sebességgel vette be a kanyarokat egészen hihetetlen szögből, minden alkalommal úgy látszott, hogy most fog leszaladni az útról”. Hazájában már nemzeti hősnek számított, az alakja köré szövődő legendákat tovább gyarapította, amikor Indianapolisban karambolozott, de higgadtan szállt ki a már égő kocsiból, az orvosi vizsgálat szerint szívverése teljesen normális maradt. Rindt kapcsán gyakran idézték a Bismarck német kancellárnak tulajdonított mondást: „Mi németek csak az Istentől félünk, de semmi mástól a világon.”

Az 1968-as évadot a Brabham-csapatnál töltötte, itt már két pole pozíció jutott neki, de ez az autó sem volt versenyképes a nagyokkal. A képességeiben kételkedőkre Rindt a következő évben rácáfolt: a Lotus színeiben megszerezte első győzelmét. Ebben a szezonban is volt egy látványos balesete, légterelője hibája miatt bukott, de megúszta állkapocscsont-töréssel és agyrázkódással.

Utolsó és legtökéletesebb szezonja az 1970-es volt, amelynek során öt futamgyőzelmet aratott. Amikor Monacóban a háromszoros világbajnok Jack Brabhamet legyőzte, a boldogságtól sírva fakadt, de a következő néhány hétben két közeli barátját kellett elsiratnia: Bruce McLaren és Piers Courage is a versenypályán vesztette életét. Rindt komolyan mérlegelni kezdte a visszavonulás lehetőségét, megígérte finn fotómodell feleségének és kétéves kislányának, hogy ha világbajnok lesz, felhagy a versenyzéssel.

A sors másképp akarta. 1970. szeptember 5-én Monzában, az Olasz Nagydíjon egy új Lotust próbált ki, a kocsiról – hogy állja a versenyt a hazai pályán induló Ferrarikkal – leszerelték a hátsó szárnyat. Az edzésen a híres-hírhedt Parabolica kanyarban kicsúszott, és háromszáz kilométeres óránkénti sebességgel a szalagkorlátnak vágódott. A rendkívül súlyos sérüléseket szenvedett pilóta a kórházba szállítás közben meghalt. A baleset oka soha nem derült ki, egyesek szerint a hiányzó hátsó szárny miatt vált irányíthatatlanná a kocsi, mások szerint technikai hiba történt. Ekkor még három futam volt hátra, és a belga Jacky Ickx megnyerhette volna a bajnokságot, ha mindegyiken diadalmaskodik. Az utolsó versenyen azonban Rindt csapattársa, a fiatal brazil Emerson Fittipaldi győzött, biztosítva a világbajnoki elsőséget a már halott Jochen Rindt számára. A Forma-1 első – és remélhetőleg utolsó – posztumusz világbajnokának járó kupát özvegye és kislánya vette át.

Rindt a rajongók és a fotósok kedvence volt, számtalan látványos „akciófotót” készítettek róla verseny közben. Mintha két ember lett volna: akik nem szerették, arrogánsnak és fölényesnek tartották, akiket közel engedett magához, azok kedves, vidám egyéniségként írták le. Forma-1-es pályafutása során hatvan versenyen indult, tízszer állt az első rajtkockában, hat győzelmet és 13 dobogós helyezést szerzett. Győzelmeit kilenc hónapon belül, az 1969-es Amerikai és az 1970-es Német nagydíj között aratta.