Az indiai Bombayben (Mumbai) született párszi vallású, jómódú családban, műkedvelő muzsikus apja alapította a város szimfonikus zenekarát. Mehta orvosnak készült, végül mégis a Bécsi Zeneakadémiára iratkozott be, élete első koncertjét 1956 novemberében diáktársaival magyar menekülteknek adta a magyar-osztrák határon. 1958-ban megnyerte a liverpooli karmesterversenyt és a helyi szimfonikusok karmesterévé nevezték ki, huszonöt évesen pedig már dirigálhatta a bécsi, a berlini és az izraeli filharmonikus zenekart.