Nacque in una famiglia di musicisti: la madre, Marina Lu, era una cantante e il padre, Hiao-
Tsiun Ma, era un direttore d'orchestra e compositore.
All'età di sette anni si trasferì (con la famiglia) a New York, dove tuttora vive con sua moglie Jill Hornor (violinista)[senza fonte] e i due figli, Nicholas e Emily. Cominciò a suonare il violoncello dopo aver iniziato, a 4 anni, lo studio del violino, e poi della viola. Fanciullo prodigio, fece la sua prima apparizione in televisione a 8 anni, a fianco di Leonard Bernstein. Ha studiato alla Juilliard School of Music con Leonard Rose e si è successivamente perfezionato con Pablo Casals. A Salisburgo esegue nel 1978 il Concerto triplo con Anne-Sophie Mutter e i Berliner Philharmonisches Orchester diretto da Herbert von Karajan, nel 1982 il Cello Concerto No. 1 (Haydn) con i Wiener Philharmoniker diretto da Seiji Ozawa, nel 1984 il Concerto per violoncello in Si minore con la Boston Symphony Orchestra, nel 1987 un concerto in trio con Gidon Kremer e Kim Kashkashian, nel 1992 un concerto con musiche di Johann Sebastian Bach ed il Concerto per violoncello in Si minore con la Wiener Philharmoniker diretto da Bernard Haitink, nel 1998 The Protecting Veil di John Tavener con la Deutsches Symphonie Orchester Berlin diretto da Vladimir Ashkenazy e nel 2011 un concerto con la pianista Kathryn Stott. Al Teatro alla Scala di Milano nel 1983 esegue il concerto per violino, violoncello e orchestra in la minore, op. 102 di Johannes Brahms con la Los Angeles Philharmonic Orchestra, Gidon Kremer e diretta da Zubin Mehta, nel 1984 il Concerto n. 1 per violoncello ed orchestra Op. 107 di Dmitrij Šostakovič diretta da Gennadij Roždestvenskij, nel 1985 il Concerto per violoncello in Si minore diretto da Simon Rattle, nel 1986 un recital per violoncello e pianoforte, un altro nel 1988 con Emanuel Ax ed ancora nel 1992, un concerto con il Quartetto Stern (Isaac Stern, Jaime Laredo, Yo-Yo Ma ed Emanuel Ax). ed il Concerto per violoncello e orchestra in La minore op. 129 di Robert Schumann diretto da Riccardo Muti trasmesso da Retequattro nel 1995. Nel 2007 esegue il brano Malena contenuto nell'album We All Love Ennio Morricone. Nel 2010 esegue While My Guitar Gently Weeps con Carlos Santana contenuta nell'album Guitar Heaven: The Greatest Guitar Classics of All Time.