Obtuvo su grado en Física en 1968 en el Swarthmore College, y su doctorado en 1974 en la Universidad de California en Berkeley. Es astrofísico senior en el Centro Goddard de Vuelos Espaciales (GSFC) de la NASA en Maryland y profesor adjunto de Física en la Facultad de Informática, Matemáticas y Ciencias Naturales de la Universidad de Maryland.

Ha sido responsable del proyecto del Telescopio Espacial James Webb (JWST); previamente organizó y dirigió la propuesta que dio lugar al satélite COBE (Cosmic Background Explorer) y también fue investigador principal del instrumento FIRAS, que midió el espectro del fondo cósmico de microondas, gracias a los cuales obtuvo su Nobel. En 2007, la revista Time incluyó a Mather entre las 100 personas más influyentes del mundo. En octubre de 2012, la revista Time volvió a incluirlo en un número especial sobre nuevos descubrimientos espaciales como una de las 25 personas más influyentes en el espacio.

Su padrino es el astrofísico y Doctor Honoris Causa por la Universidad de La Laguna John Beckam.