Im Jahre 1955 kam Golub in Copley, einem westlichen Vorort Akrons im US-Bundesstaat Ohio zur Welt. Bereits in jungen Jahren begann er seine Karriere und hatte im Alter von 12 Jahren seinen ersten Auftritt bevor er in dem darauffolgenden Jahrzehnt sein Spielen perfektionierte. Er besuchte das Berklee College of Music in Boston und spielte während dieser Zeit auch in James Montgomerys Band.
Nachdem sich Golub 1980 in New York City niederließ, schloss er sich der Band des Rockmusikers Billy Squier an, der es ab dieser Zeit zu ersten großen Erfolgen und Chartplatzierungen brachte. An der Seite Squiers war er an sieben Alben beteiligt und nahm an drei Welttourneen teil. Jeff Golub veröffentlichte im Jahr 1988 mit 33 Jahren schließlich sein Debütalbum mit dem Titel „Unspoken Words“. Im selben Jahr schloss er sich der Band von Rod Stewart an. Er war mit Stewart bis zu seinem Ausstieg im Jahre 1995 an vier Alben (Vagabond Heart, Unplugged… and Seated, Lead Vocalist und A Spanner in the Works) und fünf Welttourneen beteiligt. Bereits 1994 veröffentlichte er mit der Gruppe Avenue Blue das Album „Avenue Blue“ über Mesa/Bluemoon Recordings und Atlantic Records. Zwei Jahre später folgte mit „Naked City“ das zweite Album des Instrumentalensembles, gefolgt von „Nightlife“ im Jahr 1997. Im gleichen Jahr veröffentlichte er mit seiner Band auch sein Weihnachtsalbum „Six String Santa“, das er zehn Jahre später komplett neu aufgenommen herausbrachte.
1999 kam das Solo-Album „Out of the Blue“ heraus, das bereits fünfte Album Golubs in Folge über das Label Mesa/Bluemoon Recordings, in das er funky angehauchte Latino-Rhythmen, gefühlvolle Melodien und dramatische Arrangements einfließen ließ. 2000 brachte er das Album „Dangerous Curves“ heraus. Das Album wurde in einer Woche aufgenommen und ist stark vom Soul beeinflusst. Die 2002 veröffentlichten Studioalbum „Do It Again“, auf dem er vor allem Lieder aus den 1960er und 1970er Jahren, die ihn mitunter stark geprägt haben, coverte, wird die Mischung zwischen klassischem Jazz und R&B deutlich gemacht. Mit dem 2003 herausgebrachten Album „Soul Sessions“ verkörperte Golubs Verschmelzung von Jazz, R&B und Pop einen noch härteren, raueren und erdigeren Smooth Jazz, als in all seinen bisherigen Alben. Über Narada Productions wurde im Jahre 2005 „Temptation“ veröffentlicht; das Album ist ebenfalls von Golubs größten Einflüssen Wes Montgomery und dem Modernen Jazz geprägt. 2007 publizierte er über Narada sein siebentes Soloalbum „Grand Central“; 2009 folgte mit dem Album „Blues for You“ eine neue Mischung aus Blues und Jazz. Ab 2010 gehörte er Dave Koz & The Kozmos an, die als Hausband mit Emeril Lagasse in der „The Emeril Lagasse Show“ auftrat.
Im Juni 2011, als sein neuntes Album „The Three Kings“ veröffentlicht wurde, wurde bekanntgegeben, dass Jeff Golub aufgrund eines Kollapses seines Sehnerves erblindet war. Auf dem Album trat neben ihm vor allem der von Geburt an erblindete Henry Butler in Erscheinung. Am 3. September 2012 fiel Golub, der zu diesem Zeitpunkt mit seinem Blindenhund, dem Labrador Luke, unterwegs war, in der U-Bahn-Station 66th Street – Lincoln Center auf die Gleise und wurde leicht verletzt ins Weill Cornell Medical Center des NewYork-Presbyterian Hospitals gebracht. Im 2013 veröffentlichten Album „Train Keeps A Rolling“ verarbeitete er unter anderem diesen Vorfall, bei dem er nur kurz vor dem Einfahren der U-Bahn von Passanten gerettet werden konnte. Auf dem Cover des Albums, das er vor allem mit dem britischen Organisten Brian Auger herausbrachte, ist Golub mit seiner Gitarre und seinem Blindenhund Luke zwischen Bahngleisen zu sehen.
In den Jahren nach seiner Erblindung kam es bei Golub aufgrund der hohen Kosten der Therapien, Medikamente usw. zu finanziellen Engpässen, weshalb unter anderem eine Onlineauktion zu Gunsten Golubs gestartet wurde, die über 50.000 US-Dollar einbrachte. Nachdem die Krankheit bereits weit fortgeschritten war, trat er 2014 als Künstler nicht mehr in Erscheinung. Einer seiner letzten Auftritte war jener beim „Smooth Jazz Festival“ in Augsburg Mitte September 2013.
Jeff Golub starb am Neujahrstag 2015 in seinem Zuhause im New Yorker Stadtteil Manhattan an den Folgen einer Erkrankung an progressiver supranukleärer Blickparese, einer im November 2014 bei ihm diagnostizierten seltenen neurodegenerativen Krankheit, im Alter von 59 Jahren. Er hinterließ seine Ehefrau Audrey Stafford sowie die gemeinsamen Söhne Christopher und Matthew.
