- Velikan bluesa Big Joe Williams zaslužan je za pisanje ove pjesme, ali ona je nastala iz narodne pjesme pod nazivom ' Dugi Ivan ,' koju su 1934. snimili John i Alan Lomax za Kongresnu knjižnicu. Na toj snimci je snimljena pjesma koju pjevaju crni zatvorenici koji rade na farmi državnog zatvora Darrington u Teksasu. Tamo je to bila popularna pjesma jer je 'Long John' bila o odbjegli zatvorenik u bijegu od vlasti.
Williams je promijenio pjesmu, ali je zadržao temu zatvora, s stihovima poput: 'Vjerujem da je čovjek otišao na seosku farmu, s dugim lancem na sebi.' - Stihovski, ova pjesma stvara dobro izlizani blues klišej: Njegova beba odlazi, a on je očajnički pokušava natjerati da ostane. Planira otići ponoćnim vlakom, ali ovaj ide za New Orleans, a ne Gruzija .
- Lester Melrose snimio je Williamsa u Chicagu za Bluebird Records. Zasluge na singlu identificiraju bend kao Washboard Blues Singers Joea Williamsa. Chasey 'Kokomo' Collins je svirao dasku za pranje rublja, a tata Tracy svirao je violinu na ovoj snimci.
Zbog neujednačenog vođenja evidencije, povjesničari nisu sigurni koliko je primjeraka pjesme prodano. Bez obzira na broj, bio je dovoljan da Williams započne uspješnu karijeru i postane jedna od najšire obrađivanih i imitiranih pjesama u povijesti bluesa. - Williams je 1941. snimio moderniziranu verziju pjesme, ponovno za Bluebird. Treći je put snimio 1947., ovaj put za Columbia Records.
- Muddy Waters je napravio pjesmu 1953. godine. Chess Records ju je snimio pod naslovom 'Turn the Lamp Down Low'. Ova verzija je ona koja je najjače utjecala na kasnija tumačenja.
- Van Morrisonov prvi bend, Them, obradio je pjesmu 1964., objavivši je kao svoj prvi singl s ' Slava ' kao B-strana. Popela se na 10. mjesto u Ujedinjenom Kraljevstvu i pala u Americi, zauzevši 102. mjesto na ljestvici. 'Gloria' je kasnije objavljena kao singl na A-strani.
Morrison je Themovu verziju temeljio na aranžmanu Johna Leeja Hookera iz 1949., koji je nazvao 'Don't Go Baby'. Čuo je pjesmu na Hooker's 1959 Autocesta bluesa album. - Jimmy Page, tadašnji session glazbenik, svirao je gitaru na Themovoj verziji. Postoji rasprava o tome je li on napisao dionicu za gitaru ili je jednostavno odsvirao ono što je Them's Billy Harrison smislio. Raspravlja se o tome je li Page zapravo taj koji glumi ili ne, no i Pageov biograf George Case i Morrisonov biograf Johnny Rogan vjeruju da jest.
- Godine 1992. Blues Hall of Fame uvrstio je pjesmu u svoju kategoriju Classics of Blues Recordings; Rock and Roll Hall of Fame ima 'Baby, Please Don't Go' na popisu '500 pjesama koje su oblikovale rock and roll'.
- AC/DC je redovito izvodio pjesmu uživo tijekom cijelog života benda. Prvi put su ga snimili 1974. na svom debi albumu Visoki napon .
- Aerosmith je pjesmu napravio 2004. godine Honkin' je Bobo . Njihova je verzija dospjela na 7. mjesto na Mainstream rock ljestvici pjesama. Bend ga je od tada učinio glavnim dijelom svojih live setova.
