- Kurt Cobain rijetko je pričao o ovoj pjesmi, ali je rekao da je posvećena njegovoj supruzi Courtney Love i kćeri Francis Bean. Pjesma se bavi svime što se od njega očekivalo i promjenama kroz koje je prošao, a sve nije bilo ugodno sudeći prema stihovima: 'Oženjen ... Pokopan'.
- Aberdeen, Washington, gdje se bend oformio, jedno je od najmučnijih mjesta u Sjedinjenim Državama, a također je, prema Cobainu, jedno od onih koji ga najmanje prihvaćaju. Kao što je to učinio na U maternici pjesma 'Dumb', Kurt spominje sunce u ovoj pjesmi, pjevajući: 'Na suncu se osjećam kao jedno.' To je odražavalo njegovu želju da bude negdje drugdje.
- Ovo je bio vrhunac Nirvane Unplugged In New York , akustični album snimljen za MTV specijal. Nirvana snimio sjednicu Unplugged 18. studenog 1993. godine a emitirano je gotovo mjesec dana kasnije. Album je objavljen 1. studenog 1994. u SAD -u, sedam mjeseci nakon Cobainovog samoubojstva. U tom je kontekstu zvučalo kao oproštajna poruka od Cobaina.
Abby - Altoona, IA - Na nekim europskim verzijama albuma postoji skrivena pjesma 20 minuta nakon ovog kraja koja se zove 'Gallons Of Rubbing Alcohol Flow Flow Through The Strip.' Albumi sa skrivenom pjesmom sadrže naljepnicu s natpisom 'Ekskluzivna međunarodna bonus pjesma'.
- Kad je Nirvana snimila U maternici u veljači 1993. htjeli su napraviti sirovi, ogoljeni album koji ih je vratio korijenima nakon uglađenog i pop utjecaja Nema veze . Međutim, bend je podlegao pritisku da se daljnje miksanje obavi s 'Heart-Shaped Box', 'All Apologies' i 'Pennyroyal Tea'. Šuška se da je cijeli album bio miksan i da uopće nije nalikovao onome što je Nirvana htjela, no tri člana benda to su žestoko demantirali i izjavili da su jako zadovoljni ishodom.
Adrian - Brookings, SD - Kršćanski bend DC Talk ponekad je obrađivao ovu pjesmu na koncertima, mijenjajući redak 'svi su homoseksualci' u 'Isus je put'.
Brett - Edmonton, Kanada - Sinead O'Connor ovo je obradila na svom albumu iz 1994. godine Univerzalna Majka .
Mike - Hamilton, Kanada - Podržano s ' Sili Me , 'ovo je bio posljednji singl koji je Nirvana objavila. Kurt Cobain umro je četiri mjeseca kasnije.
- Komičar Bobcat Goldthwait želio je da Cobain snimi spot 'All Apologies' u kojem bi Cobain glumio Lee Harveyja Oswalda u ponovljenoj izvedbi atentata na JFK (njih dvoje su se upoznali i postali prijatelji u radijskoj emisiji u Ann Arboru, Michigan). Cobain je rijetko bježao od kontroverzi, ali u ovom slučaju čak je i on mislio da će video previše gurnuti stvari.
