Il brano farà parte della doppia raccolta che la band americana pubblicherà il prossimo 15 novembre, dal titolo "Part Lies, Part Heart, Part Truth, Part Garbage 1982-2011", un disco che ripercorrerà tutta la loro carriera attraverso 40 canzoni: dagli anni con l'etichetta IRS (dal 1982 al 1987) a quelli con la Warner (dal 1988 al 2011).
Il singolo una sorta di farawell song, un brano che trasmette tutta la serenità di una scelta consapevole e consensuale: una canzone da titoli di coda che descrive una storia trentennale.
L'album conterrà anche altri inediti, oltre a "We All Go Back To Where We Belong": "A Month of Saturdays", e "Hallelujah".
"Ripercorrere i nostri ricordi e la musica di oltre tre decenni è stato un lavoraccio, ma alla fine ci è sembrato che queste canzoni tracciassero una linea naturale lungo questi 31 anni di lavoro insieme", ha dichiarato il bassista Mike Mills.
Il 21 settembre di quest'anno la band di Athens ha annunciato lo scioglimento.
