På When We Leave samler Mathias Eick bandet fra forrige utgivelse Ravensburg (Håkon Aase, Andreas Ulvo, Audun Erlien, Torstein Lofthus og Helge Andreas Norbakken) og forsterker med Stian Carstensen på pedal steel. Mathias ser på skiva som "en naturlig fortsettelse av Ravensburg, nesten en Ravensburg 2. Mer av alt."
Der Ravensburg tegnet portretter av venner og familie og skisserte personlige relasjoner, følger det nye albumet hovedpersonene gjennom et problemfylt år, med noen vanskelige avskjeder. Samspillet mellom titler og musikalsk atmosfære gir en følelse av historiefortelling, og Stian Carstensens svevende og hjemsøkende Pedal Steel tilfører en dimensjon av mystikk på flere av sporene.
When we leave ble spilt inn i Oslo Rainbow Studio i august 2020, og ble produsert av Manfred Eicher.