Hell on Church Street er Punch Brothers' hyllest og egen versjon av Tony Rice sitt bluegrass-album, Church Street Blues, fra 1983. Church Street Blues var et coveralbum med låter fra artister som Bob Dylan, Gordon Lightfoot og Bill Monroe, for å nevne noen, og Hell on Church Street er Punch Brothers sine tolkninger av de samme låtene.