Borgere, museum og brugerforening kritiserer nedrivning