Dyrby afgiver magt efter at have været tæt på ministerpost