Fiskeriministeren har gått av – men rådgiveren hans er fremdeles i regjering