Однако его непродуманные действия сразу же вызвали неприятности. Когда утром следующего дня на берег сошёл Волверстон, одетый очень живописно, с цветным платком на голове, то какой-то офицер из состава только что высадившихся французских войск начал потешаться над старым волком. Волверстон высмеял офицера, пообещав надрать ему уши. Офицер вскипел и перешёл к оскорблениям. В ответ на оскорбления Волверстон нанёс обидчику такой удар, что француз свалился без памяти. Через час об этом уже было доложено де Риваролю, и барон тут же приказал арестовать Волверстона и поместить под стражу в замок.