Однако за то короткое время, пока Аракчеев занимал этот пост, ему не удалось решить основных организационных проблем. Возможно, потому, что слишком много времени у него отнимали другие обязанности. Может быть, тогда еще недостаточно развились его способности управленца, которые впоследствии составили основу его власти; и для решения запутанных вопросов снабжения требовались качества иные, нежели та «сильная рука», которой обладал он. «Ты ушел, чтобы спать и бездельничать; это недостойно, и я бываю иногда неосмотрителен, когда бужу людей», – писал он одному неудачливому майору департамента. Именно в Департаменте продовольствия в начале следующего года одно драматическое событие впервые воспрепятствовало быстрому продвижению Аракчеева наверх.
Центральная контора департамента располагалась в Белом зале Зимнего дворца непосредственно под его апартаментами, и Аракчеев обычно делал внезапные «набеги» на работавших там чиновников. Он влетал в контору и ругал их за малейшие ошибки так, словно был в солдатских казармах. Однажды в конце января он обрушил поток оскорблений на иностранца, работавшего в департаменте, полковника Лена, который служил в русской армии с отличием и был награжден орденом Святого Георгия. Лена глубоко уязвило это публичное унижение. Он сходил домой, взял пару заряженных пистолетов, затем вернулся во дворец и потребовал Аракчеева. Офицер дворцовой охраны не впустил его, и Лен снова вернулся домой, написал письма императору, Александру и Аракчееву, после чего застрелился. Когда весть об этом скандале дошла до Павла, он приказал Аракчееву временно покинуть должность до расследования дела, и 1 февраля Аракчеева отправили в отпуск «по причине здоровья». Шесть недель спустя его официально уволили из армии в чине генерал-лейтенанта.
«В этих тягостных обстоятельствах мое единственное утешение в том, что я еще могу вернуться к вашему императорскому высочеству», – писал он Александру из Грузина, но великий князь ответил лишь через шесть недель. Однако, когда ответ пришел, Аракчеев понял, что не слишком долго пробудет в немилости. «Когда я приехал в Вышний Волочок, то очень хотел увидеть вас и сказать, что я, как и прежде, ваш верный друг. Признаю, я виноват в том, что не писал так долго, но лишь потому, что не имел ни минуты свободной, и, я надеюсь, вы достаточно хорошо меня знаете, чтобы не сомневаться во мне. Если вы усомнитесь в этом, то погрешите против моей чести, и я буду на вас обижен, но я надеюсь, что вы все же не сомневаетесь. Прощайте, друг мой. Не забывайте меня и пришлите письмо, которое вы должны мне прислать». Менее чем через три месяца Александр написал Аракчееву снова и сообщил хорошие новости: «Император попросил меня написать вам и сказать, что вы нужны ему и что вам следует к нему приехать. Я рад этой возможности снова вас увидеть, потому что долго этого желал».
По прибытии в Санкт-Петербург Аракчеев был восстановлен