В 1903 году Витте был отставлен от дел (точнее, переведен на декоративную должность председателя Комитета министров), но скоро подтвердилась его правота в японском вопросе, и два года спустя состоялось триумфальное возвращение Сергея Юльевича. В 1905 году он подпишет приемлемый для России мирный договор с Японией, а затем возглавит правительство. Наверху Витте продержится всего несколько месяцев, но ему выпадет трудная задача – проводить самую радикальную из всех реформ государственного переустройства российской монархии. На Витте ляжет и ответственность за грозные последствия этого потрясения. Больше Сергей Юльевич в правительство не вернется и до конца жизни будет занят сочинением мемуаров, в которых сведет счеты со всеми своими обидчиками и объяснит потомкам, какой он был великий.
Вот портрет этого важного для отечественной истории деятеля, составленный Павлом Милюковым: «Это был редкий русский самородок – со всеми достоинствами этого типа и с большими его недостатками. Конечно, он стоял головой выше всей той правящей верхушки, сквозь которую ему приходилось пробивать свой собственный путь к действию. А действовать – это была главная потребность его натуры… Он умел брать с собой всё нужное, что попадалось по дороге, и отбрасывать всё ему ненужное: людей, знания, чужие советы, закулисные интриги, коварство друзей, завистников и противников… При неудаче он становился страстен и несправедлив, никогда не винил себя, чернил людей, ненавидел противников. Наткнувшись на препятствие, которого одолеть не мог, он сразу падал духом, терял под ногами почву, бросался на окольные пути, готов был на недостойные поступки – и наконец отходил в сторону, обиженный, накопляя обвинительный материал для потомства, потому что в самооправдании он никогда не чувствовал нужды».
По мере того, как ослабевало значение Витте накануне его первой отставки, возрастало значение другой сильной фигуры – Вячеслава Константиновича фон Плеве, который в 1902 году возглавил министерство внутренних дел и сразу же вернул этому ведомству первенствующее положение в правительстве. На то имелись и объективные причины. Период внутриполитической стабильности закончился, и полицейские функции стали важнее финансово-экономических.
В.К. Плеве. И. Репин
Плеве враждовал с Витте и, в отличие от последнего, был человеком «с идеологией» – сторонником сильной власти и «твердой руки». После встречи с Вячеславом Константиновичем Милюков