Но преподобный Антоний тяготился людской славой. После нескольких лет управления обителью, избрав на свое место Феогноста, мужа опытного в духовной жизни, он оставил игуменство и вместе с одним простым иноком удалился из обители в уединенное место.
Сначала прп. Антоний поселился на острове Дубницкого озера, в трех поприщах от обители, вверх по течению реки Сии. Остров был весьма красив и удобен пустынножительству. Обошел его преподобный, осмотрел и возлюбил: остров окружали озера, по берегам которых росли непроходимые леса, расстилались болота, заросшие мхами. Преподобный Антоний поселился здесь, поставил малую хижину и часовню во имя святителя и чудотворца Николая и еще ревностнее, чем прежде, начал подвизаться в безмолвии, непрестанной молитве и трудах: рубил лес, очищал место для посева, копал землю своими руками, сеял хлеб и питался от трудов своих, а оставшийся хлеб отсылал в монастырь. Ночью, по вечернем правиле, подвижник до самой заутрени молол муку, в летние ночи обнажался до пояса и отдавал свое тело на съедение комарам.
Господь сподобил подвижника дара прозорливости. Юный инок Сийского монастыря Филофей, боримый искусителем, задумал уйти в мир, расстричься и жениться. Но ему пришла благая мысль зайти к преподобному в пустыню и принять от него благословение. Увидев Филофея, подвижник обратился к нему с такими словами: «Что это, чадо, пришел ты сюда, смущаемый от злого помысла? Хочешь уйти в мир, расстричься и думаешь утаить это от меня». Услышав свою тайну из уст преподобного, Филофей устрашился, упал к ногам его и во всем признался. Подвижник поднял его, ободрил и после наставления отпустил в монастырь.