Святий Іван народився в місті Нікополі Вірменському 454 року в сім’ї великого воєначальника. Хлопчик рано почав вивчати Святе Писання і всім серцем любив усамітнення і молитву. Після смерті батьків юнакові дісталася спадщина, яку він витратив, щоб побудувати церкву в ім’я Пресвятої Богородиці. З 18 літ разом із десятьма ченцями жив при церкві в пості й молитві.
На прохання громадян міста Колонії митрополит Севастійський висвятив двадцятивосьмирічного Йоана в єпископа. На десятому році єпископства владу у Вірменії прийняв Пазинік, чоловік сестри святителя – Марії. Новий правитель став владно втручатися в духовні й церковні справи. У Церкві почалися негаразди. Тоді владика Йоан відправився в Константинополь і через архієпископа просив імператора Зенона захистити Вірменську Церкву від грубих посягань.
Преосвященного вимотували питання світського характеру, тому він таємно залишив єпископію і відплив у Єрусалим. Зі сльозами він просив Бога вказати місце, де б міг жити і спасатися. Яскрава зірка привела Йоана в лавру Преподобного Сави. Святитель приховав своє єпископське достоїнство і був прийнятий до числа братії простим послушником. Більше чотирьох років він виконував найважчі послухи на монастирському будівництві. Зрештою, святителю довелося відкрити свою таємницю Патріархові Єрусалимському Іллі.
З благословення преподобний прийняв обітницю мовчання. Чотири роки святий Іоан провів у келії, де нікого не приймав, і навіть не виходив у церкву. Згодом залишив лавру і пішов у пустелю, де провів більше дев’яти років, харчуючись тільки травами. Потім преподобний повернувся в обитель і провів у лаврі Преподобного Сави більше шістдесяти років. За його молитвами відбувалося багато чудес: таємні думки людей були для святителя явними, він зціляв хворих і біснуватих.
Пішов із життя Йоан Мовчальник мирно у віці 104 роки.
