Когда победою великого князя Донского начала успокаиваться земля Русская от непрестанных нашествий монгольских, тогда стали без страха селиться во всех ее пределах и устрояться обители в местах отдаленных, и преподобные пустынножители водворились в дремучих лесах и безлюдных пустынях. Преподобный Варнава, родиной которого был Великий Устюг, до ухода в пустыню был священником одной из городских церквей. В 1417 году преподобный поселился на берегу реки Ветлуги на Красной горе, где подвизался в уединении в течение 28 лет. «Богу работая в псалмопении и молитвах, питаясь былием и вершием дубовым», редко хлебом. По словам автора жития преподобного, к святому Варнаве приходили и «дивии звери, медведи многи, живущие близ келлии его... он же хождаше между ними, аки между скотами, зря на них и утешашеся; благодаря великаго Бога, тии звери кротки ему быша».
В окрестностях горы Красной, даже в 50 верстах, не было человеческого жилья. Изредка, ради благословения, посещали пустынника люди, которым он предсказал, что по преставлении его на берегу реки Ветлуги «умножит Бог житие человеком, а на месте его жительства будут жить иноки».
По преданию, в 1439 году, перед тем, как поселиться на реке Унже, сюда приходил за наставлениями и поучениями преподобный Макарий (память 25 июля/7 августа). Преподобный Варнава скончался в глубокой старости 11 июня 1445 года. По кончине святого подвижника на место его подвигов приходили на жительство «от разных стран» многие монахи «и к ним земледельцы», и «размножашеся по всей той реке народ мног даже до великия реки Волги». На Красной горе иноки построили две церкви: одну в честь Пресвятой Троицы, а другую – над гробом преподобного во имя святителя Николая Чудотворца и основали общежительный монастырь, получивший название «Варнавинской пустыни». Житие святого Варнавы написано в 1639 году иноком Варнавинской пустыни иеромонахом Иосифом (Лядкиным), который впоследствии стал в Москве главнейшим управителем книжного Печатного двора.
Слух о чудесах преподобного достиг в 1639 году и до святейшего патриарха Московского Иоасафа, который спросил пред освященным собором двух пресвитеров ветлугских, Иоанна и Онисифора, пришедших в царствующий град засвидетельствовать о чудесах преподобного и милость его, которую сами над собой испытали. Один из них, Онисифор, долго страдал слепотою глаз и в тяжком недуге уже отчаивался в жизни. Иноки обители Ветлугской (Ветлужской) убедили его пойти помолиться на гроб преподобного – и там он прозрел. Другой иерей подтвердил истину слов его и сам о себе возвестил, как исцелился также у гроба преподобного от одержавшей его болезни. Тогда святейший патриарх послал игумена желтоводского Пафнутия в обитель преподобного узнать на месте истину слов обоих иереев. И он, собрав многие иные сказания о чудесах, истекавших от раки преподобного Варнавы, возвестил о том патриарху, который прославил память новоявленного чудотворца.
Со временем на месте Варнавинской обители возник уездный город Варнавин, а главный храм обители был обращен в городской собор во имя апостола Варнавы.