El inicio de la construcción data del año 1872 y fue restaurada en el año 1942 por Federico Arocas (el Hermano Pastor), franciscano que dedicó parte de su vida a su cuidado, embellecimiento y a la recuperación del folclore cofrentino. Está situada en la dehesa del Monte Calvario, desde donde se observa una panorámica del río Júcar.
La casa del Hermano Pastor va unida a la Ermita de la Soledad. En su interior se pueden observar las estancias de la casa del sacerdote, una cocina y una habitación, separadas una de otra por una cortina de esparto que él mismo trenzó. Frente a su camastro, realizado de obra y con el colchón lleno de hojas de panocha, cuelga sobre la pared un ataúd de tablones de madera, realizado por él mismo. Este ataúd le acompañó colgado en la pared todo el tiempo que estuvo residiendo en la casa.
Una de las muchas virtudes que poseía el hermano Pastor era la de trenzar esparto. Realizó con este material los taburetes, los estantes para los libros, los marcos de las fotografías y las alforjas de la ermita. Las personas que contemplaban sus trabajos se quedaban admirados y le pedían que les realizara alguna pieza. Entre las muchas que realizó, destaca la alfombra que tejió para el conde Espoz y Mina y en la que trabajó durante dos años.
El hermano Pastor es uno de los personajes más relevantes y queridos de la historia de Cofrentes. Gracias a él se restauró la Ermita de la Virgen de la Soledad. Además, ayudó a recuperar el folclore de la localidad como la jota cofrentina que estaba perdida.
