La población de este antiguo poblado, que Monner (1985:27) sitúa en esta partida de “Les Ocates”, fue disminuyendo hasta desaparecer del todo, entre 1359 y 1479. Cuando el 1236 fue disuelto el distrito de Ribera y se independizaron de Miravet las comandas filiales, Vilalba pasó a formar parte de la casa de Ascó. Queda bien patentada su dependencia en este convento en el texto de los sumarios sobre
las causas de Entenza y los templarios (Carreras Candi, 1903-1904:243-244). En el extremo NW del casco antiguo de Vilalba se concentraban los edificios más antiguos y principales del pueblo: el castillo, la iglesia, y la abadía; los terrenos necesarios habían estado reservados ya a la carta de la población. A este conjunto se añadió un castillo o casa fuerte, para habitación de los señores o sus representantes, y para almacenar los productos que se recaudaban en el pueblo. El conjunto urbano medieval quedó inalterado hasta el siglo XVII, cuando se ocupó el terreno del cementerio para construir una iglesia nueva. Actualmente, del conjunto primitivo sólo queda la iglesia, el resto ha estado totalmente alterado. Resulta difícil hacerse una idea del castillo a partir del estado actual del lugar que ocupaba. Sin embargo, hemos encontrado algunas referencias en documentos hospitalarios de los siglos XVI y XVII – La Visita Prioral de 1535 y La Visita de Milloraments de 1647 – Están citados tres o cuatro edificios, uno de los cuales era nombrado “castillo”, todos estaban más o menos juntos y en aquellos años cumplían funciones diversas; se nota, pero, que antiguamente formaban un solo conjunto. La visita de 1535 refleja una situación normal, pero la de 1647, realizada justo al terminarse la guerra de Los Segadores, presenta los edificios en un estado lamentable. El visitador de 1535 habla del castillo y casa de comendador, pero sólo entra en detalles cuando relata las cantidades de vino y aceite que había guardadas en la bodega; no explica nada del edificio como residencia, prueba evidente que ya no hacía esta función. Seguidamente, cuenta las otras casas que el comendador poseía en el pueblo: una, al lado del castillo; una tienda para guardar el grano, en la calle Nuestra Señora de Gracia, tocando del castillo y al estudio (“la casa de los pupillos de scola”) y un corral para tener gallinas, en el mismo sitio pero un poco más abajo. Además de la señoría directa de estas casas tenía establecidos a censo tres molinos harineros, dos de agua – en el Valle “de Varanal” y en la Valle Mu**ta- y el tercero de viento; también cobraba censo por la casa nombrada del camarero de Tortosa, de Vilalba. Todos estos edificios y otras posesiones seguían en mano de los hospitalarios el 1647, pero las casas habían sufrido muchas destrozas a causa de la guerra: “les hizo ocultar ostensión del castillo de dicha villa de Vilalba el cual está muy derruido por cuanto no tiene sino las paredes de fuera y algunas de dentro, y las otras son tabiques muy estropeados, y parte de dicho castillo sin cubierta por ocasión de los alojamientos hicieron en dicha villa de Vilalba los españoles y franceses en los años 1644-1645 y 1646, los cuales lo rompieron en la forma arriba dicha no perdonando a puertas y ventanas de aquel que las quemaron…”
También había la llamada “casita” situada “al cortal del dicho castillo”, menos deteriorada que el castillo, pues “no necesita de obras algunas y sirve para poner algunos granos”, un corral “para tener gallinas el cual está cerca de dicho castillo”, un patio “que es llamado el huerto, situado delante del castillo”. Finalmente, una casita “situada dentro de dicha villa en la calle dicha de Nuestra Señora de Gracia contigua al dicho castillo sirve para habitación del nuncio de dicha villa”. En ambas visitas consta que el Castellano de Amposta poseía la llena jurisdicción sobre la villa y derechos sobre diezmos, censos y otros beneficios. No consta, pero, que tuviera – como habían tenido antiguamente los templarios- el patronaje sobre la iglesia parroquial.
