La población fue conquistada en 1210 por Pedro II de Aragón, siendo recuperada por los musulmanes nuevamente. Al ser conquistada definitivamente por Jaime I quedó como lugar de la Corona, cediéndose los diezmos al Temple. En 1304, fue empeñada por Jaime II a Gil Roís de Lihori, en garantía de un préstamo. En 1319 al ser disuelta la Orden del Temple, sus derechos pasaron a la de Montesa, que constituyó la baronía de Castielfabib, formada por el territorio del Rincón de Ademuz. En 1390, hubo una disputa entre la orden de Montesa y el obispado por la intervención religiosa en la villa, siendo necesaria la intervención del Papa para solucionarla.
Como en casi todos los pueblos del Rincón, la plaza mayor con las fachadas de la iglesia o del Ayuntamiento acondicionadas para ello, servía de frontón. Hoy esta plaza ha mejorado mucho al haberse trasladado dicho frontón a la zona de esparcimiento: piscina, chiringuito, merendero, etc. ubicada en la ribera del río Turia.
La iglesia de Los Santos la formaba una nave cuadrangular, uno de cuyos dos lados mayores, que daba a la plaza, servía como frontón (juego de pelota a mano) , deporte muy popular en todo el Rincón hasta los años cincuenta. No se entraba a la iglesia por la plaza, ya que la pared del frontón no puede tener vanos. La puerta de entrada se abría a una calle, la que llevaba a las escuelas. Por los años sesenta, un albañil, oriundo de la aldea (Francisco Mañas, el "Canava") que aún vive, remozó la fachada y contruyó la torre-campanario, adosada a la derecha. Como dice la gente, en Los Santos sólo hay una campana (la que se ve en la foto).
Con anterioridad al siglo XVII la población de "Torre Orchet", "Torre Hondonera" o "Villar de Orchet", antecedente de la actual Torrebaja, estuvo situada en la partida de Los Villares, frente a la actual pero en la ribera derecha del Ebrón. Parece ser que este asentamiento anterior fue abandonado e instalados los nuevos pobladores en el actual en el siglo XVII. El nuevo pueblo recibió la denominación de Torrebaja, o en la grafía antigua Torrebaxa. Torrebaja tuvo su origen en un grupo de casas en el entorno de la Casa Grande. El núcleo originario puede observarse en el trazado del área formada por las calles Rosario, Herrería, Iglesia, Fuente y las plazas de la Iglesia y Placeta de Jaime I. Esta zona estaba delimitada al este por el antiguo Camino Real de Aragón a Castilla, cuyo trazado corresponde a las actuales calles Fuentecillas y Cantón, mientras el acceso hacia el oeste correspondía a las calles de San Roque y Rosario
Se alza sobre un promontorio rocoso que domina el valle, el pueblo y la carretera, esta posición viene dada por la función estratéjico-defensiva cumplida en el momento de su construcción hacia el siglo XII aprovechando una parte del castillo cuyos orígenes parecen ser primeramente romanos y posteriormente árabes. Tras su construcción inicial, el edificio ha sufrido numerosas reformas, modificaciones y añadidos en su primitivo nÚcleo medieval, consistente en una estructura a base de arcos diafragma con capillas laterales entre contrafuertes de bóvedas de crucería y techumbre de madera. (esta tipología corresponde a la de las denominadas Iglesias de Reconquista). En el siglo XVI se le añadiría la sacristía, el campanario y capillas en el tramo de los pies.