Se produjo cierta tensión de calado nacionalista entre los rectores jesuitas españoles y los jesuitas ingleses en los primeros años del colegio. Algunos estudiantes se escaparon del régimen tan estricto que se imponía en San Albano y la amenaza de muerte que se cernía sobre ellos a su regreso a Inglaterra, y se unieron a los benedictinos de San Benito en Valladolid.
Ante el dilema que se planteaba sobre dónde irían a clase los estudiantes, el rey envió al Duque de Lerma para que advirtiera al colegio de que cerraría sus puertas si los seminaristas no hacían lo que se les decía.
Desde 1663 se decidió que sólo se admitirían estudiantes una vez cada siete años, para que cada grupo se mantuviera unido durante toda su formación, y esto fue así hasta entrado el siglo XVIII. Sin embargo, el colegio atravesaba una seria crisis económica, y cuando el Rey Carlos III expulsó a los jesuitas de España en 1767, solo quedaban dos estudiantes.
Un oficial de la corte acompañado por las tropas se hizo cargo de San Albano la noche del 2 de abril. En agosto, el Secretario del Santo Oficio de Valladolid se convirtió en el administrador del colegio. Sin embargo los Obispos católicos de Inglaterra escribieron al embajador de Londres para decirle que los tres colegios eran propiedad de la Iglesia Católica de Inglaterra.
El 26 de julio, el Obispo Richard Challoner, el vicario apostólico del Distrito de Londres, sugirió que era mejor que se mantuviera solo un colegio inglés en vez de tres, siendo Valladolid el elegido para permanecer abierto por tener mejor clima, mientras que Madrid y Sevilla cerraron, y pidió al rey establecer una pensión anual para Valladolid.
Carlos accedió diciendo que el clero de Inglaterra podría enviar a Valladolid 10 estudiantes de inmediato más un rector, y publicó un decreto real declarando que San Albano debería ser gobernado por un sacerdote secular inglés. El banco real pondría a disposición del colegio la suma de 10.000 pesos para costear su viaje. Desde esa fecha hasta hoy el rector es nombrado oficialmente por el rey y su nombramiento es publicado en el BOE.
El primer rector, desde 1768, fue el Padre Philip Mark Perry (1720-1774) quien trajo la estabilidad al colegio durante un período muy inestable políticamente en España. Sin embargo, muchos de los estudiantes de esa época decidieron no volver a su casa a Inglaterra, a pesar de que habían hecho “el juramento de la misión”, lo que significaba una promesa que había que cumplir. El Padre Perry también convenció al Colegio de los Escoceses de Madrid para que se trasladasen a Valladolid en 1771. Permanecieron en la ciudad hasta que se marcharon a Salamanca en 1988.