En 1965, José Prego conoció al amor de su vida. En aquel momento enseñaba Historia del Arte en una escuela de San Pedro. Fue un flechazo fulminante. Inmediatamente supo que Elsa iba a ser su compañera de toda la vida. Y así fue. Con ella, formó una hermosa familia. Sus hijos José Luis y Silvia ya le dieron nietos.