En 1724 el rey Felipe V, gran aficionado a la caza, alquila este coto para su uso privado. A su muerte, su viuda Isabel de Farnesio, debido a la mala relación que tenía con sus hijastros los reyes Fernando VI y Bárbara de Braganza, y viendo la posibilidad de que estos fueran a vivir al Palacio de La Granja de San Ildefonso, decide retirarse de él y construir su residencia en el coto de Riofrío.

Fernando VI, encantado de que la Reina Viuda se apartase de Palacio, dio permiso para su compra y otorgó a su madrasta plena jurisdicción civil y criminal sobre su finca como señora del lugar. Posteriormente la Reina incrementó la extensión de la finca mediante la adquisición de terrenos colindantes a base de compras y permutas. Otras incorporaciones se llevaron a cabo durante los reinados de Carlos IV e Isabel II, resultando un bosque de caza que no fue afectado por las ventas de propiedades del Real Patrimonio en el siglo XIX.

Con la muerte de Fernando VI, y anteriormente la de la Reina Bárbara de Braganza, Isabel de Farnesio se convierte en regente, por lo que se traslada a Madrid olvidándose de Riofrío. Los monarcas siguientes sólo lo utilizaron como pabellón de caza, excepto don Francisco de Asís, rey consorte de Isabel II, y sobre todo Alfonso XII que se retiró a él tras la muerte de su primera mujer, María de la Mercedes de Orléans.