El Palacio es un edificio cuadrado de 84 metros de lado y 24 de alto, unido a otro pabellón que sirvió como Casa de Oficios, el cual incluía cuarteles de guardias españolas y valonas, convento de franciscanos y un teatro, y que es el único, del proyecto original, junto con el palacio que se llegó a construir. El conjunto es la plasmación de los gustos del marqués de Scotti, secretario de la Reina, que varias veces intervino en las obras reales enmendando la plana a los arquitectos encargados de ellas, especialmente a Sacchetti en La Granja y en la Corte.

Bajo las órdenes del arquitecto Virgilio Rabaglio, su construcción se inició en octubre de 1752 y finalizó en 1759. El patio ocupa el centro exacto de la planta y desde él se accede a la capilla y a la entrada principal del edificio, donde se encuentra la verdadera joya del edificio, una escalera de espejo única en España, con dos tiros: uno para el rey y otro para la reina.

Las salas de la planta principal albergan las habitaciones reales y el museo de caza. La mayoría de los muebles son del siglo XIX, así como las chimeneas, cortinajes, alfombras y algunos de los papeles de las paredes. Las esteras, usuales en los suelos de los palacios españoles, como lo eran en las casas, se han mantenido en éste.

El palacio está rodeado por un magnífico encinar de 700 hectáreas por el que pasa el río Frío, que da nombre al conjunto. En ella se encuentran en libertad gamos y ciervos, zorros, corzos, venados... que podemos observar desde la carretera que atraviesa el bosque.