Los primeros datos que se conocen de esta Cofradía datan del 10 de Noviembre de 1568 cuando la (antes llamada) "Cofradía de La Veracruz" recibió la visita del Prior de Uclés. éste fue acogido por el mayordomo Alonso de Yepes Casero, persona encargada de llevar al día el Libros de cuentas de la citada Cofradía. Dicho Prior hizo el inventario de los bienes de esta Cofradía, incluyendo todas sus posesiones y sus tierras. Junto a esto se tienen datos de la asistencia a la procesión del Jueves Santo, por lo que el titular de la Cofradía, el Cristo de la Columna, ya figuraba entre nuestras imágenes.

Pero, se produjo una desamortización recogida en el Real Decreto del 29 de Julio de 1837 por Ministro de Hacienda, Juan de Dios Alvárez de Mendizabal. Así pues, en 1840 se pusieron en venta todas las propiedades de la Cofradía.

Un año después, concretamente el 23 de Agosto de 1841, se hizo la Ley de Espartero, en la cual se indicaba la subasta de todos los bienes del clero secular, por lo que el 1 de Octubre de 1841 se comenzó con dicha subasta en la capilla de la provincia.

La ermita de esta Cofradía data de 1573, (según fecha del arco de la puerta), dentro se hallaba un retablo barroco, junto con el Cristo de la Columna también barroco. Aunque la imagen del Descendimiento de Nuestro Señor se cree que es de principios de siglo.

Después nada más se sabe de esta Cofradía, hasta después de la guerra civil, para ser más exactos el 12 de Febrero de 1942, día en el que se comienza con la reorganización de dicha Cofradía y con la restauración de la Ermita. Por lo que en la Semana Santa de ese mismo año ya se contaba con la Imagen del Cristo de la Columna. En 1945 se consiguió el Descendimiento de Nuestro Señor y en 1965 se trajo la imagen de Jesús de Medinaceli, todas ellas conservadas hasta la fecha.