La Puerta de Cuartos es una puerta del tercer recinto amurallado de nuestra ciudad mediante el que se cercaban y protegían los arrabales viejos. La primera mención que tenemos de esta puerta es de 1.142, en documentos mozárabes que hablan de una Puerta de Qurtes (Cortes o de Cuartos) que era el nombre que se le daba a los huertos y corrales característico de esta parte de la ciudad, de ahí le viene el nombre de Cuartos.
En el siglo XIII,después de la reconquista de Talavera por Alfonso X El Sabio, sus habitantes se dividen en dos comunidades: los mozárabes que vivían en el primer recinto o la Villa, y la de los castellanos recién llegados del norte y que se establecen en los extramuros del primer recinto o arrabales.
Cada uno de los grupos se regía por su propio fuero y era juzgado por sus propios jueces, en la Villa los mozárabes el fuerojuzgo en la Colegial, y en el Arrabal los castellanos el Código de las partidas en el Salvador de los caballeros, por lo que no eran pocos los enfrentamientos.
Por esta razón el sucesor de Alfonso X, su hijo Sancho IV era partidario de unificar las leyes de las dos zonas, a lo que su padre se oponía,ésta razón entre otras...hizo que hubiera desavenencias entre padre e hijo. Sancho fue declarado maldito por su padre, carga que llevaría toda su vida. Talavera no permaneció unida en éste conflicto, ya que los castellanos de los arrabales eran partidarios del rey Alfonso y los mozárabes se aliaron con D. Sancho. El cabecilla de los nobles castellanos era un tal Romero que con cuatrocientos caballeros se preparó para unirse a D. Alfonso.
Alfonso X no nombro como su sucesor a su hijo Sancho hasta el último momento, en su lecho de muerte.
Al reinar Sancho castigó duramente a los nobles fieles a su padre, destruyendo sus casas, confiscando sus bienes, desterrando a los supervivientes y prohibiendo a los castellanos entrar en la villa, poblada por los mozárabes desde la reconquista.
Cuenta la leyenda ( pero es sólo leyenda) que los más significados nobles del arrabal fueron ejecutados y descuartizados, colgando sus cuartos en la puerta, que según ésta leyenda llevaría desde entonces el nombre de Puerta de Cuartos en recuerdo de tan sangriento suceso.
Sancho IV reinaría después y se reconciliaría con nuestra ciudad, anulando las medidas legales contra sus moradores, aumentando considerablemente los territorios de la Tierra de Talavera y otorgando el privilegio para el establecimiento de los mercados y ferias que tanto marcaron luego nuestra identidad.
