Aunque nació en Madrid capital, gran parte de su vida transcurrió en Cantabria, pues su familia se trasladó a Santander cuando José contaba con apenas dos años. En la capital de Cantabria cursó los estudios elementales e inició la carrera de perito industrial, que se vio obligado a interrumpir en 1936.

Antes de finalizar la Guerra Civil, fue detenido y procesado por pertenecer a una “organización de ayuda a los presos políticos” e ingresó en prisión, donde estuvo hasta el mes de enero de 1944, en que fue puesto en libertad en Alcalá de Henares. Tras ser puesto en libertad, Hierro se trasladó con José Luis Hidalgo a Valencia, donde se dedicó a escribir. Participó en la fundación de la revista Corcel, y pertenecía, junto con Ricardo Gaón, al grupo fundador de la revista Proel, donde publica Tierra sin nosotros, su primer libro de poemas, en 1947. Ese mismo año, obtuvo el “Premio Adonáis” de Poesía por su segunda obra, Alegría. Desde entonces ha recibido numerosas distinciones como reconocimiento, no sólo a sus méritos Iliterarios, sino también a su ejemplar actitud ante Ia vida.

Volvió a Santander, donde trabajó ejerciendo muy distintos oficios: desde conferenciante, a tornero, listero, profesor, redactor jefe de las revistas de la Cámara de Comercio y La Cámara Agraria, etc.

En 1949 contrajo matrimonio con María de los Ángeles Torres. Poco después se trasladó a Madrid con su mujer y sus dos hijos mayores. En Ia capital comenzó a trabajar en el CSIC, en Ia Editora Nacional y en el Ateneo. Asimismo, colaboró en diversas revistas de información, en Radio Exterior de España y en Radio 3; posteriormente, se incorpora a Radio Nacional de España, en donde permaneció hasta su jubilación, en 1987.

En 1995 se le concedió el “IV Premio Reina Sofía de Poesía Iberoamericana”, uno de los más importantes en el ámbito poético español.

Su último libro de poemas, Cuaderno de Nueva York, es considerado por la crítica como una de las máximas obras de la poesía contemporánea. Fue galardonado en 1998 con el “Premio de Literatura Miguel de Cervantes”, por lo que fue miembro del Patronato del Instituto Cervantes. El 8 de abril de 1999, después de que se presentara su Antología poética, fue elegido miembro de la Real Academia Española, y está considerado como una de las voces más representativas de la poesía social de posguerra.

Falleció en Madrid el 21 de diciembre de 2002 sin haber llegado a leer el discurso de ingreso en la Real Academia.