A medida que se fueron creando nuevos tercios, los tres primeros (Nápoles, Sicilia y Milán) fueron llamados Tercios Viejos y con el tiempo recibieron la denominación de Grandes Tercios Viejos.
Los primeros tercios se crearon de acuerdo con una estructura sencilla: un Maestre de Campo mandaba sobre su propia compañía y las de otros capitanes, que en total ( y en teoría) debían sumar tres mil hombres. El tercio podía tener doce compañías de doscientos cincuenta hombres o diez compañías de trescientos. Eran, en realidad, cifras muy optimistas, que solo se alcanzaban en los primeros momentos de la recluta o en circunstancias excepcionales.
En la práctica, debido a la dificultad para reponer bajas, las compañías solían ser más pequeñas, y a lo largo de dos siglos fueron disminuyendo. En Nordlingen (1634), las 33 compañías del tercio de Idiáquez, que allí se cubrió de gloria, sumaban en total 1.800 hombres, con una media de poco más de 50 hombres por compañía. Las cifras mermaron notablemente en años posteriores, tanto por la despoblación de Castilla, principal cantera de las levas de los tercios, como por las bajas producidas por las continuas guerras.
La unidad básica del tercio era la compañía, siempre al mando de un capitán. El capitán elegía alférez ( portador de la bandera), sargento, cabos y tambores. Por encima del capitán estaba el Maestre de Campo, elegidos entre los capitanes de más fama y experiencia, y que tenía como principal auxiliar al Sargento Mayor, que tenía autoridad sobre todos los capitanes pero carecía de compañía propia.
La organización varió muchísimo durante su existencia (1534-1704). La estructura original, propia de los Tercios de Italia, dividía cada tercio en 10 capitanías o compañías, 8 de piqueros y 2 de arcabuceros, de 300 hombres cada una. Cada compañía, aparte del capitán, tenía otros oficiales: un alférez, un sargento y 10 cabos (cada uno de los cuales mandaba a 30 hombres de la compañía); aparte de los oficiales, en cada compañía había un cierto número de auxiliares (oficial de intendencia o furriel, capellán, músicos, paje del capitán, etc).
Posteriormente, los Tercios de Flandes adoptaron una estructura de 12 compañías, 10 de piqueros y 2 de arcabuceros, cada una de ellas formada por 250 hombres. Cada grupo de 4 compañías se llamaba coronelía. El estado mayor de un tercio de Flandes tenía como oficiales principales a los coroneles (uno por cada coronelía), un Maestre de Campo (jefe supremo del tercio nombrado directamente por la autoridad real) y un Sargento Mayor, o segundo al mando del Maestre de Campo.

Los tercios solían presentarse en el campo de batalla agrupando a los piqueros en el centro de la formación, escoltados por los arcabuceros y dejando libres a algunos de estos últimos en lo que se denominaban mangas, para hostigar y molestar al enemigo.
El personal de cada unidad era siempre voluntario y entrenado especialmente en el propio tercio, lo que convierte a estas unidades en el germen del ejército profesional moderno.

Con el paso de los años, los tercios fueron disminuyendo en número de hombres aumentando la proporción de arcabuceros y mosqueteros sobre la de piqueros, eliminando las ballestas.