Su primer apellido a veces aparece escrito con uve, como Carvallo. En cuanto al segundo, que habitualmente no solía poner, unas veces como García y otras Taboada.
A los 18 años ingresó en la congregación salesiana, cursando sus estudios eclesiásticos en Portugal y en Italia. En 1902 es destinado a Santander donde fija ya su residencia definitiva. Llegó a dirigir el colegio salesiano, y también le fue encomendada la dirección del nuevo colegio de la Orden, que se encontraba aún en construcción.
Fue el promotor en Santander de una delegación -pretendía que fuera espeleológica inicialmente- de la Real Sociedad Española de Historia Natural y ostentaba ser el primero en España que utilizó esta terminología para llamar a la ciencia encargada de estudiar las cavidades naturales. Abandonó la orden salesiana y pasó al clero secular, siendo incardinado en el obispado de El Burgo de Osma.
Doctor en Ciencias Naturales, por la Universidad de Madrid, fue un investigador incansable. Ardiente defensor de las tesis celtocantabristas, Carballo publicó obras sobre las estelas discoideas cántabras y las supuestas tumbas y castros celtas, y defendió la identidad celta de los cántabros. Además de conocido arqueólogo en el ámbito local cántabro, era también virtuoso músico y políglota.
Quizás su obra más importante fue Prehistoria Universal y especial de España, utilizada como libro de texto en algunas universidades. Escribió también algunas novelas sobre escenarios prehistóricos y protohistóricos como El rey de los trogloditas (1925) o Fida, la hija del último druida galaico (1951). Una de sus principales aportaciones culturales fue la creación del actual Museo Regional de Prehistoria y Arqueología (MUPAC) de Cantabria, inaugurado en 1926, del que fue director hasta su muerte. Estudió diversas cuevas y yacimientos paleolíticos, protohistóricos y romanos, en inclusos paleontológicos del Cuaternario, principalmente de Cantabria. Son destacables sus actuaciones en la cueva de El Pendo con el doctor Blas Larín y en la ciudad romana de Julióbriga, con la colaboración, además, del arqueólogo y deportista Vicente Ruiz Argilés. En uno de sus viajes, por motivos de salud, descubrió una serie de pinturas en Ibeas de Juarros (Burgos), en la hoy bien conocida sierra de Atapuerca.
Escribió multitud de obras relacionadas con la Prehistoria, entre ellas varias Guías de cuevas, traducidas al inglés, francés y alemán. Murió con 88 años de edad, tras una larga y prolífica trayectoria profesional y literaria, de destacada vocación divulgadora. Fue miembro del CEM y sus restos reposan desde marzo de 2008 en el Panteón de Hombres Ilustres de la ciudad de Santander, su ciudad adoptiva.