José commence à jouer de la guitare à trois ans, possédant des dons tellement impressionnants que les gens disaient : "Ce gamin joue comme une personne très experimentée, c'est un vieux sage, un viejin". D'ici lui vient son surnom. A 13 ans, il est engagé par le tablao de Madrid "El Corral de la Moreria" comme soliste, il y travaillera pendant 8 ans. Il commence alors à se faire connaitre avec une réputation de grand virtuose de la guitare dans toute l'Espagne. En 1980, le grand Sabicas l'entend jouer lors d'une de ses représentations au tablao. Impressionné, il lui dit : "Mon petit, tu vas devenir un des grands, j'ai écouté peu de guitaristes de cette qualité".
En 1986, il compose la musique pour le ballet de Rafael Aguilar. Il reçoit en 1988 le "Prix mondial de la meilleure musique pour la danse". Cette même année, il entame une grande collaboration avec Antonio Canales, il devient alors compositeur, directeur artistique et premier guitariste des spectacles “Torero”, “Gitano”, “Bernarda” et “Cuerda y tacón” entre autres.
Les années suivantes, il accompagne divers danseurs comme Juan Ramirez, La Chana ou encore Joaquin Cortés, pour qui il compose la musique de l'oeuvre "Pasion Gitana". Il participe également aux disques comme‘Gitana soy’ de Remedios Amaya, ‘Alabanza’ de Montse Cortés et ‘Cuando el río suena’ de Guadiana. En 1998, il part en tournée avec son grand ami Paco de Lucia en Espagne et Amérique Latine. L'année suivante, il donne une série de concerts en solo en Espagne, en Finlande et en Hollande. Cette même année, il enregistre son premier disque solo "Algo que decir" dans lequel participent entre autres Paco de Lucia, Montse Cortés et Antonio Canales. Ce disque a recu le prix du "meilleur disque de l'année” décerné par la "Asociación de la Prensa Española".
L'importance de l'oeuvre d'el Viejin n'est pas seulement due à sa virtuosité et à ses innovations harmoniques et mélodiques mais aussi et surtout au déroulement de toute une série de nouvelles techniques et concepts qui aujourd'hui est connue comme "L'école de Caño Roto" qui à inspiré beaucoup de jeunes guitaristes. Certains d'entre eux font partie de la grande famille d'el Viejin, d'autres sont originaires de ce quartier qui donne son nom à cette école.