Um die Jahreswende 1959/1960 gründete Joe mit seinen Freunden seine erste richtige Band namens „The Cavalliers“. John Mitchell, ein Freund und Nachbar, spielte Banjo und Rhythmus-Gitarre, Phil Crookes Solo-Gitarre und Bob Everson Bass. Joe kaufte sich eine Snare-Drum und ein paar Becken. Er übernahm sowohl die Rolle des Schlagzeugers als auch des Sängers in der Band. Den ersten Song, den sie eingespielt hatten, „Johnny B. Goode“, performten sie auch als Opener beim ersten öffentlichen Auftritt im Jugendclub in der Wesley Hall in Crookes Mitte 1960. Ray Capewells, ein Freund und der Einzige, der einen Firmenwagen zum Transport der Instrumente auftreiben konnte, wurde quasi auch zum Manager der Truppe und damit zu Joes erstem Vertrauten in dessen musikalischer Karriere.
1960 verließ Joe die Schule, die er im letzten Jahr so gut wie nicht mehr besucht hatte, weshalb er relegiert worden war. Im Alter von 16 Jahren trat er im Sommer 1960 schließlich seine erste Arbeitsstelle beim East Midlands Gas Board an, wo er eine Ausbildung zum Gasinstallateur begann. Diesen Job behielt er bis zum 21. Lebensjahr.
Aus „The Cavalliers“ machte Joe 1961 „Vance Arnold & The Avengers“. Er war der Meinung, dass dieser wesentlich „pfiffiger“ klingende Name klarmachte, dass die Gruppe einen Solosänger hatte: nämlich ihn. Auf den Namen sei er beim Lesen der Sheffielder Lokalzeitung gekommen, erklärte er: „Joe Cocker war damals kein so annehmbarer Name. Es war immer mein großes Geheimnis, dass niemand außer mir selbst dafür verantwortlich war, dass ich mich ‚Vance Arnold‘ nannte“, gestand er 1982 in einem Interview bei RADIO HALLAM.
Anfang 1963 lernte Joe Cocker dann seine spätere Freundin Eileen Webster kennen, die fortan zu den Auftritten der Band mitreiste. Eileen, die zwei Jahre jünger war als er, traf er bei einem Konzert mit den Cavalliers. Sie arbeitete als Sekretärin für das National Coal Board und lebte noch bei ihren Eltern. Eileen bedeutete ihm ziemlich viel, aber sie spielte anfangs nur mit ihm, worunter er sehr litt. Zeitweise hatte sie sogar neben ihm noch einen zweiten Freund. Dennoch, Eileen war alles für Joe und seine erste große Liebe, die mit richtig großen Hochs und heftigen Tiefs bis Ende der 70er-Jahre hielt.
1963 kamen auch einige Größen der späteren Musikszene nach Sheffield, deren Konzerte Joe natürlich besuchte, etwa Eric Clapton, Jack Bruce oder The Beatles. Aber er fuhr im selben Jahr auch nach Manchester, wo er ein Konzert von Ray Charles miterlebte. All das Gesehene ließ er in seine eigene Performance einfließen, die sich als Melange aus ungewöhnlichem Gesangsstil und seiner unnachahmlichen Art, sich auf der Bühne zu bewegen, beschreiben ließ. „Ich zuckte und wand mich, als ob ich unter Strom stand. Oft spielte ich eine imaginäre Gitarre, die ich trotz intensiver Anleitung durch Phil Crookes nie richtig zu spielen lernte. Vielleicht verkrampft sich mein Körper deshalb irgendwie“, analysierte Joe später. „Eigentlich hätte ich eine Gitarre zum Festhalten gebraucht.“ Später würde man das als „cockeresque“ bezeichnen.
Die Band kleidete sich stets, der damaligen Zeit gemäß, seriös in Anzug mit Fliege und trat außer in den In-Pubs auch in Arbeiterclubs auf. Damals gab es tatsächlich noch Pubs für Angehörige des Mittelstands und Pubs für Arbeiter.
1964 wurde zum Jahr von Joes erstem Plattenvertrag bei Decca Records. In den Decca Studios in West Hampstead nahm Joe seine erste Single „Georgia On My Mind“ auf. Die Aufnahme ist seinerzeit nicht veröffentlicht worden. Dick Rowe – dem Produzenten, der schon die Beatles abgelehnt hatte – gefiel die Aufnahme nicht. Am 28. Juli 1964 nahm Joe dann noch einmal in einer dreistündigen Session den Lennon/McCartney-Titel „I’ll Cry Instead“ auf. Der spätere Led-Zeppelin-Gitarrist Jimmy Page begleitete ihn an der Gitarre. Joe hatte diesen ersten Plattenvertrag noch als Vance Arnold abgeschlossen, legte aber zur Veröffentlichung seiner ersten Single den Künstlernamen ab und wurde wieder zu „Joe Cocker“.
„Ich hätte damals nicht gedacht, dass es mich länger als fünf Wochen geben würde. 1964 hatte ich meine erste Platte gemacht – eine Beatles-Coverversion von ‚I’ll Cry Instead‘. Plötzlich stand ich im Rampenlicht –
so wie heute Künstler einer Castingshow. Aber die Platte lief nicht gut, und so fand ich mich ganz schnell am Boden wieder. Mein Vater riet mir, wieder in meinen alten Beruf zu gehen, als Gas-Wasser-Installateur zu arbeiten. Doch es war zu spät. Ich hatte Geschmack am Showbusiness gefunden. Ich hätte damals nicht gedacht, dass ich jetzt noch Musik machen würde“, erzählte er 46 Jahre später im NDR Radio.
Im Oktober 1964 war er zum ersten Mal im britischen Fernsehen zu sehen, in der ITV-Show „Stars & Garters“. Joe wurde zu einer musikalischen Lokalgröße in Sheffield. 1965 wurde der erste Plattenvertrag wieder gekündigt, und Joe ging auf eine sechswöchige Frankreich-Tournee durch Clubs für amerikanische GIs auf US-Stützpunkten. Bei dieser Tour kam Joe, der schon immer gerne ein Bier mehr getrunken hatte, erstmals mit einer neuen Droge in Kontakt: Haschisch. Joe rauchte im Dunstkreis des afroamerikanischen Publikums seinen ersten Joint.
Wenig später folgte ein Angebot, bei Manfred Mann im Vorprogramm aufzutreten. Joe gründete dafür extra die „Joe Cocker’s Blues Band“, die sich zeitweise auch „Joe Cocker’s Big Blues Band“ nannte. Die Joe Cocker’s Blues Band stand auch auf den bereits gedruckten Plakaten – doch Manfred Mann trat nie auf, da es vertragliche Probleme gab.
Nach diversen Kleinauftritten zog sich Joe anschließend für ein halbes Jahr von Live-Auftritten zurück. 1966 machte er erst einmal seinen Führerschein und ging im zweiten Halbjahr mit neuem Elan nach London. Zwischenzeitlich hatte er seine Kündigung als Gasinstallateur wahrgemacht und zur Überbrückung der Zeit ohne Engagements einen Nebenjob in einem Pressevertrieb angenommen. Alles hinwerfen für seinen Traum, um allein von der Musik zu leben, wollte er nie. „Ich habe gelernt, einen Fuß vor den anderen zu setzen. Und zwar jeden Tag. Ich habe die Schule schon mit 16 Jahren verlassen und nie eine Universität besucht. Stattdessen bin ich jede Nacht in den Clubs von Sheffield aufgetreten. Die Straße war meine Schule“, resümierte Joe Cocker und erinnerte dabei gleichzeitig daran, dass er Ende 1966 Chris Stainton aus Sheffield traf, den er als Musiker und Mehrfachinstrumentalisten sofort zu schätzen wusste. Mit ihm traf er eine Art „Brother in Soul“, einen Freund und Weggefährten fürs Leben, der ihn sowohl motivierte wie auch inspirierte, ja, mit dem er sogar begann, gemeinsame Songs wie z. B. „Sandpaper Cadillac“ oder „New Age Of The Lily“ zu schreiben.
1967 und 1968 verbrachten Joe und Chris mit Live-Auftritten und dem Schreiben von weiteren Songs. 1968 zog er mit Chris dann nach London und suchte in den Studios nach Kontakten. Dort nahm er auch den Beatles-Song „With A Little Help From My Friends“ auf. John Lennon und Paul McCartney hatten den Titel für ihren Drummer Ringo geschrieben, der ihn auf dem Kultalbum „Sergeant Pepper’s Lonely Hearts Club Band“ sang. Joe legte das Lied als schmerzerfüllte, gefühlsbetonte Tragödie an, in die er all seine Gefühle hineinlegte. „Der Song ging mir nicht mehr aus dem Kopf, aber ich wollte einen ¾-Walzer sowie ein klassisches Bach-ähnliches Orgelintro. Die 13. Aufnahme war dann die, die für die Veröffentlichung am 2. Oktober genommen wurde. Wir wussten sofort: Das ist sie. Es war, als hätte Gott die Regie übernommen“, erinnerte sich Joe an die Entstehung der Aufnahme, die ihn weltberühmt machen sollte. 13 Wochen lang hielt sich die Single in den Charts, mehrere davon auf dem ersten Platz. „Die Beatles schickten mir ein Glückwunsch-Telegramm mit dem Inhalt ‚Thanks, you are far too much‘, und es veränderte sich alles.“
Rückblende ins Jahr 1962: Dass sich alles verändern würde – und das alles auch noch mit „With A Little Help From My Friends“ – wurde schon sechs Jahre zuvor quasi „vorausgesehen“. Terry Thornton und Don Hale erinnern sich in ihren „Geistergeschichten über Joe Cocker, Gespenster und Geister-Nachtclubs“ noch gut an die Jahre 1962–1968, in denen Terry Thornton Joe Cocker bis zu seinem Durchbruch 1968 begleitete und unterstützte. Aus seiner Sicht sahen diese sechs Jahre so aus: Terry war entschlossen, für den jungen großspurigen Cocker, einem unberechenbaren Wildfang, das Management zu übernehmen. Es war oftmals ein Kraftakt, Joe rechtzeitig nüchtern