Gray, profesyonel futbol kariyerine 1973'te, Dundee United'ta başladı. Dundee formasıyla çıktığı 62 lig maçında 46 gol kaydetti. Ekim 1975'te, First Division'a henüz yükselmiş Aston Villa'ya transfer oldu. 1976-77 sezonunda attığı 29 golle takımın en golcü oyuncusu oldu. Aynı sezon, İngiltere Lig Kupası şampiyonluğu yaşadı. Ertesi sezon ise 20 gol kaydederek bu başarısını tekrarlayan Gray, sezon sonunda İngiltere'de Yılın Genç Futbolcusu ve İngiltere'de Yılın Futbolcusu ödüllerini kazandı. Her iki ödülü de aynı yıl kazanan ilk oyuncu olan Gray'in bu başarısı, ancak 30 yıl sonra 2007'de Cristiano Ronaldo tarafından tekrarlanabildi.[1][2]
Eylül 1979'da, Villa'nın yerel rakiplerinden Wolverhampton Wanderers ile 1,5 milyon sterline anlaştı. Bu sayede zaman itibariyle Britanya'daki en pahalı transfer gerçekleşmiş oldu.[3] 1980 İngiltere Lig Kupası Finali'nde attığı golle takımına kupayı kazandıran Gray, 1981-82 sezonunda takımının küme düşmesine rağmen kulüpte kaldı. Ertesi sezon Wolves tekrardan bir üst lige çıksa da Gray, Kasım 1983'te Everton'a transfer oldu. Burada iki sezon boyunca forma giyerken 1984'te FA Cup, 1984-85 sezonunda lig ve Avrupa Kupa Galipleri Kupası şampiyonlukları yaşadı. 1985'te tekrardan FA Cup finali oynasa da takım, Manchester United'a 1-0 kaybederek ikincilikle yetindi.
1985-86 sezonunun başında Leicester City forması giyen Gary Lineker'ın Everton ile anlaşması üzerine daha az forma şansı bulmaya başladı.[4] Gray'in takımdan ayrılmasını istemeyen taraftarlara rağmen 10 Temmuz 1985'de, eski takımı Aston Villa'ya 150.000 sterlin karşılığında transfer oldu.[5]
Fakat Villa formasıyla eskisi kadar başarılı olamadı. 1985-86 sezonunda ligde çıktığı 35 maçta 5 gol kaydederken Villa, ligi düşme hattının hemen üstünde tamamladı. Ertesi sezon ise 19 lig maçında forma giymesine karşın golle tanışamadı. Sezonu sonuncu sırada tamamlayan Villa ise bir alt lige düştü. 1987-88 sezonuna Villa formasıyla başlayan Gray, Eylül 1987'de West Bromwich Albion'a transfer oldu. Bir yıldan daha az süre Albion'da top koşturdu ve kulüpteki tek sezonunda 35 lig maçına çıkarken 10 gol atmayı başardı.
1988 yazında, ülkesi İskoçya ekiplerinden Rangers'ın kadrosuna katıldı. Buradaki tek sezonu olan 1988-89 sezonunda İskoçya Premier Ligi şampiyonluğu yaşadı.[6] 1989-90 sezonunu ise Football Conference'ta mücadele eden Cheltenham Town'da geçiren Gray, sezon sonunda futbol hayatını sonlandırdı.
Eylül 1979'da, Villa'nın yerel rakiplerinden Wolverhampton Wanderers ile 1,5 milyon sterline anlaştı. Bu sayede zaman itibariyle Britanya'daki en pahalı transfer gerçekleşmiş oldu.[3] 1980 İngiltere Lig Kupası Finali'nde attığı golle takımına kupayı kazandıran Gray, 1981-82 sezonunda takımının küme düşmesine rağmen kulüpte kaldı. Ertesi sezon Wolves tekrardan bir üst lige çıksa da Gray, Kasım 1983'te Everton'a transfer oldu. Burada iki sezon boyunca forma giyerken 1984'te FA Cup, 1984-85 sezonunda lig ve Avrupa Kupa Galipleri Kupası şampiyonlukları yaşadı. 1985'te tekrardan FA Cup finali oynasa da takım, Manchester United'a 1-0 kaybederek ikincilikle yetindi.
1985-86 sezonunun başında Leicester City forması giyen Gary Lineker'ın Everton ile anlaşması üzerine daha az forma şansı bulmaya başladı.[4] Gray'in takımdan ayrılmasını istemeyen taraftarlara rağmen 10 Temmuz 1985'de, eski takımı Aston Villa'ya 150.000 sterlin karşılığında transfer oldu.[5]
Fakat Villa formasıyla eskisi kadar başarılı olamadı. 1985-86 sezonunda ligde çıktığı 35 maçta 5 gol kaydederken Villa, ligi düşme hattının hemen üstünde tamamladı. Ertesi sezon ise 19 lig maçında forma giymesine karşın golle tanışamadı. Sezonu sonuncu sırada tamamlayan Villa ise bir alt lige düştü. 1987-88 sezonuna Villa formasıyla başlayan Gray, Eylül 1987'de West Bromwich Albion'a transfer oldu. Bir yıldan daha az süre Albion'da top koşturdu ve kulüpteki tek sezonunda 35 lig maçına çıkarken 10 gol atmayı başardı.
1988 yazında, ülkesi İskoçya ekiplerinden Rangers'ın kadrosuna katıldı. Buradaki tek sezonu olan 1988-89 sezonunda İskoçya Premier Ligi şampiyonluğu yaşadı.[6] 1989-90 sezonunu ise Football Conference'ta mücadele eden Cheltenham Town'da geçiren Gray, sezon sonunda futbol hayatını sonlandırdı.