Armour nasceu em Edimburgo, na Escócia e educado no Fettes College e na Universidade de Edimburgo.
Durante o seu serviço na I Guerra Mundial, Armour chegou a Major no Batalhão Tank Corps. A sua conduta rendeu-lhe uma audiência com George V. No entanto, perdeu a visão numa explosão de gás mostarda e os cirurgiões tiveram que colocar-lhe uma placa de metal no seu braço esquerdo e na cabeça. Durante a sua convalescença, recuperou a visão de seu olho direito que lhe permitia jogar golfe.
Armour ganhou o torneio French Amateur em 1920. Mudou-se para os Estados Unidos e conheceu Walter Hagen, que lhe deu um emprego como secretário do clube Westchester-Biltmore. Tornou-se cidadão dos EUA nessa altura. Em 1924 Armour tornou-se jogador de golfe profissional.
Armour ganhou o US Open de 1927, o PGA Championship de 1930 e o British Open de 1931. A sua campanha de 1930 foi ofuscada pelo Grand Slam de Bobby Jones e Armour parece ter sido esquecido.
No Shawnee Open em 1927, Armour bateu o primeiro "Archaeopteryx" de sempre (15 ou mais acima do par) quando fez um 23 num par 5, para 18 acima do par. Esta ainda permanece como a maior pontuação num buraco na história do PGA. Este desempenho histórico aconteceu apenas uma semana após vencer o US Open.
Armour retirou-se do golfe profissional, após a temporada de 1935 e ensinou no Boca Raton Club na Flórida, por US $50 por aula. Entre os seus alunos incluem-se Babe Didrikson Zaharias e Lawson Little.
Durante a II Guerra Mundial, Armour jogou em exibições para USO e Cruz Vermelha.
Armour co-escreveu um livro "How to Play Your Best Golf All the Time", como jogar o seu melhor golfe o tempo todo (1953) com Herb Graffis. Tornou-se num best-seller e por muitos anos foi o livro escrito para golfe mais vendido de sempre. Uma série de filmes baseados no livro foram lançados pela Castle Films, incluindo Short Game parts I and II, Long Hitting Clubs, Grip and Stance.
Armour morreu em Larchmont, Nova Iorque e foi cremado no cemitério de Ferncliff, em Hartsdale, Nova Iorque, mas não está enterrado lá. Alguns equipamentos de golfe moderno ainda são comercializados com o seu nome.
A Armour sucedeu o seu neto, Tommy Armour III, que é um duplo vencedor no PGA Tour e actualmente detém o recorde para a menor pontuação total em 72 buracos (254), que estabeleceu em sua segunda vitória do PGA Tour no Valero Texas Open.
Armour foi eleito para o World Golf Hall of Fame em 1976.
Vitórias no PGA Tour (25)
1920 (1) Pinehurst Fall Pro-Am Bestball (como amador, com Leo Diegel)
1925 (1) Florida West Coast Open
1926 (1) Winter Pro Golf Championship
1927 (5) Long Beach California Open, El Paso Open, U.S. Open, Canadian Open, Oregon Open
1928 (4) Metropolitan Open, Philadelphia Open Championship, Pennsylvania Open Championship, Sacramento Open
1929 (1) Western Open
1930 (3) Canadian Open, PGA Championship, St. Louis Open
1931 (1) British Open
1932 (3) Miami International Four-Ball (with Ed Dudley), Mid-South Bestball (com Al Watrous), Miami Open
1934 (2) Canadian Open, Pinehurst Fall Pro-Pro (com Bobby Cruickshank)
1935 (1) Miami Open
1936 (1) Walter Olson Golf Tournament (empetado com Willie Macfarlane)
1938 (1) Mid-South Open
Os Major championships estão sublinhados a bold.
Outras vitórias
1920 French Amateur
1927 Miami International Four-Ball (com Bobby Cruickshank)
Major championships
Vitórias (3)
1927 U.S. Open
1930 PGA Championship
1931 The Open Championship