Em 1966, Harrison casou-se com uma modelo, Pattie Boyd, mas eles se divorciaram em 1971, e não tiveram filhos. Boyd deixou Harrison para estar com seu amigo, o guitarrista Eric Clapton, mas todos os três permaneceram amigos. Harrison casou-se novamente em 1978, com Olivia Trinidad Arias, nascida nos Estados Unidos, que havia trabalhado para sua gravadora. Arias tornou-se a mãe do filho de Harrison, Dhani, cujo nome é composto pelos nomes de duas notas na escala da música indiana. Dhani cresceu e se tornou um músico como seu pai, encabeçando a banda entãoewno2. Ele estudou na Universidade de Brown, nos Estados Unidos.
No final dos anos 70, Harrison formou uma produtora de filmes, a Handmade Films, que produziu filmes incluindo Monty Python's Life of Brian e Terry Gilliam's Time Bandits.
Os terrenos da casa de Harrison, Friar Park, tinham estado mais ou menos abertos ao público, até o assassinato de seu antigo companheiro de banda John Lennon no final de 1980. Harrison ficou muito ferido e chocado com a morte de Lennon, e temia que alguém tentasse prejudicá-lo ou a sua família. Em seguida, os portões foram trancados, e avisos de não entrada foram afixados. Em dezembro de 1999, um intruso invadiu sua casa, apunhalando-o com uma faca. Harrison e sua esposa Olivia detiveram o intruso e chamaram a polícia. Harrison se recuperou. O homem que o atacou é esquizofrênico e foi absolvido de tentativa de assassinato por insanidade em novembro de 2000 no Tribunal da Coroa de Oxford. Ele foi enviado a um hospital psiquiátrico e liberado em 2002.