Brunei, como Brunei Darussalam, foi o primeiro a participar dos Jogos Olímpicos em 1988, com um único funcionário, mas sem atletas. A nação esteve nos Jogos Olímpicos de Verão em 1996, 2000 e 2004. Cada vez que foi representada por um único atleta. Brunei nunca esteve presente nos Jogos Olímpicos de Inverno. Eles nunca ganharam uma medalha olímpica.
A partir de 2010, Brunei, junto com a Arábia Saudita e o Qatar, foi um dos três países que nunca enviaram uma atleta aos Jogos Olímpicos. O Comitê Olímpico Internacional em 2010 anunciou que iria "pressionar" esses países para permitir a participação das mulheres.
O Comitê Olímpico Nacional para Brunei foi formado em 1984 e reconhecido pelo Comitê Olímpico Internacional no mesmo ano.