1966年前當選的委員是終生的,1999年11月底之前的當選的委員退休年齡是80歲，而之后當選的委員退休年齡是70歲。國際奧委會委員的人數逐漸增多,從1894年的5名增加到1914年的49名、1974年的78名、1992的95名(74國)、1998年9月的115名(84國),1999年6月因鹽湖城賄選丑聞減至105名(78國)。之后，國際奧委會規定，為了更好地體現國際單項體育聯合會、國家奧委會以及運動員代表在國際奧委會中的地位和聲音，允許一定數量的委員由來自這三方面的代表當選，這些委員只有當他們是擔任國際單項體育聯合會主席、國家奧委會主席和現任運動員時才有資格當選，一旦不再擁有這些職務和身份，也就從國際奧委會“退役”，與其年齡無關。到2003年10月國際奧委會一共有126名委員，其中14名是運動員委員。凡為國際奧委會服務滿10年,并由于年齡、健康或其他為國際奧委會執委會接受的理由退休的委員應成為名譽委員。名譽委員可以代表國際奧委會繼續他們的活動。除了不再擁有表決權外, 地位保持不變, 仍被邀參加奧運會、奧林匹克代表大會和國際奧委會全會。

    如果國際奧委會主席要求,名譽委員可以提出自己的建議。名譽委員可以被授予奧林匹克勛章。國際奧委會成立后的87年中沒有婦女委員。從1981年起開始接納婦女委員,芬蘭的海格曼和委內內拉的伊薩瓦-豐塞卡成為國際奧委會的首批女委員。現在國際奧委會126委員中有12名女性委員。自1922年王正廷擔任國際奧委會委員以來,中國先后有孔祥熙、董守義、徐亨（中國臺北）、何振梁、吳經國（中國臺北）、呂圣榮（女）、霍震霆（中國香港）和于再清進入國際奧委會, 何振梁現任國際奧委會文化委員會主任,曾任國際奧委會副主席和執委。