西方对于制度的研究最早始于古希腊，公元前5世纪，古希腊学者们就提出并考察了诸如社会起源、法律本质、道德基础、行动的个体与社会秩序等一系列与制度相关的问题。亚里士多德在其社会观中阐述了非理性因素与社会制度的联系，他认为，各种社会制度导源于人的基本本能，本能产生、决定各种集团和社团，最终形成各种社会关系。
马克思主义则把制度置于人类社会产生、发展和变迁的大环境中去考察，使得对制度的研究建立在历史唯物主义的基础之上。马克思在《德意志意识形态》中写道：“现存的制度只不过是个人之间迄今所存在的交往的产物”，这个简单的定义抓住了制度的核心特征——交往的产物，深刻地揭示了制度作为社会性关系范畴的本质。马克思进一步指出：“人们在生产中不仅仅影响自然界，而且也互相影响。他们只有以一定的方式共同活动和互相交换其活动，才能进行生产。为进行生产，人们相互之间便发生一定的联系和关系；只有在这些社会联系和社会关系的范围内，才会有他们对自然界的影响，才会生产。”这些“社会联系和社会关系”所蕴涵的规范性内容，其表现形态就是制度。马克思主义所关注的制度，主要是从社会形态的角度出发，经常使用的是“社会制度”、“经济制度”、“政治制度”这样的概念。
由于对制度基本要素的关注点不同，古今中外的学者对于“制度”概念的界定也不尽相同，其中，在经济学说史上对制度进行专门研究并将其贯穿于经济思想始终的，即“制度主义学派”，按其分析层次、环境及时间顺序的不同，“制度主义学派”又可分为“旧制度主义”和“新制度主义”两大阵营。
旧制度主义学派的奠基人凡伯伦，在1899年最早将制度定义为“实质上就是个人或社会对有关某些关系或某些作用的一般思想习惯，而生活方式所构成的是在某一时期或社会发展的某一阶段通行的制度的综合，因此,从心理学的方面来说，可以概括地把它说成是一种流行的精神态度或一种流行的生活理论”。旧制度主义学派的代表人物康芒斯则把制度解释为“集体行动控制个体行动”。他认为：“经济学研究的基本单位是交易，而交易有三种类型：买卖的交易、管理的交易和限额的交易，而制度是这三种类型的交易合在一起而成的经济研究上的一个较大的单位，根据英美的惯例，这叫做‘运行机构’。这种运行机构，有业务规划使得它们运转不停；这种组织，从家庭、公司、工会、同业协会、直到国家本身，我们称为‘制度’”。
新制度主义学派的道格拉斯•诺思则认为：“制度由一系列规则形式和规章形式的行为约束组成。而且，制度最终是由一系列道德的、伦理的和行为的规范组成的，这些规范限定了人的行动界限，并且制约着具体制定和实施的各种规则、规章的方式”（1984）；“制度是社会游戏的博弈规则，更规范的说是为决定人们的相互关系而人为设定的一些制约……用经济学的术语来说，制度定义和限制了个人的决策集合”（1990）；同时，诺思也认为：“制度是人为设计出来构建政治的、经济的和社会的互动关系的约束，由非正式的约束（奖惩、禁忌、习俗、传统及行为准则）和正式的规则（宪法、法律、产权）组成”（1991）。舒尔茨则将制度定义为：“一种行为规则，这些规则涉及社会、政治及经济行为”。拉坦则认为：“一种制度通常被定义为一套行为规则，他们被用于支配特定的行为模式的相互关系”。
1936年，凯恩斯的《就业利息和货币通论》出版，其经济思想开始在欧美流行。二战后，凯恩斯的追随者补充和发展起来的凯恩斯主义，在西方国家20世纪40至60年代一直占有主导地位。但是到了70年代初，美国和西欧国家先后出现了生产过剩的经济危机，凯恩斯经济学无法解释这些国家存在的种种严重的社会问题。在这样的背景下，新制度经济学为适应社会的需要而产生，它继承了早期制度学派的传统，并在制度研究方面有新的发展。新制度学派与早期制度学派的区别只是时代的差别。早期制度学派处在垄断资本主义发展阶段，新制度学派则处在垄断资本主义进一步发展的时期，后者更加强调社会的权力结构，以及国家调节经济的社会管理思想。
