自古以来台湾就是中国领土不可分割的一部分。1949年中华人民共和国成立后，部分国民党集团成员退居台湾，造成两岸分裂局面。为缓和两岸对立的紧张局势，早日实现祖国统一，上个世纪50年代中期开始，毛泽东、周恩来等老一辈国家领导人就在积极探索能否用和平方式解决台湾问题，并就此问题提出了一些重要的思想和原则。因此“一国两制”思想虽然正式形成于党的十一届三中全会以后，但在十一届三中全会以前，在党的第一代领导人那里就已经开始孕育、萌芽。
在1955年4月召开的万隆会议上，周恩来代表我国政府谴责“美国在台湾地区继续制造紧张局势”，阐明了我国政府对台湾问题的原则和立场，强调指出：“中国人民解放自己领土台湾和沿海岛屿的要求是正义的，这完全是内政和行使自己的主权，并得到了许多国家的支持。”5月，他在第一届全国人大常委会第十五次会议上汇报万隆会议情况时进一步指出：“中国人民解放台湾有两种可能的方式，即战争方式和和平方式，中国人民愿意在可能的条件下，争取用和平的方式解放台湾。”1956年6月，周恩来在第一届全国人民代表大会第三次会议上的报告第三部分，专门讲了解放台湾的问题。他说：中国人民一定要解放台湾，这是我国六万万人不可动摇的政治意志。我国政府曾经再三指出：中国人民解放台湾有两种可能的方式，即战争的方式和和平的方式；中国人民愿意在可能的条件下，争取用和平的方式解放台湾。这些都充分表明了我党第一代领导人努力争取用和平方式解放台湾、统一祖国的真诚意愿。
1958年，美国公然挑衅，台湾海峡局势紧张。毛泽东等领导人及时调整对外战略，指挥了闻名中外的炮击金门战役，这是我国政府围绕台湾问题处理对外关系的一个重大决策。60年代初，两岸关系有所缓和，周恩来进一步将毛泽东关于和平解决台湾问题的思想概括为“一纲四目”。
老一代领导人对解决台湾问题，实现和平统一的积极探索，为“一国两制”构想的提出提供了宝贵的理论依据和思想来源。
1978年12月召开的党的十一届三中全会，是一次具有深远意义的会议。会上决定把工作重心转移到经济建设上来。为顺利实现这一中心目标，我国的内政、外交政策也作出相应调整。进行社会主义现代化建设，需要一个长期和平稳定的内外环境，而台湾问题，如果能以和平方式解决，不仅有利于保持稳定的国内外环境，而且有利于世界的和平与发展。同时，中美两国正式建交等国际形势的发展变化也为我国采取和平方式解决台湾问题提供了有利契机。党的十一届三中全会公报明确指出：“全会认为随着中美关系正常化，我国神圣领土台湾回到祖国怀抱、实现祖国统一大业的前景，已经进一步摆在我们的面前。”这就为“一国两制”构想的形成提供了现实性和可行性。
1979年1月，全国人大常委会发表了《告台湾同胞书》，正式宣布以和平方式实现祖国统一。“从这一天起，我们‘把台湾归回祖国、完成祖国统一大业提到具体的日程上来了。”’
1981年9月，叶剑英委员长发表了关于台湾回归祖国、实现和平统一的方针政策。具体提出九方面内容，包括：实行第三次合作；国家统一后，台湾有高度自治权，并保留军队；台湾现行各类制度不变等九条方针。事实上这九条的基本内容就是“一个国家，两种制度。”1982年1月邓小平在会见李耀基先生时，第一次把解决台湾回归祖国、实现祖国和平统一的构想概括为“一国两制”（即“一个国家，两种制度”），并把这一构想的适用范围第一次扩大到香港问题的解决。同年9月，邓小平在会见英国首相撒切尔夫人时，阐明我国政府对香港问题的基本立场，并明确表示我们准备用在考虑解决台湾问题时提出的基本办法即“一国两制”构想来解决香港问题。
1984年5月，第六届全国人民代表大会第二次会议审议批准的《政府工作报告》指出：“统一祖国，振兴中华，是历史赋予我们的神圣使命。”“从国家和民族的根本利益出发，鉴于历史的经验和台湾的现实，我们提出了祖国统一之后可以实行‘一个国家，两种制度’的设想。”这表明，“一国两制”构想已成为一种具有法律效力的基本国策它标志着邓小平“一国两制”构想的正式形成和确立。
“一国两制”思想体现了唯物辩证法的思想。“一国两制”的根本理论基础是实事求是、一切从实际出发。对此，邓小平同志曾明确指出：如果‘一国两制’的构想是一个对国际上有意义的想法的话，那要归功于马克思主义的辩证唯物主义和历史唯物主义，用毛泽东主席的话来讲就是实事求是。…一国两制”思想发展了马克思主义关于国家学说的理论。多数研究者认为，“一国两制”的科学构想突破了单一制国家结构形式的传统观念，按照马克思主义的观点，无产阶级夺取政权所建立的新国家，其结构形式一般为单一制共和国，但也不排斥联邦制。“一国两制”构想提出了一种新的国家结构形式——具有复合制某些特征的单一制国家结构形式。对此，有的学者认为，这种具有复合制某些特征的单一制国家结构模式的提出，是对马克思主义国家学说的新贡献。
“一国两制”在港澳的成功实践，不仅证明这一理论的正确，也是对该理论实践性的检验和发展。1982年12月4日，五届全国人大五次会议通过了《中华人民共和国宪法》，其中第31条规定“国家在必要时设立特别行政区，在特别行政区内实行的制度按照具体情况由全国人民代表大会以法律规定”。根据该根本法规定，香港、澳门先后分别制订了《香港基本法》和《澳门基本法》，并据此先后实行了“一国两制”，均获得了成功。
香港回归12年来，在中央人民政府、特区政府和香港同胞的共同努力，“一国两制”的“新香港”建设，尽管在民主化的政治改革、政治发展等方面，出现了许多的矛盾、困难，但是，克服了亚洲金融危机冲击、非典疫情等带来的严重困难和挑战，维护了香港社会大局稳定，实现了经济复苏，香港各项事业取得长足进步。胡锦涛同志在庆祝香港回归祖国10周年大会暨香港特别行政区第三届政府就职典礼的大会上说：“今天的香港，社会保持稳定，经济更加繁荣，民主有序发展，民众安居乐业，展现出一派欣欣向荣的气象。”他同时强调说：“事实无可争辩地证明‘一国两制’方针是完全正确的，香港同胞完全有智慧、有能力管理好香港，伟大的祖国始终是香港繁荣稳定的坚强后盾！”
在澳门问题上，根据澳门地区的特点，依据《澳门基本法》，把“一国两制”原则具体化和法律化。澳门在行政隶属上直辖于中央政府，除外交事务和国防事务外，其余都由特别行政区自行管理，真正的“澳人治澳、高度自治”的政策。同时享有“四权”，即行政管理权、立法权、独立的司法权和终审权；“四自”，即自行确定财政金融制度、自行发行货币、自行维持社会治安、自行制定社会和文化政策及制度，包括教育、文体、医疗卫生、科学技术、新闻出版、劳动保险等各方面的政策和制度；“四不变”，即50年内，政治制度不变，经济制度不变，原有的生活方式不变，原有的法律基本不变。回归10年来，澳门整体经济形势日趋好转。
“一国两制”是在实践中不断丰富和发展起来的。在未来对台湾的实践中，可以吸取港澳地区实行“一国两制”的经验。关于“一国两制”的台湾新模式，这里有几个条件是必须遵循的：条件之一是“原则”。就是要遵循“一个中国”的原则，在这个原则下什么问题都可以商谈；第二是“和平解决”。必须是外国不介入，台湾不“独立”。第三是“民主”。就是在两岸间，充分发扬民主，广泛征求意见，尤其是要将台湾民众一切合理可行的要求和意见都纳入未来的《台湾基本法》。第四是“平等”。 回顾过去，展望未来。设计一种两岸和平统一的模式是一项艰巨而复杂的工作，凭借着13亿中国人的智慧和两岸同胞和平统一的共同愿望，相信一定能够在一个中国的框架下寻找出让两岸双方都能接受的办法和途径。