中共党内巡视制度首先是为了传达中共的指示精神，确保政令畅通的迫切需要而产生。1921年11月，陈独秀在中央领导机构成立后起草了第一份文件《中国共产党中央局通告》。中央按照这一通告要求扩大宣传联络，加强统一领导，在中国劳动组织书记部成立后相继在各地建立分部，并派遣特派员来加强总部与分部之间的沟通联系。1922年7月中共二大通过的《中国共产党章程》明确规定：“中央执行委员会得随时派员到各处召集各种形式的临时会议，此项会议应以中央特派员为主席。”通过中央特派员向各地传达党中央的指示、策略和思想，进一步督促地方认真贯彻落实中央的各项决策方针，确保了全党上下政令畅通。

随着中共不断发展壮大，中共组织上的问题开始暴露出来。1927年12月的《中央通告第二十号》指明，中共目前最严重最紧急的就是组织改造，“中央需要派出了解会议决策精神、具有彻底改组能力的出色分子到重要的省和区指导改组并巡视”。只有这样，才能铲除潜伏在领导机关中的余毒，消灭党内个人英雄式的指导，使党的各项方针政策真正成为科学、集体的智慧结晶。另外，巡视指导制度的建立也能进一步检查和监督党员的思想和行为，查找党员自身是否存在旧有的机会主义和其他政治问题，进行排查和洗刷，并将党员团结在中央的政策指导下。

中共中央从1927年底开始制定具体的工作计划，首要便是派人巡视重要省份，督促两湖、江苏、浙江等省的各项工作情况，以及中央组织本身在建立党的机关、恢复各级党部关系、改造党部成分等方面的落实状况。为了尽快实施、推行巡视指导制度，广东率先制定了巡视员制度。随后，中共中央制定总的工作计划，强调加强重要省份的巡视、审查工作。

1928年6月下旬，瞿秋白在中共六大上提出组织新的工人支部来取代特派员、组织员，使工会真正成为群众自己的组织，激发群众的斗争积极性。在巡视制度形成之前，特派员制度在工人运动、农民运动、军事运动中代替巡视行使功能。随着工会、农会、支部的不断完善，巡视制度也开始建立，并且设了专门开展巡视工作的巡视员。这时特派员的作用和影响力就逐渐减弱，特派员制度逐步取消。

1928年10月8日，中共中央颁布《巡视条例》，要求各级党部及党员同志都引起重视、切实执行。《巡视条例》是建党以来第一个正式的规范性巡视制度文件，标志着党内巡视制度的正式确立，在中共党内巡视制度的发展历程中占据里程碑的地位。