中共组建中南海文工团酝酿于1953年夏季。当时，中南海每次举办舞会前都临时从各部队文艺团体抽调人，既不方便，也不利于安全保卫。因为各文艺团体都有自己的演出安排，进中南海同最高领袖接触的演员要经过审查，每个人的情况并不是一下就能查得很清楚的，如果人员有变化，就增加了审查的负担；另外即使是同一个人，随时间推移可能发生的变异也难于掌握。
毛泽东与中南海文工团舞蹈演员跳舞
在这种情况下，负责中南海安全保卫的公安部长罗瑞卿便以公安部的名义，致电中国人民解放军各兵种和大军区，抽调文工团员。1953年7月，电文经总政治部副主任萧华批准发出。
后来，此事被中央军委副主席彭德怀闻知，认为这个电报不该发。后来这事闹到毛泽东那里，1953年11月，毛泽东批示：“根本不应设此文工团，三反后又发生此事是不应该的。”在毛泽东做了批示后，筹建中南海文工团一事，遂被搁置。
据曾任总参谋部政治部主任的冯征介绍，1953年《朝鲜停战协定》签订以后，志愿军司令员彭德怀发现，由于胜利，一些人居功自傲的情绪在滋长，歌舞升平，追求享乐腐化的现象在发生。在访问前线的两个军部时，有人向他反映中南海“选妃子”的事情，他大为震惊。为此，他做了详细的调查，并利用7月回国的机会，立即奔向中南海，向毛泽东作了汇报，当面问毛泽东知道不知道？
冯征说，当时在挑选女团员时又过分严格，退回了几个，要求再选，引起了所在部队领导的不满。
另据《彭德怀全传》一书介绍，1953年彭德怀在朝鲜听说中央发电令向部队调文工团员，要求三个条件：政治上可靠，有一定的文化和技术水平，容貌端正。彭德怀认为毛泽东和刘少奇一定不知道这个电报，回国后一问，总政治部一个同志说是他自己发的。彭德怀写道：“我对他说不应该以中央名义向下调文工团员，特别是第三个条件，使别人觉得像选妃似的。因为这句话，在以后庐山会议和军委扩大会议上，有几个同志说我诬蔑主席是皇帝，不然为什么比作选妃呢？也成了我反对毛主席的材料之一了。”
1954年，彭德怀（左）和毛泽东在中南海怀仁堂后草坪（图源：浙江图书馆）
半年后，组建中南海文工团的事再度被提出来，理由还是安全问题，提议的人还是罗瑞卿。中央军委同意了，当时主持中央军委工作的正是彭德怀。这次毛泽东没有再反对。显然，舞还要跳，除此之外没有其他更妥的办法。
据《红墙童话：我家住在中南海》一书披露，中南海文工团组团报告中，对演员要求上有一条是要“相貌端正”，彭德怀不赞成，给去掉了。
命令下达到全军各个文艺团体的主管部门，抽调合格演员，到北京中南海报到。陆续到中南海报到的演员，主要来自华北军区文工团、华东军区文工团、总政治部文工团、志愿军文工团、空军文工团、海军文工团，最初有四十人左右，以后陆续又有调进调出的，最多时达七八十人。
中南海文工团归中共中央警卫团分管。主要分两个部分：一个是器乐队，一个是演出队，包括声乐、舞蹈、自编自演，同时还陪领袖们跳舞。宗旨很明确，为丰富中南海内娱乐活动，以毛泽东、刘少奇、朱德为重点。
1958年，志愿军全部从朝鲜撤回，解放军即开始大裁军。裁军中有一条规定，就是军和军以下单位，不得保留文艺团体的建制，只有大军区以上的单位，才能保留文工团。中央警卫团遵循规定，中南海文工团在同年夏天被撤销，仅仅存在四年。成员大多数去了北大荒，部分留在北京，还有人去了甘肃、湖南、浙江、福建等地。
