La introducción de la ideología comunista en China fue obra fundamentalmente de dos hombres: Chen Duxiu y Li Dazhao. Este último había fundado un grupo de estudio del marxismo en la Universidad de Pekín, donde trabajaba como bibliotecario. Precisamente en la biblioteca de la Universidad de Pekín trabajaba también el futuro líder comunista Mao Zedong, aunque parece que ambos, Mao y Li, nunca llegaron a entablar una relación personal.
Las actividades políticas de Li Dazhao llamaron la atención de Chen Duxiu, decano de la universidad y editor de la famosa revista reformista Nueva Juventud. Chen invitó a Li a editar un número especial monográfico de Nueva Juventud sobre el marxismo, que finalmente se publicaría en el otoño de 1919. La publicación de este número de Nueva Juventud, en un momento en que el movimiento de reforma política y cultural conocido como Movimiento del Cuatro de Mayo estaba en plena eclosión, atrajo a muchos lectores de la influyente revista, incluido el propio Chen Duxiu, hacia el marxismo.
Li Dazhao fue, de esta manera, el introductor del marxismo como ideología en China. En colaboración con Chen Duxiu, comenzó a atraer a jóvenes interesados en el marxismo y el movimiento despertó la atención de la Unión Soviética, que a través de la organización internacional Komintern intentaba promover el comunismo en el mundo.
Dos agentes de la Komintern, el ruso Grígori Voitinski y el chino educado en Siberia Yang Mingzhai, fueron enviados por Lenin a China para contactar con activistas marxistas. Al llegar a Pekín en 1920, se entrevistaron con Li Dazhao, quien les recomendó que hablaran también con Chen Duxiu, a la sazón en Shanghái. Voitinski y Yang viajaron hasta esta ciudad, donde ofrecieron a Chen el apoyo tanto económico como logístico de la Unión Soviética para fundar un partido comunista.
La fundación formal del Partido Comunista de China se produjo en una reunión en Shanghai el 1 de julio de 1921. Chen Duxiu, que en aquel momento se encontraba en Cantón, no pudo asistir a la reunión, pero fue nombrado secretario general del partido in absentia. Unos días después, el 23 de julio de 1921, se inauguraba, también en Shanghai, el I Congreso Nacional del Partido Comunista de China, en el que participaron doce delegados, entre ellos Mao Zedong, que aprobaron los estatutos del nuevo partido.
En sus primeros años, el PCCh estuvo bajo la influencia total de la Komintern, que transmitía las directrices decididas en Moscú. Debido al aún pequeño número de seguidores del partido y a la ausencia en China de una clase urbana que pudiera llevar a cabo una revolución al estilo soviético, la Komintern instó a Chen Duxiu a formar una alianza con el partido nacionalista Kuomintang de Sun Yat-sen que, aunque no comunista, compartía muchos de los aspectos revolucionarios y organizativos del leninismo.
Sin embargo, la colaboración con el Kuomintang se vino abajo tras la muerte de Sun, cuando el sector más conservador de ese partido, liderado por Chiang Kai-shek, se hizo con las riendas del Kuomintang rompiendo la colaboración con los comunistas. Desde su nueva posición de poder en Nanjing, donde se había establecido de nuevo la capital de la República de China en 1927, Chiang Kai-shek lanzó una ofensiva contra los comunistas, a la par que el señor de la guerra Zhang Zuolin hacía lo mismo en el norte.
Muchos comunistas, incluido Li Dazhao, fueron ejecutados. Chen Duxiu fue blanco de críticas por su supuesta pasividad, e intentó distanciarse de la Komintern. Sin embargo, el papel de la Komintern en la organización y la financiación del partido era fundamental y Chen Duxiu fue despojado de sus cargos en una reunión de emergencia en Wuhan el 7 de agosto de 1927, en la que no participó Chen, que no pudo defenderse de las acusaciones contra su persona. Chen Duxiu se convertiría en líder de los trotskistas chinos mientras que el PCCh entraría en una fase de crisis debido al acoso del ejército republicano del KMT. Durante esta época se sucedieron varios líderes del partido apoyados por Moscú, como Zhang Xiangfa, Qu Qiubai o Li Lisan que no conseguirían, sin embargo, mejorar la situación del Partido.
