Mielke huyó a Moscú. Allí asistió a la Escuela Internacional Lenin, una institución de elite para formar a líderes comunistas, y al mismo tiempo trabajó para la policía secreta de Stalin, la NKVD. En enero de 1933, el Partido Nazi subió al poder en Alemania. Algunos de los comunistas responsables de los asesinatos de Bülowplatz fueron sentenciados a muerte; otros, a largas condenas. Se ordenó su arresto.