Mielke se mantuvo lejos de Alemania. A finales de la década de 1930 participó activamente en la Guerra Civil española; por su cuenta, hizo méritos en Francia durante la Segunda Guerra Mundial. Sin embargo, tiempo después, Stalin le condecoró con varias medallas por los servicios prestados: parece evidente que, a partir de la mitad de la década de 1930, allá donde fuese, Mielke actuaba como sicario del servicio secreto de Stalin.
