Η ποίησή του χαρακτηρίζεται από ευαισθησία και καλοσύνη, στοιχεία άλλωστε που χαρακτήρισαν και την ίδια του τη ζωή. Ο Ιωάννης Πολέμης εντάσσεται στη Νέα Αθηναϊκή Σχολή που αντιτάχτηκε στην υπερβολή και τον άκρατο ρομαντισμό, ενώ παράλληλα καθιέρωσε (όπως οι Παλαμάς, Δροσίνης) τη δημοτική γλώσσα στην ποίηση. Είναι ποιητής των χαμηλών τόνων, αισθηματικός, μελωδικός λυρικός και δραματικός. Το έργο του, που είχε πρωτοφανή λαϊκή απήχηση, διακρίνει ο μελωδικός στίχος, η απλότητα και ο αβίαστος συμβολισμός. Πολλά από τα ποιήματά του μελοποιήθηκαν. Το 1918 τιμήθηκε με το Αριστείο των Γραμμάτων για την προσφορά του στα ελληνικά γράμματα.
Ο Ιωάννης Πολέμης έγραψε ακόμα δράματα, ποιήματα για παιδιά, λίγα διηγήματα, ενώ επιμελήθηκε ποιητικές ανθολογίες.