Sein Debüt in einem Kinofilm gibt er 1991 in Helmut Dietls Komödie Schtonk!: Er spielt den Soldaten am Anfang des Films, der seinem Vorgesetzen meldet: "Der Führer brennt nicht!" Im gleichen Jahr sieht man Armin Rohde als "Bierchen" in Sönke Wortmanns Kleine Haie.

Ein Jahr später gibt er sein TV-Debüt in dem Tatort Der Fall Schimanski (Regie Hajo Gies). 1995 spielt er die Hauptrolle des Kaschinksi in der 13-teiligen WWF-Serie Auf Achse. Er tritt in zahlreichen Fernsehfilmen wie Gefährliche Freundin von Hermine Huntgeburth (1996), Das Gelbe vom Ei von Lars Becker (1998), Kein Weg zurück von Volker Vogeler (1999) und der Pommery-Reihe des ZDF von Manfred Stelzer auf (2002, 2004).

Im Jahr 2000 erhält Armin Rohde seine erste Auszeichnung: die 'Goldene Kamera' als Bester Charakterschauspieler für seine Leistungen in Filmen wie Der bewegte Mann (1994) und St. Pauli Nacht (1998) von Sönke Wortmann, Das Leben ist eine Baustelle von Wolfgang Becker (1996) und Rossini von Helmut Dietl (1996). Im Jahr 2001, da läuft gerade sein Film 666 - Trau' keinem, mit dem du schläfst von Rainer Matsutani im Kino, zeichnen ihn die Leser der Zeitschrift Cinema mit dem Jupiter als Bester Darsteller in Kinofilmen aus.

Armin Rohde ein Bambi für seine Rolle in dem TV-Zweiteiler Das Wunder von Lengede, für die er ein Jahr später auch mit dem Grimme-Preis ausgezeichnet wird, der außerdem seine Leistung in dem SAT.1-Film Dienstreise würdigt. Ebenfalls im Kino ist Armin Rohde in Tom Tykwers Lola rennt (1997), in Das Sams I und Das Sams II von Ben Verbong (2000, 2003) sowie Taking Sides von Istvan Szabó (2000) zu sehen.

Im Kino war Armin Rohde zusammen mit Uwe Ochsenknecht bisher nicht zu sehen - dieses Vergnügen hatten nur Fernsehzuschauer in dem ZDF-Film Nachtschicht von Lars Becker (2002) oder in der Aufzeichnung von Doris Dörries Theaterinszenierung Ein seltsames Paar (ebenfalls ZDF, ebenfalls 2002).

In Die Bluthochzeit spielt er Hermann Walzer, der ein schwerreicher Eifeler Großkotz ist, dessen rechthaberische Sturköpfigkeit nicht nur zu Problemen mit seinem sensiblen Sohn Mark führt, sondern an dessen Hochzeitstag - beinahe - zu einer Katastrophe. Denn wenn Walzer seinen Willen durchsetzen zu müssen meint, dann darf ihm schon gar nicht ein "Versager" wie Franz Berger (Uwe Ochsenknecht) in die Quere kommen.