La ville dispose d'une situation privilégiée au bord du Rhône, c'est-à-dire au cœur de l'axe rhodanien. Situé à 25 kilomètres au sud de Valence et 25 kilomètres au nord de Montélimar, Le Pouzin est également à 6 kilomètres à l'ouest de Loriol-sur-Drôme, sur la rive droite du Rhône, au débouché de la vallée de l'Ouvèze et de la bifurcation entre les départementales 86 et 104. Les deux localités sont reliées par la RD 104 et un pont sur le Rhône. Plus au sud, la commune est riveraine de la Payre, une petite rivière encore sauvage qui se transforme en torrent furieux lors des grandes averses.

Battu par les vents, le plateau des Grads (ou Gras, selon les textes et les traditions) est une série de surfaces calcaires jurassiques et de collines, découpées par les canyons de l'Ouvèze, de la Payre et de nombreux ruisseaux intermittents. Surplombant de 150 à 250 m la vallée du Rhône par des pentes abruptes, sauvages et coupées de barres rocheuses, ce sont en fait les derniers causses de l'avant-pays du Massif central, vers le nord. Longtemps terres de pacage ovin et caprin, il est toujours partagé en quelques propriétaires de mas et sillonnés de chemins de chasse et de randonnée, avec des points de vue splendides sur le plateau du Coiron, le début des Boutières et, vers l'est, le Vercors.

Alors que la partie nord du Pouzin est enserrée entre le Rhône et le plateau calcaire des Grads qui la domine, au sud de l'Ouvèze la vallée s'élargit (La Plaine). Ceci permet une extension importante et récente de l'urbanisation dans cette direction, et le maintien d'une agriculture sur des sols fertiles inondables. Au-delà du Rhône, les terrains de Chambenier aujourd'hui en cours d'industrialisation forment une sorte d'enclave ardéchoise du côté drômois; c'est une forme de prolongement de la plaine.

Ouvèze

Longue de 27,3 km, l'Ouvèze prend sa source sur la commune de Saint-Priest, au Col de l'Escrinet à 700 m d'altitude. Elle arrose Privas, préfecture de l'Ardèche, Coux, Flaviac et Saint-Julien-en-Saint-Alban et conflue avec le Rhône en rive droite au Pouzin à 92 m d'altitude.

Le pont romain

Après la romanisation des tribus gauloises, le site du Pouzin devint un bourg romain, au confluent de l'Ouvèze et du Rhône. Les vestiges ont été souvent détruits par des fouilles archéologiques anciennes ou des aménagements consécutifs aux bombardements de 1944.

Les traces du passé romain restent pourtant nombreuses et parfois difficiles à interpréter. Le pont romain permettait à la voie de traverser l'Ouvèze à cet endroit à l'époque où, sans doute, les bateliers gallo-romains remontaient et descendaient le Rhône entre la région très peuplée de Vienne et Lyon, et la Provence méditerranéenne au sud.

Les siècles difficiles de l'Empire tardif voient une réoccupation momentanée de l'ancien site de l'oppidum, signalant une époque troublée imposant des mesures de défense.

Le pont romain sur l'Ouvèze remonterait au iie siècle et correspondait au passage de la voie d'Antonin, et peut-être d'une voie de pénétration vers le col de l'Escrinet
 

Le Pouzin est ainsi une des principales portes de l'Ardèche, puisqu'il est possible de rejoindre la préfecture de Privas en une quinzaine de minutes par la vallée de l'Ouvèze ou en une vingtaine de minutes par la vallée de la Payre. Par ces routes, la montagne ardéchoise est facilement accessible via le col de l'Escrinet. Le Pouzin est une petite ville de cette portion de l'Ardèche appelée Moyen-Vivarais. Une importante partie du Moyen-Vivarais forme aujourd'hui la communauté de communes Privas-Rhône-Vallées. Une sorte d'agglomération privadoise est en train de se constituer, mais d'un genre particulier car intégrant de nombreux espaces périurbains, entre le col de l'Escrinet et Le Pouzin.

Alors que la partie nord du Pouzin est enserrée entre le Rhône et le plateau calcaire des Grads qui la domine, au sud de l'Ouvèze la vallée s'élargit (La Plaine). Ceci permet une extension importante et récente de l'urbanisation dans cette direction, et le maintien d'une agriculture sur des sols fertiles inondables. Au-delà du Rhône, les terrains de Chambenier aujourd'hui en cours d'industrialisation forment une sorte d'enclave ardéchoise du côté drômois ; c'est une forme de prolongement de la plaine, qui s'étend jusqu'à l'embouchure de la rivière Drôme

Église Sainte-Madeleine du Pouzin