Dans une brèche des falaises de calcaire de la rive sud de la rivière des Outaouais, tout juste en aval des rapides de la Chaudière, des militaires britanniques et des manouvres civils entreprennent la construction d'un canal qui permettra de circuler par voie fluviale de Montréal, dans le Bas-Canada, à Kingston, dans le Haut-Canada, sans craindre les attaques des Américains. Les Royal Engineers, avec à leur tête le lcol John By, réalisent les travaux d'arpentage, de conception, d'aménagement et de construction de cet ouvrage militaire qui relie entre eux des rivières et des lacs pour former une voie navigable de 200 km de longueur et d'au moins 1,5 m de profondeur. Cet ouvrage, digne des travaux d'Hercule, est dirigé par le lcol By depuis son campement, sur la rivière des Outaouais, où déjà des colons commencent à s'établir.

Le LCol By arrive en mai; à la retraite en Angleterre, il a été remis en service actif vu son expérience de la construction d'écluses sur le Saint-Laurent et de la réfection des fortifications de Québec. Avec ses officiers et ses hommes, il passe l'été à explorer la forêt quasi vierge, et arpente la première section du canal. Il fait aussi venir de la main-d'ouvre à contrat : des tailleurs de pierre d'Écosse et des terrassiers d'Irlande qui peuvent pelleter 7,5 m3 de terre par jour. L'aménagement, l'arpentage et l'administration se font en hiver tandis que l'été, on s'affaire à la construction. Avec des outils à main, de la poudre à canon et des boufs, les terrassiers et les tailleurs de pierre donnent forme à la voie navigable qu'ils arrachent à la forêt et aux marais où pullulent les moustiques. La maladie les accable, notamment la malaria qui, souvent, est mortelle.

Lors de sa mise en service, en mai 1832, le canal Rideau est un prodige du génie civil. Avec ses 47 écluses et ses 50 barrages, il amène les bateaux venant de la rivière des Outaouais au niveau du chenal de portage à Newboro (83 m), puis les ramène au niveau du lac Ontario, à Kingston, 54 m plus bas. Le coût est cependant faramineux : 1 million £, ce qui en fait le projet auquel les Britanniques auront consacré le plus d'argent dans leurs colonies au Canada. Le lcol By est rappelé en Angleterre en 1832 et est accusé d'avoir engagé des dépenses non autorisées. Il mourra, brisé, en 1835. 

Dans le Haut-Canada, son « camp de base » devient d'abord un village nommé Bytown, puis, en 1855, la ville d'Ottawa.