江戸登城時の31星条旗
元麻布の善福寺に公使館を開設した時の33星条旗
ハリス離任時の34星条旗
一方、ハリスの外交官としての交渉能力は優れ、巧妙かつ強力に国益を追求し、1857年5月26日、下田条約を締結しました。これにより、31星の「星条旗」を掲示しつつ、ようやく江戸の向かうことができたのは、同年10月のことでした。
米第14代大統領フランクリン・ピアース（1804～69、在任は1853～57）
ハリスらの江戸出府、江戸城での将軍との謁見を許可したのでした。ハリス、ヒュースケンらの一行は10月21日に13代将軍の徳川家定に謁見してハリスを引き立てたピアース米大統領の親書を読み上げました。かくして、日本側（岩瀬忠震ら）に不平等条約として名高い「日米修好通商条約」を押し付けることに成功し、翌58年6月19日、砲艦ポーハタン号上での同条約調印にこぎつけました。
この間、1858年にはこの年に大老となった彦根藩主・井伊直弼が朝廷の勅許得ないままが締結され、ハリスは初代公使として江戸・元麻布の善福寺に公使館を開設したのでした。その時に掲げられた「星条旗」は32星、その後のハリスは弁理公使として3つ目の旗を在任中に掲げ、離任するときには34星の「星条旗」でした。
1860年にはこの条約の批准を届けるため、新見正興外国奉行をトップとする「万延元年遣米使節」団がそのポーハタン号で太平洋を越えました。その時に随行した咸臨丸は国旗「日の丸」を掲げたのでした。
そして1860年3月28日、サンフランシスコに到着したのですが、その時サンフランシスコで出迎えた「星条旗」は「33星」でした。
1860年にサンフランシスコで撮影されたと伝えられる咸臨丸
日米修好百年記念の日本の切手。
1862年には病気を理由に退任しましたが、民主党員であるハリスを共和党のエイブラハム・リンカーン大統領となっていた政権が排除したとか、ハリス自身が折からの南北戦争の故郷ニューヨーク州への影響を心配していたことを挙げる歴史家もいます。
ヒュースケン殺傷事件など日本の攘夷派の外国人襲撃行動に対し、イギリス、フランス、プロイセン、オランダの4か国代表は日本側に厳重な抗議を申し入れましたが、ハリスはこれには反対し、抗議行動には加わりませんでした。
日本においては、自らも、日本国内と海外における金銀比価の違いを利用して小判をどんどん買いまくり、それを上海などで売却して膨大な利益を得、このため日本から大量の金が流出しましたが、その多くを慈善事業に充てたとも伝えられています。
