1871年10月に、教育システムの調査でヨーロッパへ渡った畠山は、岩倉使節に合流のため、フランスからアメリカへの帰国を命じられる。
畠山と同時に、大蔵省関係でヨーロッパに渡っていたモンソン組留学生きっての優等生、大原令之助こと、後の初代日銀総裁、吉原重俊にも同じく岩倉使節合流の命令が下り、畠山と吉原は同じ船でリバプールからNYへ戻って来る。NY着は1872年1月28日である。
このとき、ニュージャージー大学（現在のプリンストン大学）留学準備のためプリンストンにいる（コーウィンという改革派教会関係者の家に通っているので、この頃に住んでいるのはミルストンかも知れない）折田彦市が、最上五郎に聞いた話として、畠山と大原がアメリカへ戻って来ることを1月20日の日記に綴っている。
岩倉使節のサンフランシスコ到着は72年の1月15日なので、畠山がNYへ戻った頃には、既に岩倉一行はアメリカには着いている。そして、一行のワシントン到着直後（恐らく、会った翌々日くらい）に、畠山、吉原の二人は岩倉使節の三等書記官になる。従って、ロンドンを出るときには、岩倉使節に正式に随行する立場として出発しておらず、アメリカでの現地雇いの通訳ガイドがアメリカに戻った時点での畠山の仕事であったようだ。それが、合流するなり三等書記官になった、ということのようだ。
久米邦武は岩倉一行の視察旅行を記した「米欧回覧実記」の前書きに、「諸場館に於て記述せる所は、其行走の際に、親しく審問せるを録す、此に当て、畠山氏実に其慇懃をつくしたり」と書いている。つまり、回覧実記は、筆者は久米で、いろんなところへ行ってインタビューしたのは畠山だ、ということだ。「実にその慇懃をつくし」ている、という表現に、畠山らしい様子と、畠山を一貫して「ごく正直で真摯な学者」と称した、久米の畠山に対する評価が伺える。アメリカ人の方では、マーリーやクラークが、日本帰国後に、岩倉使節の報告作成に忙殺されている様子を告げているが、畠山が回覧実記に直接的に関わったという日本側の記述はこれ以外には知らないので、この前書きを残してくれた久米の友情に感謝だ。
岩倉使節団は1月15日にサンフランシスコに到着するのだが、ユタで大雪のため足留めを食って当初の予定から大幅に遅れ、ワシントンDCには2月29日になってようやく到着する。
木戸日記では、畠山は、長州の名和道一（緩）と共に、前日の28日、ピッツバーグで合流している。名和は長州人で、森有礼と共にワシントンDCの日本公使館に赴任し、当時の領事館員のような職にある。
名和は、当時ラトガースにいる服部一三の養父（養子関係）で、岩倉使節がアメリカを離れた後には、ボストン大学（ユニバーシティの方。ボストンは、ユニバーシティとカレッジとあって、別の学校）に入るが、1873年暮れにアメリカで病気のために亡くなってしまう。
岩倉使節には、各地で現地留学生が公式、非公式に補佐した。アメリカでは、ボストン近郊から新島襄が主に田中不二麿についたようだし、アナポリスにいた松村淳蔵が、夏休みでイギリスまで随行したり、吉原も、条約改正の勅状を取りに帰国する大久保に随いて日本へ往復している。ラトガース大学へ入ったばかりと思われる（渡米はもっと前なので、恐らくそれまではグラマースクールか近隣の学校）白峰駿馬も、肥後の安場保和に随いて帰国している。畠山も岩倉使節に合流した時点では、彼等と同様、通訳兼世話係という程度の位置だったと思われる。
畠山がDCで滞在していたのは、久米の談によればウォームリーハウス（右の写真がWormley Hotel）だという。久米は、その後、ここへ宿替えをしたそうだ。
ウォームリーハウスは、現在は建物はないが、当時、黒人がオーナーで、黒人史跡としても知られており、記念碑があるようだ。回覧実記ではなく、久米の回想録にもこのことは紹介されている。
木戸らの泊まっていたアーリントンホテルからは、ほぼ隣のブロックで、非常に近い。ウォームリーハウスと呼ばれている場合と、ウォームリーホテルと呼ばれている場合と、両方あるが、木戸、久米は二人ともハウスと書いている。後年は高級ホテルになるようだが、71年に開業らしいので、岩倉使節の行く頃には開業間もない。ホテルともハウスとも呼ばれているところから考えると、当初、ボーディングハウス（長期滞在者用の間貸し施設）だったのが、徐々にホテル（旅行者用ホテル）になって行ったか、長期滞在者用と旅行者用、両方の施設を持っていたのかもしれない。特に定義があるわけではないが、この当時の呼称としては、ホテルの方が高級な感じがする。畠山がいたのは、その長期滞在者用の方で「ハウス」なのではないかと考えているが、詳しいことは現在は不明。
短期滞在のホテル泊まりでなかったと思うのは、久米が畠山の「下宿」「家」へ行ったと称していて、彼の滞在先であるホテルを表す「寓」とは言っていないことによるが、この日本語理解は正しくないかも知れない。
自分が思うに、畠山の岩倉使節書記官雇用は、政府の役人になるような意味ではないと思う。先に帰国した他の留学生の位置から考えても、元々身分の高い畠山がそんな低い位置で役人にはなるまい。臨時的な肩書きとしての三等書記官ではないかと思う。アメリカで岩倉使節の通訳をしている頃の畠山は、新聞等にも「ラトガースに在学中」と書かれていることが多いので、そう取れる表現を畠山がしていたのだろう。恐らく、ヨーロッパの教育見学は岩倉使節が担当することもあり、畠山は、使節がイギリスに渡った後は、自分はアメリカに残って復学できると踏んでいたのではないか、とも思う。
しかし、結果としては、畠山は岩倉使節団に加わり、米国政府との条約改正会議にも通訳として参加し（日本の記録では、最後の交渉に通訳として名前がある）、岩倉大使に随行してヨーロッパを回り、岩倉と共に日本へ帰国することになるのでラトガースへは戻らない。
畠山についての数少ない紹介では、時々「ラトガース大学卒業」と書かれていることがあるが、畠山はラトガース大学は卒業していない。後にフィラデルフィア万博で渡米した際に名誉修士号を受け、それが公式記録として残っているため、このことが畠山はラトガースを「卒業」したと勘違いさせているようだ。
書記官としての肩書が三等から昇格したかどうかは知らないが、アメリカを離れる頃には、フィッシュ国務長官との会談に公式通訳として出席しているので、役割としては一等書記官の立場であろう。アメリカからイギリスへの出港地であるボストンでは、一行を代表して挨拶のスピーチもしているのだから、仕事内容としては、その他大勢の通訳の一人ではなく、筆頭的な位置に上がっているといえる。どう低く見積もっても、岩倉使節幹部に直接その実力を認められたということだ。
畠山の岩倉使節合流には、当然、森も関わっているのだろうが、多分、岩倉の息子も関わっているだろう、と思う。岩倉の三人の息子と娘婿の戸田氏共は、岩倉使節渡米当時アメリカにいた。
岩倉兄弟も戸田もラトガース大学の名簿には載っていないので、グラマースクールにいたようだ。アメリカでタツと呼ばれている恐らく三男の具経は、この時期、折田の日記によく出て来る。岩倉が息子から耳にする評判も、その後の畠山の出世には影響しているだろう。岩倉使節に合流してからは、木戸、大久保に直接認められていく畠山だが、岩倉具視にとっても、息子の友人として、直接的に評価を下しやすい存在でもあったわけだ。