五百両の御用金をめぐり代官から面罵されるという屈辱を受けた栄一は、武士と農民との身分の差を痛感し、それはやがて封建制度への激しい憤りに変わっていった。
時はまさに、黒船来航から三年目に当たっていた。軍事力を背景に開国を求めるペリーの圧力に屈して、幕府は開国を決断し、日米和親条約を結んだ。
それに対して、尊王攘夷運動が全国で湧きおこった。尊王とは朝廷を尊重すること、攘夷とは外国人を打ち払うことで、これがやがて倒幕運動へと転化していく。
それに対し大老に就任した井伊直弼は、朝廷の反対を押し切って日米修好通商条約を結ぶと、反対派を弾圧した。橋本左内、吉田松陰らが刑死した、安政の大獄である。
井伊の政策は国際情勢からみてやむを得ない面もあったが、その反動は大きかった。井伊は尊王攘夷派の浪士たちに襲われ、横死した。これが桜田門外の変である。
ここにおいて幕府の権威は失墜し、薩長ら雄藩による討幕運動の時代が幕を開けた。
栄一も若い血潮のたぎりを抑えられなかった。漢学の師の尾高惇忠とその弟の長七郎、従兄の渋沢喜作らと語らい、国事に奔走する決意を固めていた。
ある日栄一は辞色を改め、農閑期だけでよいので江戸に遊学に行かせてほしい、と父に頼んだ。父は息子を危ぶみ、百姓としての分を守り家業に精を出すよう、諫めた。だが栄一はそれを聞かず、父も最後には折れるしかなかった。
栄一は勇躍江戸へ乗り込み、漢学は海保漁村の塾に、剣術は北辰一刀流の千葉道場に入門した。これらの塾や道場には、諸藩の俊秀が集まって時勢を論じていた。
農民ながら、幼い頃から漢学と剣術の勉強をした経験がここで活きた。栄一は彼らの仲間入りをし、このような交際の中で一橋家の用人（ようにん）平岡円四郎の知遇を得た。
一橋家は徳川将軍家の分家で、御三家に次ぐ御三卿（ごさんきょう）という家格だった。用人とはいわば大名の秘書だが、家老に代わって実質的に政治を動かしていた。
平岡は栄一のことを気に入り、一橋家への仕官を勧めた。それだけの立場の人物に見込まれたのだが、栄一は承知しなかった。同志との間である計画が進んでいたためである。
時代は風雲急を告げていた。薩長両藩は各地で攘夷を決行した。長州藩は、外国の商船を下関で砲撃し、米英仏蘭四カ国艦隊の報復を受けて敗れた（下関戦争）。
薩摩藩は、横浜近郊の生麦村で、島津久光の行列を横切ろうとした英国人四人を殺傷し（生麦事件）、その報復として鹿児島を襲った英国艦隊と戦った（薩英戦争）。
一方長州藩は水面下で宮廷に工作し、天皇の大和行幸計画を進めていた。これは浪士団が大和で天皇を担いで倒幕の兵を挙げる、という一種のクーデター計画だった。
栄一は京の動きに呼応して、上州（群馬県）の高崎城を落して兵糧と軍資金を奪い、横浜の外国人居留地を襲って焼き討ちする、という大胆な計画を立てていた。
栄一は惇忠、長七郎、喜作を中心に同志約七十名を集めた。藍玉の代金から二百両を流用し、刀槍、鎖帷子（くさりかたびら）などを集めて密かに保管した。
後は決行の日を最終的に決めるだけ、という時に、京に行っていた長七郎が帰還した。彼は意外なことに、計画の中止を強く主張した。これには理由があった。
その直前に京都で政変があり、三条実美ら長州派の公家が宮廷から追放されたのだ（七卿落ち）。このため天皇の行幸も中止となり、大和入りしていた浪士団は孤立して敗北した（天誅組の変）。また但馬での挙兵も数日で鎮圧された（生野の変）。
「ここで決起しても犬死するだけだ。わしは命にかえても貴公らを止めるぞ」
「いまさら怖気づいたのか。ここで維新の先駆けとなって死ぬべきだ」
栄一は強硬に反対し激論が交わされたが、最後には長七郎の説得を受け容れた。栄一は軍資金の残りを手当として同志に分配し、一同はきれいに解散した。
とはいえ、幕吏の眼がどこに光っているか分からない。惇忠は家長であったため郷里に残ったが、長七郎は剣術修行で関東を周り、栄一と喜作は京都に潜伏した。
ところが長七郎がささいな事件で捕らえられ、その懐中から栄一の手紙が発見された、という知らせが届いた。京都にもまもなく幕吏の手が伸びてくるのは明らかだった。
栄一は覚悟を決めた。京都には一橋家用人平岡円四郎が滞在している。栄一と喜作は平岡の許を訪れ、すべてを打ち明けて身の振り方を相談した。
平岡は栄一を非難しなかった。むしろその正直さを喜び、二人に再度一橋家への仕官を勧めた。二人はもちろん、それを承知した。
四石二人扶持という卑役だったが、武士の身分を得られたのが大きかった。さらに月に四両一分の手当が支給され、住居も一橋家の留守居役所の一室を与えられた。
亡命生活中に二人には二十五両の借金が出来ていたが、節約に努めておよそ半年で完済した。ささいなことだが、信用はこういう積み重ねから生まれる。
栄一の最初の任務は、幕府から大阪湾防御の砲台建築を命じられた折田という薩摩藩士の住み込みの弟子となって、築城技術を学ぶことだった。
もちろんそれは建前で、折田の人物をはじめその内情を探ることが目的である。栄一は真面目な仕事ぶりで折田に信用され、一か月ほどで任務を果たして戻った。
平岡が次に命じたのは、関東で優秀な人材を集めることだった。栄一は江戸に居た頃の人脈を使ってこれも見事にやり遂げ、約五十人を一橋家に仕官させた。
彼らを引率して京都に戻ると、恩人の平岡が暗殺されていた。後任の黒川は栄一の労をねぎらい、八石二人扶持、月俸六両に昇進させた。
栄一は黒川の許でも重用された。というより、黒川がその能力を無視できなかったのだろう。まもなく十七石五人扶持、月棒十三両二分と二度目の昇進をした。
異例の出世だが、栄一はそれに満足していなかった。