衆院議員をつとめたこともある漢学者、棚橋一郎が1889年に創設した私立学校「郁文館」。渡邉は経営難に陥った同校を2003年3月、買収し、理事長の座に就いた。渡邉は学校改革をめざし、学校法人の名称を「私立郁文館」から「郁文館夢学園」に変えた。彼は「夢」という言葉が大好きなのだ。そのとき、慶応大学教授と兼職で校長（非常勤）になったのが小林だった。
「週刊プレイボーイ」2013年9月9日号に、郁文館に関する小林へのインタビュー記事が掲載された。小林は校長になったいきさつをこう語る。
「もとはと言えば、『ワタミのオーナー社長が学校を作りたいと言っている』と、弁護士をしている私の教え子が相談してきたところから、話は始まっているんです。…私がワタミの顧問弁護士になり、経営難に陥っている学校を政治家から教えてもらい、買い取ることにした。それが郁文館です」
郁文館の創立者の先祖と小林教授の先祖が、同じ大名の家老どうしだったという奇縁も、小林を動かしたようだ。
「渡邉は『先生、2人で頑張って、学校改革の立て直しの成功例を作って、全国に渡邉学園グループを作りましょうね』なんて言う。私は、郁文館の改革だけでも一生かかるんじゃないのと思ったんですが」
小林はしだいに、渡邉の語る学校改革を疑うようになっていく。
郁文館教育の特色のひとつ「夢合宿」。郁文館が経営難に陥る元凶となったホテルを合宿施設として、10泊11日の合宿を毎年おこなうものだが、小林はこの行事についての渡邉の発言に唖然とした。
「私の目の前で常務理事に『これ、何泊したら採算取れる？』と言う。聞いてびっくりした。渡邉に『教育』という観点からの配慮は全然ない」
ワタミが手掛ける有機野菜農場に校外学習で遠足に行くことになったときのこと。
「渡邉が有機野菜を切り分けた袋を生徒に売る用意をしちゃっているわけですよ。『子供たちにお土産の野菜を押し売りするな』って言ったら渡邉は『用意しちゃったんですよ』って（笑）。彼は教育者ではなく、経営者として『採算を度外視しない』ことばかりやっている」
小林は校長就任から2年ほど後、郁文館を去った。「アイツはいかがわしい野郎だけど、それに早く気づかず、付き合っちゃった自分がすごく恥ずかしいんだ」。
およそ教育者とはかけ離れた渡邉の発想に、小林は嫌気がさしたらしい。
