騙されて期限付き身売り契約書にサインした是清は、オークランド市のブラウン家で働きはじめました。ブラウン家には是清と同じ年頃の子供たちがいたので、一緒に遊んだりしてけっこうたのしく過ごしていました。
是清がアメリカに渡ってから１年が経ち、日本では大政奉還が行われ官軍と幕府軍の間で内乱が起こったので、彼はいったん日本に帰ろうと考えました。身売り契約書に関しては、アメリカ在住の日本人がヴァンリードと交渉して解決してくれました。
結局是清は、１年間アメリカにいて働いていただけで、学校で勉強はできませんでした。日本に帰り着いたのは明治元年（1868年）12月で、彼は満14歳でした。そして森有礼と知り合い、彼の家に住み込んで英語の弟子になりました。
森有礼は幕末にイギリスに留学した人で、福沢諭吉と並んで明治初期の文明開化を推進した有名人です。外国に行ってきた人物が非常に少数だったので、アメリカに1年いただけで是清はこのような有名人と知り合いになれました。
是清はアメリカに勉強に行ったのですが、皮肉なことに本格的に英語を学んだのは帰国後でした。翌年、彼は大学南校（後の東京大学）の教官になりました。アメリカに滞在しさらに１年間日本で英語を勉強しただけの満15歳が英語の先生になれたのですから、当時いかに洋学の人材の層が薄かったかが分かります。
満17歳の時に是清は、芸者遊びをするようになり、そのうち馴染みの芸者までできました。酒を飲み始めたのが10歳ぐらいの時だったのですが、南校の先生になって給与をもらうようになると、生来の酒好き・女好きが表に出てしまったのです。
馴染みの芸者を連れて芝居見物に行ったら、そこで知り合いの外人教師と出会ってしまいました。そのために自分の放蕩が学校中に知れ渡ってしまうと考えて、その日のうちに南校に辞表を出してしまいました。
借金もあったので持ち物をすべて売り丸裸になりました。そして馴染みの芸者の家に転がり込んで食わせてもらうようになりました。