中国トップ研究者による自然言語処理の入門者へのアドバイス

Posted on 2019-04-25(木) in Research

スタンフォード大学の博士課程を卒業、対話モデル・強化学習の応用等の分野で多大な成果を残し、現在では中国の自然言語処理スタートアップ Shannon.ai をリードする Jiwei Li (李纪为)氏による、「自然言語処理に入門する際のちょっとしたアドバイス (初入NLP领域的一些小建议)」と題された記事がありましたので、内容を簡単に紹介します。

私もこの分野でかれこれ10年以上、研究開発に携わっていますが、彼のアドバイスには同意するところが多いです。どちらかと言えば、修士・博士課程の学生のような、「自然言語処理の研究に入門する人」を対象に書かれた文章ですが、それ以外、例えば、業務で自然言語処理を使うような方にも有用なアドバイスが多くあります。

彼のような優秀な研究者でも、「PRML を途中で投げ出した」ような体験談が語られているところ、私達にも親近感が持てますね。個人的には、近年の中国と中国系研究者の躍進によって、中国語でこのような良質な第一次情報がどんどん出始めたという点も感慨深いです。


自然言語処理は、今や人工知能の中でも非常に重要な分野の一つになった。

誰もが TensorFlow や PyTorch で簡単にモデルを書けるようになった今、多くの研究者がデータセット上でのベンチマークを更新することに躍起になっている。モデルを実装するのが簡単になった分、最高精度を更新するのも簡単ではなく、新規性が無く論文が通らないか、通ってもインパクトを残せない。

深層学習の普及によって、アルゴリズムそのものに注目が集まりすぎ、モデルのアーキテクチャの改善が多数提案され …


Continue reading

スタートアップを退職し米国でMLエンジニアとして独立します

Posted on 2019-02-17(日) in Career

先週をもって、これまで4年間勤めた Duolingo (デュオリンゴ) を退職した。

アメリカの非日系のスタートアップで働くこと、退職すること、そしてアメリカで機械学習エンジニアとして独立することなど、こういった話はあまり出てこない(そもそも日本人の前例があまりない)ので、誰かの役に立つかかもと思い、これまで4年間のまとめも兼ねて書いてみる。

最終出社日に外から撮影したオフィス

「ロケットシップ」で働くということ

ご存知の無い方のために書いておくと、Duolingo (デュオリンゴ) は、現時点で世界で最も人気のある語学学習アプリである。2018年の時点で3億人以上の登録ユーザー、2500万人以上の月間アクティブユーザーが居る。米国ペンシルバニア州ピッツバーグに本社があり、自分も入社以来ピッツバーグ在住である。

ユーザー登録フォームなどで、歪んだ文字を読ませてボットか人間か判断する「CAPTCHA」を発明したことで有名なカーネギーメロン大教授 Luis von Ahn 氏と、彼の当時の Ph.D 学生であった Severin Hacker 氏が創業した。

日本語からは現段階で英語しか学べないが、表示言語を英語に設定することで、スペイン語・フランス語・ドイツ語・中国語・日本語などメジャーなものから、エスペラント・クリンゴン語・ハワイ語 …


Continue reading

海外で技術書をゼロから執筆・出版する方法

Posted on 2018-10-24(水) in Natural Language Processing

本記事は、私が海外(アメリカ)で技術書 「実世界自然言語処理」"Real-World Natural Language Processing" (Manning Publications) をゼロから執筆、出版するまでを綴った日記です。本記事の執筆時点 (2018年12月) において、まだ書籍は未発表・執筆中ですので、進展がある毎に更新していく予定です。

なお、本書の入手・購入について、色々な方から問い合わせを受けるので。Manning Publication では、MEAP (Manning Early Access Program) といって、執筆中の書籍を未完成の段階で購入し、章が完成するごとに読みすすめられるという制度があります。本書も、最初の数章が完成した段階で MEAP で入手可能になります。現在のところ、2019年3月ごろを予定しています。

まずはじめに - 技術書を執筆・出版したい人へ

私はこれまで、オライリー・ジャパンから2冊翻訳書を、翔泳社から1冊、共著で書いた本を出版した経験があります。技術書を出版するプロセスは、分野や出版社 …


Continue reading

大人になってから自由を手にする方法、または話題性とキャリア資本の重要さ

Posted on 2017-09-07(木) in Career

自分も今年で35歳になったのだが、最近になって特に、そろそろ本気で「あたまがちょっとおかしい」と周りから思われるような、少し大きなことをやっていかないと、割と「普通の人」で人生がいつの間にか終わってしまうのではという危機感が常にある。その一環として、今年は「韓国に一ヶ月滞在して、インタビューを受けることができるぐらい韓国語を上達させる」という目標を立てて、8月頭に実際に実行に移した。今日でアメリカに帰ってきて2週間ほど経つが、この「ミニプロジェクト」を企画して本当に良かったと思っているので、企画・実行するにあたって、考えたことや気づいたことなどを日記も兼ねて書いておきたい。

「ちょっと韓国行ってくる、しかも一ヶ月」

自分は今、Duolingo という、世界最大の外国語学習アプリを開発しているアメリカのスタートアップで、ソフトウェアエンジニア兼リサーチサイエンティストとして働いている。普段は、自分の自然言語処理や機械学習の専門を活かして、データ解析英語検定試験の開発などのプロジェクトに主に関わっているのだけど、外国語学習や教育、特にアジアの言語が好きなこともあり、今年5月に Duolingo からリリースした日本語コースの設計では中心的な役割を果たした。そこで得られた知見を活用して、ちょうどその時点で既に開発中であった韓国語のコースに自ら関わり始めたのが事の発端である。韓国語は前から興味があり少しだけ勉強していて、もっと真剣に勉強したいとずっと思っていたという自分の興味にも合っていた。

また、弊社はマーケティングにほとんど予算を使わないことで有名で、凄腕の広報チームが …


Continue reading

博士のための「けものみち」就職活動ガイド

Posted on 2017-01-01(日) in Research

注:本記事は、私個人のブログの記事「博士のための「けものみち」就職活動ガイド」(2009年3月30日投稿)を編集してこちらに再掲載したものだ。元記事を書いてからほぼ8年が経ち、私も2回の転職を経験したが、基本的な考えは今でも変わっていないので、少し追記した上で掲載したいと思う。

やっと就活も一段落して、博士も無事取れたので、自分の就活体験について、「就活を始める前の自分に伝えたい、博士の就活のコツ」という形で書いてみる。同じ境遇にある人の参考になれば幸いです。

情報収集フェーズ と 応募フェーズは分ける

まず大前提として、博士を出て就職しようという場合、大企業で博士新卒の枠に収まるのでなければ、「けものみち」就活は覚悟しなければいけないということ。それだけ、基本的なスキルに加え、枠にとらわれない柔軟性、積極性、対人能力が求められる。修士までの「レールの敷かれた」就活とはかなり事情が異なるので、ここでは梅田望夫さんの言葉を借りて「けものみち」就活と呼んでみたい。

就活を始める前の自分に一つだけ最も大切なことを伝えられるとしたら、「まず情報収集を、早めに、徹底的にやっておく」ことをアドバイスすると思う。情報収集といっても、企業のウェブを見たり、『就職四季報』を見たりといった表面的なことではなく(もちろんそれも大事だが)、実際に社員の人に会って話を聞いたり、オフィスの見学をしたり …


Continue reading

巻き舌クリニック - 自分はどうやって巻き舌ができるようになったか

Posted on 2012-01-01(日) in Language Learning

1.巻き舌ができなかった自分

みなさん、「巻き舌」できますか? 実は私はそもそもあの「巻き舌」ができませんでした。家族や友人が、何の苦労もなしに「るるるる…」とやっているのを聞くと、こんなものをわざわざ見せびらかしてどうすんだと心のなかでは思いつつ、同時にどうしようもない屈辱に苛まれてきました。椎名林檎の曲なんか聴けた心境ではないのです。

あえて詳しく説明すると、巻き舌とは音声学的には「有声舌尖歯茎ふるえ音」といって、イタリア語やスペイン語で有名なアノ音です。日本でも、江戸っ子口調や喧嘩した時にも使われます。「巻き舌」を使っている言語は意外に多く、イタリア語、スペイン語をはじめ、ロシア語、ドイツ語やフランス語の一部、ラテン語、エスペラント語にも使われています。そもそも「ロシア」という語の「ロ」からして巻き舌音であるため、巻き舌ができない人はロシア語を勉強するなといわんばかりです。また、スペイン語では、巻き舌の音と、はじき音(日本語のラ行の子音)を音素として区別するらしいのです。つまり巻き舌がちゃんとできないと意味を取り違えられる可能性もあるわけです。できない人には血の凍るような話ではありませんか。

このような言語を勉強する人にとっては、「別に巻き舌ができなくても生きていけるし、カラオケで椎名林檎を歌わなければいいじゃん」という言い訳は通用しないのです。できる人には分からないと思いますが …


Continue reading