Posted on 2020-06-10(水) in Career
この記事は、私が米国で AI フリーランスとして独立してからちょうど一年が経った 2020年2月 に書いた My First Year as a Freelance AI Engineer という記事を、自分で日本語に翻訳し、その後数ヶ月に起こったことを踏まえて加筆・訂正したものである。
今週をもって、フルタイムの仕事を退職し、ML（機械学習）と NLP（自然言語処理）を専門とするエンジニア・研究者（以下では単に「AI エンジニア」と呼ぶ）として独立してからちょうど１年が経った。これまでのところ、独立してとても良かったと思っているし、自分の仕事人生の中でもかなり生産的な１年だったと思う。ここ１年で、以下をはじめとする様々な成果を上げることができた：
Posted on 2019-07-09(火) in Research
昨年の夏ほどから執筆を開始した拙著『実世界自然言語処理 (Real-World Natural Language Processing)』の事前予約が可能になった。
この事前予約、正確には MEAP (Manning Early Access Program) と言い、購入すると、執筆中の書籍の執筆が完了した章から順番に読めるようになり、最後に完成した書籍が手に入る、というもの。執筆中のため、誤りがあったり校正がまだ整っていなかったりする可能性もあるものの、完成した書籍を後から買うよりも安価に購入できるというメリットがある。興味のある方は、以下のリンクを参照して欲しい。
本書籍は、昨年の夏ごろ、Manning の編集者から連絡があり、執筆を開始していたものだ。全編英語で、しかも単著で書籍をイチから執筆するということで、色々と大変なこともあったが、とりあえず一つのマイルストーンまで辿り着けたことでほっと胸をなでおろしている。執筆を開始したいきさつについては、以下の記事に詳しく書いたので、興味のある方はこちらもどうぞ。
本書は、他の自然言語処理や機械学習の教科書や入門書とは一味違ったものになっていると自負している。一般の教科書では、「ニューロンとは」「活性化関数とは」みたいな入門的な概念から始まり …
Posted on 2019-04-25(木) in Research
スタンフォード大学の博士課程を卒業、対話モデル・強化学習の応用等の分野で多大な成果を残し、現在では中国の自然言語処理スタートアップ Shannon.ai をリードする Jiwei Li (李纪为)氏による、「自然言語処理に入門する際のちょっとしたアドバイス (初入NLP领域的一些小建议)」と題された記事がありましたので、内容を簡単に紹介します。
私もこの分野でかれこれ10年以上、研究開発に携わっていますが、彼のアドバイスには同意するところが多いです。どちらかと言えば、修士・博士課程の学生のような、「自然言語処理の研究に入門する人」を対象に書かれた文章ですが、それ以外、例えば、業務で自然言語処理を使うような方にも有用なアドバイスが多くあります。
彼のような優秀な研究者でも、「PRML を途中で投げ出した」ような体験談が語られているところ、私達にも親近感が持てますね。個人的には、近年の中国と中国系研究者の躍進によって、中国語でこのような良質な第一次情報がどんどん出始めたという点も感慨深いです。
自然言語処理は、今や人工知能の中でも非常に重要な分野の一つになった。
誰もが TensorFlow や PyTorch で簡単にモデルを書けるようになった今、多くの研究者がデータセット上でのベンチマークを更新することに躍起になっている。モデルを実装するのが簡単になった分、最高精度を更新するのも簡単ではなく、新規性が無く論文が通らないか、通ってもインパクトを残せない。
深層学習の普及によって、アルゴリズムそのものに注目が集まりすぎ、モデルのアーキテクチャの改善が多数提案され …
Posted on 2019-02-17(日) in Career
先週をもって、これまで４年間勤めた Duolingo (デュオリンゴ) を退職した。
アメリカの非日系のスタートアップで働くこと、退職すること、そしてアメリカで機械学習エンジニアとして独立することなど、こういった話はあまり出てこない（そもそも日本人の前例があまりない）ので、誰かの役に立つかかもと思い、これまで４年間のまとめも兼ねて書いてみる。
ご存知の無い方のために書いておくと、Duolingo (デュオリンゴ) は、現時点で世界で最も人気のある語学学習アプリである。2018年の時点で3億人以上の登録ユーザー、2500万人以上の月間アクティブユーザーが居る。米国ペンシルバニア州ピッツバーグに本社があり、自分も入社以来ピッツバーグ在住である。
ユーザー登録フォームなどで、歪んだ文字を読ませてボットか人間か判断する「CAPTCHA」を発明したことで有名なカーネギーメロン大教授 Luis von Ahn 氏と、彼の当時の Ph.D 学生であった Severin Hacker 氏が創業した。
日本語からは現段階で英語しか学べないが、表示言語を英語に設定することで、スペイン語・フランス語・ドイツ語・中国語・日本語などメジャーなものから、エスペラント・クリンゴン語・ハワイ語 …
Posted on 2018-10-24(水) in Natural Language Processing
本記事は、私が海外（アメリカ）で技術書 「実世界自然言語処理」"Real-World Natural Language Processing" (Manning Publications) をゼロから執筆、出版するまでを綴った日記です。本記事の執筆時点 (2018年12月) において、まだ書籍は未発表・執筆中ですので、進展がある毎に更新していく予定です。
なお、本書の入手・購入について、色々な方から問い合わせを受けるので。Manning Publication では、MEAP (Manning Early Access Program) といって、執筆中の書籍を未完成の段階で購入し、章が完成するごとに読みすすめられるという制度があります。本書も、最初の数章が完成した段階で MEAP で入手可能になります。現在のところ、2019年3月ごろを予定しています。
私はこれまで、オライリー・ジャパンから２冊翻訳書を、翔泳社から１冊、共著で書いた本を出版した経験があります。技術書を出版するプロセスは、分野や出版社 …
Posted on 2017-09-07(木) in Career
自分も今年で３５歳になったのだが、最近になって特に、そろそろ本気で「あたまがちょっとおかしい」と周りから思われるような、少し大きなことをやっていかないと、割と「普通の人」で人生がいつの間にか終わってしまうのではという危機感が常にある。その一環として、今年は「韓国に一ヶ月滞在して、インタビューを受けることができるぐらい韓国語を上達させる」という目標を立てて、８月頭に実際に実行に移した。今日でアメリカに帰ってきて２週間ほど経つが、この「ミニプロジェクト」を企画して本当に良かったと思っているので、企画・実行するにあたって、考えたことや気づいたことなどを日記も兼ねて書いておきたい。
自分は今、Duolingo という、世界最大の外国語学習アプリを開発しているアメリカのスタートアップで、ソフトウェアエンジニア兼リサーチサイエンティストとして働いている。普段は、自分の自然言語処理や機械学習の専門を活かして、データ解析や英語検定試験の開発などのプロジェクトに主に関わっているのだけど、外国語学習や教育、特にアジアの言語が好きなこともあり、今年５月に Duolingo からリリースした日本語コースの設計では中心的な役割を果たした。そこで得られた知見を活用して、ちょうどその時点で既に開発中であった韓国語のコースに自ら関わり始めたのが事の発端である。韓国語は前から興味があり少しだけ勉強していて、もっと真剣に勉強したいとずっと思っていたという自分の興味にも合っていた。
また、弊社はマーケティングにほとんど予算を使わないことで有名で、凄腕の広報チームが …
Posted on 2017-01-01(日) in Research
注：本記事は、私個人のブログの記事「博士のための「けものみち」就職活動ガイド」（2009年3月30日投稿）を編集してこちらに再掲載したものだ。元記事を書いてからほぼ8年が経ち、私も2回の転職を経験したが、基本的な考えは今でも変わっていないので、少し追記した上で掲載したいと思う。
やっと就活も一段落して、博士も無事取れたので、自分の就活体験について、「就活を始める前の自分に伝えたい、博士の就活のコツ」という形で書いてみる。同じ境遇にある人の参考になれば幸いです。
まず大前提として、博士を出て就職しようという場合、大企業で博士新卒の枠に収まるのでなければ、「けものみち」就活は覚悟しなければいけないということ。それだけ、基本的なスキルに加え、枠にとらわれない柔軟性、積極性、対人能力が求められる。修士までの「レールの敷かれた」就活とはかなり事情が異なるので、ここでは梅田望夫さんの言葉を借りて「けものみち」就活と呼んでみたい。
就活を始める前の自分に一つだけ最も大切なことを伝えられるとしたら、「まず情報収集を、早めに、徹底的にやっておく」ことをアドバイスすると思う。情報収集といっても、企業のウェブを見たり、『就職四季報』を見たりといった表面的なことではなく（もちろんそれも大事だが）、実際に社員の人に会って話を聞いたり、オフィスの見学をしたり …
Posted on 2012-01-01(日) in Language Learning
みなさん、「巻き舌」できますか？ 実は私はそもそもあの「巻き舌」ができませんでした。家族や友人が、何の苦労もなしに「るるるる…」とやっているのを聞くと、こんなものをわざわざ見せびらかしてどうすんだと心のなかでは思いつつ、同時にどうしようもない屈辱に苛まれてきました。椎名林檎の曲なんか聴けた心境ではないのです。
あえて詳しく説明すると、巻き舌とは音声学的には「有声舌尖歯茎ふるえ音」といって、イタリア語やスペイン語で有名なアノ音です。日本でも、江戸っ子口調や喧嘩した時にも使われます。「巻き舌」を使っている言語は意外に多く、イタリア語、スペイン語をはじめ、ロシア語、ドイツ語やフランス語の一部、ラテン語、エスペラント語にも使われています。そもそも「ロシア」という語の「ロ」からして巻き舌音であるため、巻き舌ができない人はロシア語を勉強するなといわんばかりです。また、スペイン語では、巻き舌の音と、はじき音(日本語のラ行の子音)を音素として区別するらしいのです。つまり巻き舌がちゃんとできないと意味を取り違えられる可能性もあるわけです。できない人には血の凍るような話ではありませんか。
このような言語を勉強する人にとっては、「別に巻き舌ができなくても生きていけるし、カラオケで椎名林檎を歌わなければいいじゃん」という言い訳は通用しないのです。できる人には分からないと思いますが …