矢谷流論文の読み方

 

研究するにあたって,過去の論文を読むことはとても重要な作業です.しかし,論文を読むのは存外大変な作業でもあります.特に英語の論文を読むのは,多くの学生さんにとっては大変な苦労だと思います.またそもそも論文を探すこと自体に苦労することがあると思います.しかし慣れてくれば,どういうキーワードで論文を検索すべきか,誰がこのトピックでは多くの論文を書いているか,論文のどのあたりを重点的に読めばよいか,がわかってくるようになります.

以下は,IIS Labの学生さんに,どのように論文を読んでほしいかをまとめた内部向けのドキュメントを,2018年5月に一般に公開したものです.「『論文を読みなさい』と言われたけれど何をすればいいのだろう...」という方の一助になれば幸いです.

 

論文を読むとは

「論文を読む」というのは,論文を印刷してただ漠然と目を通せばよい,ということではありません.読んで自分なりにその研究を理解し,自分の研究に生かしていくことが,論文を読む目的です. 自分のアイデアと比べて,重複しているのかどうか,使えそうな知識や技術はあるか,この論文ではまだ明らかになっていないことは何か,を明確にしていくことが,「論文を読む」ことの本来の目的です.研究に慣れていない人は,論文を読むこと自体が大変なので,この目的を見失いやすいものです.なので,まだ慣れていないときこそ,これに十分に気をつけて論文を読んでください.

また1度目は全てを細かく理解する必要ありません. 以下のbeginner編にあるように,TAMMICやKURRが埋められるような程度の情報が集められればまずはOKです.そして必要に応じてシステムや実験を細かく理解していけばよいです.その意味でも,論文を読むことに長々と時間を掛けることは多くの場合望ましくありません.ただし,「そういえば前読んだ論文にこれと似たような手法があったな.あれもう一度読んでみよう.」ということがさっと検索できる程度に理解・記録する必要があります. その状態を目指してください.

 

論文を探す

論文を探すのは基本インターネットでの検索です.特にgoogle scholarは大変に有用です.何はなくともgoogle scholarから始め,その後googleや他の検索エンジンを使ってみましょう.

次にキーワードを考えます.まず自分の思いつきやアイデアを比較的一般的に表すような英単語を5つ考えましょう.例えば,「食べログの画像を用いて車いすでのアクセシビリティを判定する」というアイデアに対してどんなキーワードがありますか?accessibility, wheelchair, imageはありそうですがその他にはなにがありそうでしょうか?固有名詞は検索に(基本的には)向きませんので,食べログはreview websiteとかrestaurant websiteに置き換えられそうです.画像といってもいろいろありますので,exteriorとかで外観とかを特定してもよいかもしれません.以上のようにある程度具体的だが,漫然としてない(どんな論文でも引っかかりそうなキーワードではない)言葉をいくつか考えます.

さらに絶対に外せないキーワードを選びます.この場合はaccessibilityは絶対に外せませんね.このアイデアに似たものを記述した論文は必ずといったいいほどaccessibilityという言葉を論文で使うと考えられるからです.同様にwheelchairもそうですが,「食べログの画像を用いて視覚障害者向けのアクセシビリティを判定する」という論文もあるかもしれません.もしそのような論文があれば参考にできるものがあるかもしれません.よってaccessibilityという言葉よりは重要度は低そうです.このように今の思いつきやアイデアに対して,そのキーワードを外してしまうと全然違うものになってしまう,というようなキーワードを探してみましょう.

あとはこの外せないキーワードを軸に組み合わせを考えます.例えば,「accessibility wheelchair」,「accessibility review website」,「accessibility restaurant website」とかが考えられそうですね.逆に「accessibility image」は悪くはなさそうですが,ちょっと幅が広すぎそうです.なので最初の検索には使わず,いい論文が見つからなかったらこのような検索キーワードに広げていきます.

次にあるキーワードでgoogle scholarにて検索します.するとタイトルと引用数が出てきます.このときにどの論文を選んでみるかを考えなくてはなりませんが,参考になるのは,

  • タイトルを読んでみて自分のアイデアに近そうなもの
  • 引用数の多いもの(一概には言えませんが,50以上)
  • 我々の分野で有名な会議や自分のアイデアが最も関係する会議で発表されているもの
  • 著者の中によく見る人の名前があるもの

あたりかと思います.

めぼしいものがあったら,実際にクリックしてタイトル,著者,論文誌・会議名,発行年を確認します.関係ありそうですか?明らかに違うな,と思った場合以外は次にアブストラクトを調べます.

アブストラクトは大抵1パラグラフで150 words程度で記述されていると思います.この中から最も重要な情報を2分程度で抜き出すことをしてみましょう. 重要なのは,

  • この論文が何をしたのか(どんなシステムを作ったのか,どんな調査をしたのか)
  • どんなことがわかったか

をつかむことです.この2つをアブストラクトの中から探し出して,切り出してみてください.

切り出した情報を読んでみてどうですか?この論文を「絶対に読まないといけない」,「読んだ方がよさそうだけど絶対じゃない」,「あんまり関係なさそう」の3つに分けるとすればどれですか? もし「絶対に読まないといけない」であれば,自分の思いつきやアイデアにだいぶ関係していそうですね.ということは他の論文でもこの論文を引用している可能性は高いですね.

また新しいキーワードとなりそうな言葉はありませんでしたか? もしそのような言葉があればぜひメモっておきましょう.

この場合はgoogle scholarの検索結果の画面に戻り,この論文のリンクの下のところにある「引用元」というリンクをたどります.ここから今選んだ論文を引用している論文をたどることが可能となっています.これでさらに検索することができます.

引用をたどってみてあまり論文が見つからなければ,違う論文で同じ作業をする,あるいはキーワードを変えてみる,ことによって自分の検索をどんどん広げていきます.

あとは「絶対に読まないといけない」,「読んだ方がよさそうだけど絶対じゃない」あたりの論文を実際に読み進めることになります.上の作業を繰り返して,ある程度論文を集めてからでも構いませんし,2,3本くらい集めたら読む,というのでも構いません.自分なりに整理につけやすい形で検索を進めてください.

 

矢谷流の論文の読み方 for beginner

論文をまだあまり読んだことがない人はまずここから始めましょう.この段階では,論文を読んで自分の言葉でまとめることを,強く意識しながら行います.

1. 論文を読む数をしっかり想定する

1つの研究プロジェクトに対して,論文を何本くらい読まないといけないと思いますか?もちろんトピックによりますし,深く読み込むもの,大まかに読むもの,いろいろありますが,矢谷の経験上50本程度はさらう必要があります.昔から多くの研究がなされているトピックであれば,さらに多くの数をこなさなければなりません.先生や先輩から教えてもらった論文を読んだら終わり,ではありません. そこから自分で調査をしてさらに論文を探し出すことが必要になります.したがって,「このアイデアをもっと掘り下げてみましょう」となった時は,論文を50本読まなければならない,と思って,1つの論文を読む時間を逆算してください.

2. 時間を決めて読む

論文は読み込もうと思えばいくらでも時間を掛けられます.時間がたくさんあれば理解できるのはある意味では当たり前です.しかし,研究プロジェクトでは多くの論文を読まなければなりません.先輩の修論や卒論を見てもらえればわかりますが,最低でも30本程度の論文が記載されていると思います.実際にはここに掲載することがなかったさらに多くの論文があります.例えば,上で決めたように50本の論文を読むとしましょう.1日1本のペースでは,およそ2ヶ月かかります.もしここでアイデアの変更を余儀なくされてしまったら,また50本の論文を読まなくてはなりません.このペースでは遅いことはすぐにわかると思います.

以上の理由から,論文は漫然と読んではいけません. そのために時間を制限して読むことを心がけましょう.もちろん論文の長さにもよりますが,人間の集中力の限界もあるので,最大でも90分とするのがいいと思います. 慣れてくればそれを1時間,30分と減らしていきます.

これを積み重ねていくことにより,自分がどの程度の時間で論文を読み切れるかもわかってきます.そうすると,論文を読んでまとめる作業にどのくらい自分は時間が掛かるのか,わかってくるようになります.こうなってくると自分の作業計画も立てやすくなります.

3. TAMMICで論文を要約する

時間を決めたら論文を読み始めましょう.しっかり集中できる環境を作ってください.漫然と読むことを防ぐため,論文を自分の言葉でまとめながら,読んでいきます.アブストラクトのコピーではだめです.必ず自分の言葉で要約しましょう.

論文をまとめるためのフレームワークが以下のTAMMICという6つの項目です.論文を読み始める前に,まず各項目をすぐに書き留められるように,紙,テキストファイル,evernote,google docs,githubなどに以下の項目を用意しましょう.そして論文を読みながら,各項目を埋めてください.重要なポイントは以下の項目を探しながら読むということです.読んでいって見つかったら書くではなく,以下の項目を書くためにその部分を探し出す,というくらいの感覚で読むことです.

各項目は数行程度でまとめましょう.わかりやすい図や写真があればそれもコピーしておくといいかもしれません.

研究を始めて間もない人や,自分がよく知らない分野のトピックに取り組む人は,特に著者をよく見るようにしてください.誰がこの分野を引っ張っているのか,あるいはどのグループが活躍しているのか,そのような情報を頭に入れることが,研究者への道の第一歩になります.

  • Title: タイトル
    • 会議名や発表年も記録しておくといいと思います.
  • Author: 著者,所属
    • よく見る名前がないかも軽くチェックしましょう.第1著者だけでなく,後ろの方に書かれている人物(指導教官などであることが多い)の名前もチェックしましょう.
    • 多くの人が思うより,人の名前はとても重要です.議論するときに,よく「○○さんの研究で~」という言い方をするからです.そのときにピンと来ることができるように,しっかり名前も覚えましょう.
  • Motivation: 研究の出発点
    • どんな課題や問題点を解決しようとしたのか?
    • 既存の研究で足りないところはどこだったのか?
  • Method: 研究手法
    • どんなシステムを作ったか?なぜそのシステム設計でよいと仮定したか?
    • どんなアルゴリズムを作ったか?なぜそのアルゴリズム設計でよいと仮定したか?
    • どんな調査をしたか?なぜその調査計画でよいと仮定したか?
    • どんな実験をしたか?なぜその実験設計でよいと仮定したか?
  • Insight: 結果と知見
    • どんな結果が得られたのか?どんな条件だと上手くいって,どんな場合は上手くいかなかったのか?
    • 新しくわかった知見はなにか?他のアプリケーションやシステムでも使えそうな知見は何か?
  • (One-sentence) Contribution Summary: 貢献を1行でまとめる
    • 上の情報をもとに以下のようなフォーマットでまとめる.
    • 「[Author]は[Motivation]という課題のため,[Method]を行い,[Insight]がわかった.」
    • 関連研究のセクションでこの研究を説明するときに,この形で説明します.ですので,この形にまとめることには重要な意味があることをしっかり頭の中においてください.

4. 次の論文に向けて,KURRで新しい情報を整理する

最後に,次に読むべき論文に向けて,新しい情報を整理しましょう.このために以下のKURRというフレームワークを使います.TAMMICと同じようにちゃんと自分の言葉でまとめ,記録しましょう.

  • Keyword: キーワード
    • この論文から得られた,検索に使えそうな新しいキーワードはなにか?
    • どんな言葉を使って自分のアイデアに近い概念を表現しているか?
  • Unknown: 残った課題
    • どんなことがまだ知られていないか,あるいは解決していないか?
  • Reflection: 考察
    • この論文は自分のアイデアとどこまで似ているか?
    • この論文の中で自分の研究に生かせそうなところはどこか?
    • もう一度読むことが必要そうか?
    • 自分の論文を書くときに引用する確率が高そうか?無関係,あまりなさそう,あるかも,ほぼ絶対,くらいの4段階でつけるとよい.
  • Reference: 関連研究
    • 関連研究に挙げられている論文の中で近いもの&読んでいないものはどれか?

以上がまとまったら,再度見直しをして,次に読む論文を決めましょう.KURRで挙げた論文を読んでもいいですし,新しいキーワードで調べ直す手もあります.これを繰り返していくと,KURRで挙げられる新しいキーワードや関連研究がなくなってきます.そうすると「だいたい読み切れたかな」という感じになってくるわけです.

5. 読んだ論文を整理し,研究領域の全体像をつかむ

ある程度の数をこなした段階で,今まで読んだ論文を整理してみましょう.ここでの目標はクラスタリングです.

まずKURRで引用する可能性が中 and 高程度と判断した論文を抜き出しましょう.その後,その論文を3つ程度のグループに分類してきます.分類の仕方は一概には言えないので,難しいところですが,まずは明らかに似ていると思うような論文のペアを作りましょう.おそらく何組かできあがると思います.さらにそのペアの中からおたがいによく似ているのものをマージしましょう.このようにbottom-up的にグループを作っていきます.

ペアのマージができなくなったら,各グループにおいて,そのグループを特徴付けるようなキーワードを挙げてみましょう.この時点でキーワードがよく似ているグループがあったら,本当にマージできないかを再考し,必要に応じてグループの調整を行います.

ここまで終わったら,まだグループやペアになっていない論文が,どこかのグループに加入できないかを考えていきます.必要に応じてキーワードを変更しても構いません.再度グループのマージができないかも考えます.さらにKURRで引用する確率があまり高くないと判断したものも入れても構いません.

ここまで来たら自分のクラスタリングの全体を見渡します.グループの数はどうでしょうか?数が多すぎるときはもっとマージできないか考えて見ましょう.各グループの論文の数はどうでしょうか?例えば論文の数は少ないけどどれも引用する可能性が高いもの,みたいなグループはありませんか?その場合にはそのグループに属するような論文をもっと調べる必要がありそうです.逆に引用する可能性が低そうな論文ばかりのグループは,今回のプロジェクトでは後回しにしてもいいかもしれません.このようにして自分の調査に不足がないかを確認していきます.

そして最終的には各グループあたり10本程度の3つくらいのグループができればとりあえず完成です.ある程度お互いに排他的になっていることを再度確認してください.そしてこの各グループが関連研究のサブセクション1つずつに大まかには対応していくことになります.

 

矢谷流の論文の読み方 for intermediate

TAMMICやKURRがさっとできるようになったら,次の段階へ移りましょう.この時点でKURRは明示的に行わなくても頭の中でできるようになっていると思います.中級編ではシステムの設計指針,実験方法,表現や論文での見せ方など,自分の研究に生かせるポイントを重点的に学んでいきます.

TAMMICとKURRをやりながら,以下のような自分にとって役に立つであろう点を探して,ハイライトしたりメモしたりしてみましょう.

  • 自分の研究分野の「レギュラー」か.よく見る人の論文であれば,その人が出している関連する他の論文がないか,も後で確認しましょう.
  • 研究背景の説明をどのようにしているか,研究の動機をどのように説得力あるように説明してるか.
  • 関連研究をどのように分類,整理して,説明しているか.
  • システムやインタフェースの設計をする際にどのようにその設計を正当化しているか,なぜ論文で実装されている方法で良いという仮設が立てられるのか.
  • 実験をどのように計画し,実行しているか.例えばタスク設計はどのようにして,なぜそれでよいか,を主張しているのか.
  • 論文の中でどのような表現・言葉遣いが自分の論文でも使えそうか.
  • 図やグラフ,ビデオの見せ方で参考になるものはあるか.

この段階では他の研究者がどう論理を展開し,論文で表現しているかを学ぶことが重要です.例えば,“Accessibility is very important for wheelchair users, but such information is difficult to acquire.”だけでは確かにそうかもしれませんが,何がどう重要なのか,難しいのかよくわかりませんよね.“Wheelchairs need to obtain information about whether a location is accessible to them before their visits. However, acquiring such information is often challenging because existing online services and maps may not necessarily offer sufficient accessibility data about a location.”くらいに具体的に問題と難しい点を説明してあげればより説得力を持たせることができます.

このように「どのように話を持って行くか」というのが論文では非常に重要になります.過去の研究から学べることは手法や結果だけではないことが身についたら,上級編に行きましょう.

 

矢谷流の論文の読み方 for advanced

上級編では自分が論文を査読していると思って,論文を読みます.自分だったらこの論文を学会に通すか,否か.通すならどういう理由で通すのか,通さないならば何かが欠けていると思うのか,その点にも注意しながら読み進めます.

査読のフォーマットにはいろいろあると思いますが,大枠としては以下のようなことを書きます.

  • Overall review score: 査読スコア,大抵1–5で5が一番よい.
  • Review confidence: 自分の査読にどの程度自身があるか,あるいは自分の専門分野に近い論文か,1–4で4が一番高い.
  • Summary: 論文が何をやっているかの要約.1パラグラフでOK.
  • Review: 査読コメント
    • 多くの場合は5~7パラグラフくらい.文法の誤りなど,細かいツッコミを書くこともあるが,基本は論文が提供する貢献に対してのコメント.特に,
      • どういう点が新しいのか?
      • 提案されているシステムや手法はどのように信頼できるのか?
      • 行われた実験が研究の目的・方向性に合致しているのか?
      • 実験結果の信頼性を損ねてしまうような問題点はないか?
      • 他の研究者が再実装・再実験可能な程度の情報が提供されているか?
      • その他,信頼性を損ねてしまうような問題点はないか?
  • Confidential comments to program committee: 著者には送らないけど査読コミッティーには伝えたいようなメッセージ

これらの内,おもにSummaryとReviewを埋めることになるわけで,これらを自分の言葉でまとめる必要があります.重要なのは良いところはなぜ良いかを明確に述べる,不足しているところはどう不足していて,どう補えばいいかを書く,ということです.

また論文を落とすのはそれほど難しいことはありません.どんな論文でも,けちをつけようと思えばつけることが可能です.1つ1つの論文にはかならずlimitationsが存在します.それを考慮したとしても,この論文が採択され,公開されることによるメリットが大きいのであれば,採択に足る理由になります.ですので,査読ではなく,「論文を読む」という作業においては,

  • どういう点が査読者から賛同を得られるところであるか?
  • どういう点が査読者を「通したいぞ!」と思わせるようなところなのか?
  • どういう点が論文の新規性になっているか?それをどう説明し,展開しているか?
  • どういう点が論文の信頼性になっているか?それをどのような手法や論理展開で高めているのか?

というあたりに注目して読んでみてください.そして,それらの点を自分の研究や論文にどう生かせるかを考えて見ましょう.論文の書き方や表現はその運命を時に大きく左右します.このように過去の論文から学べることはいっぱいあります.

 

以上,ここまできた方はもうすでにご自身の論文の読み方・まとめ方を確立されているかと思います.ぜひいろんな方にご自身の方法を教えて上げてください!(私にも是非.;) )