カテゴリー別アーカイブ: misc

Research Reality Check

 

このページでは,IIS Labで研究プロジェクトを始める段階で利用しているチェックリストを公開しています.このReality Checkは矢谷が学生さんと一緒に仕事する中で,まとめたものになります.特に,「Think radically. Execute logically.」というコンセプトを言語化するために作ったチェックリストです.チェックリストの項目がHCIの研究に偏っている部分もありますが,他の研究分野でも役に立つことがあるかもしれない,と思い,公開するに至りました.皆さんなりにぜひ色々と改良していただければと存じます.またその際にはぜひ矢谷に改良版を教えてください!

This page presents a check list which we use when we start a new project. This Reality Check has bee produced through collaboration and interaction with students. This checklist demonstrates our way of thinking: “Think radically. Execute logically.” It may be a little biased toward HCI research, but I hope it could be useful for other fields. Please feel free to revise, and let me know when you build you own!

 

Reality Checkを始める前に

Reality Checkを始める前に気をつけてほしいことがいくつかあります.

  • ご自身の答えを必ず書き下すようにする.頭の中で「大丈夫」と思っても,書いてみると意外と怪しいことはいっぱいあります.このチェックリストは書くことのエクササイズでもあります.書くのは大変ですが,必ず書き記してください.
  • できる限り具体的に記述するようにする.他の人にこのチェックリストの答えだけを見てもらっても,研究の中身がわかるように書きましょう.
  • 周りの人に意見をもらう.チェックが終わったら,周りの人からフィードバックをもらいましょう.記述が甘いところ,見通しが悪いところ,論理的でないところはどこでしょうか?今の時点でそれを見つけることがこのReality Checkの意図です.

There are a couple of things you need to keep in your mind for this Reality Check.

  • Write down your answers in a paper. It is quite common that you may think it works but you notice it doesn’t when you write down. This check list also serves as an exercise for writing. I know it’s a tough exercise, but that’s something I want you to learn.
  • Write your answers in as much detail as you can. Make sure that you include sufficient information so that other people can understand your idea without you.
  • Ask people around you for double-check. Once you are done, get someone to go through your answers and ask feedback. Any answer where your description is vague, your plan is unclear, or your explanation is not logical? Uncovering such weak points is the whole purpose of this Reality Check.

 


Think radically: Idea Overview

まず今のアイデアについて整理をしましょう.特に,どんな新しい発想があるかを明確にします.

Let’s start sorting out your current idea. We are going to clarify what new ideas or thoughts your idea contains.

  • What is your goal?
    • この研究を通して達成したいこと,明らかにしたいことは何か?
      • What do you want to achieve or uncover through this research?
    • 何を作るのか?何を改良するのか?何を調査するのか?
      • What will you build? What will you improve? What will you survey?
    • 他の人が聞いてこれから作るシステムが理解できる程度の具体性があるか?
      • Do you describe enough details about your system so that others can also understand what you are going to do?
    • どのようにして「達成した」,「明らかにした」と客観的に示すのか?
      • How do you objectively demonstrate that you have achieved or uncovered?
  • How radical?
    • 「そんなことできるの!?」,「そんな考え方あり!?」と他の人に思わせる点は何か?
      • What in your idea makes people say like “Can you really do it!?” or “That’s pretty crazy!”?
    • 他と決定的に違うところを一言で述べるとすれば何か?
      • How can you describe what makes your idea so unique in one sentence?
  • Who cares?
    • そのアイデアで誰が得をするのか?
      • Who gets benefits from your idea?
    • ユーザは誰でどんな状況下にあるのか?
      • Who are the target users and under what contexts/scenarios?
    • そのようなユーザは世の中に何人いるのか?あるいはどのくらいの頻度でそのような状況下に置かれるのか?ユーザ層は狭すぎたりしないか?
      • How many are such users? How often or likely are the target users under the context/scenario you are thinking of? Isn’t your target user population too narrow?

 

以上の質問に全て答えられたら次のExecution Strategyに移ってください.

When you have answered all questions, please move on to Execution Strategy.


Execute Logically: Execution Strategy

次にこのアイデアを具体的に実現する方法について検討をしていきます.

Now you are asked to think about how you can turn your idea into reality.

  • How will you implement your system and/or run your study?
    • どうやってそのアイデアを実現するのか?
      • How will you turn your idea into reality?
    • どんな既存技術を使えるのか?
      • What existing technology can you utilize?
    • どんな新しい技術を開発しなければならないか?
      • What novel technology will you have to develop?
    • どんな手法を用いて調査を行うのか?その手法を正当化する理由は何か?
      • What methods will you use for your survey? And why?
  • What will you need to build your system and/or run your study?
    • システムを作るためにどんな機材や設備がいるのか?
      • What equipment and facilities will you need to build your system?
    • 調査を行うためにどんなサービスを使う必要があるのか?どこからデータを収集するのか?
      • What services will you use for your survey? How will you collect data?
  • What are the classics?
    • よくある解決法や一般的な解決手法は何か?
      • What are typical or common solutions?
    • それらにはどんなメリットとデメリットがあるのか?
      • What pros and cons do they have?
  • Who are competitors?
    • どんな競合する技術があるか?
      • What are competitors’ technologies?
    • 最新の関連技術は何か?
      • What are latest related technologies?
    • 特に関連する研究は何か?
      • What is strongly relevant research?
    • それらにはどんなメリットとデメリットがあるのか?
      • What pros and cons do they have?
  • What are your advantages?
    • 既存技術と比べてこのアイデアにどんなメリットがあるのか?
      • What merits do your idea have compared to existing technologies?
    • 「効率」という言葉が出てくる場合は、何の効率を言っているのか?それは計測できるものなのか?
      • If you say “efficient/efficiency,” what efficiency do you mean? Can you really measure?
    • 「最適(optimal, optimized)」という言葉が出てくる場合は、何を最適にし、どんな指標で最適と言えるのか?本当に最適(これ以上がない)なのか?
      • If you say “optimal or optimized,” what exactly will you optimize and with what metrics can you confirm? Can you show that what you get is really “optimal” (i.e., nothing else is better).
    • 「最高・最良(best)」という言葉が出てくる場合は、何を持って最高・最良であると言えるのか?本当に最高・最良(上限に達している)なのか?
      • If you say “best”, with what metrics can you confirm that what you get is best? Can you show that what you get is really “best” (i.e., nothing else is better).
    • 「直感的に(intuitive)」という言葉が出てくる場合は、どのように(定性的ではなく)定量的に直感的であることを示せるのか?
      • If you say “intuitive”, how quantitatively can you show such intuitiveness?
  • How will you confirm your advantages?
    • どのような実験をすればこのアイデアの優位性を示せるのか?
      • Through what experiments can you show advantages of your idea?
    • 何がどのように良くなると仮定できるか?
      • What can you hypothesize that would be improved and how?
    • その実験において計測するものは何か?それは客観的に計測できるものか?
      • What will you measure? Can you measure them objectively?
    • どのような実験条件が考えられ,どの実験条件に絞り込むのか?それはなぜか?
      • What conditions do you think to be considered? How would you narrow them down? Why?
    • 実験条件が公平であるか?どのような正当性を持つか?
      • Are conditions fair? How do you justify?
    • 実験参加者は誰か?上で想定したユーザと齟齬はないか?
      • Who are your participants? Aren’t they different from your target users?
  • How do you make this happen?
    • どのようなスケジュールにすれば今目標にしている論文締切の1ヶ月前までに全ての実装や調査が終えられるのか?
      • Describe your plan so that you can finish everything one month before the final deadline (e.g., thesis submission).
    • その間に重要な締切等はないか?あればそれは何でいつか?
      • Is there any other important deadline or milestone in your plan? If so, what and when?
    • 実行すべき大きな項目を5~7個程度に対して,それらをいつから始めていつ終えるのか?
      • Itemize 5-7 major action items and when you will start and end for each.
    • そのスケジュールに無理はないか?無理があるとすれば目標としていることを見直すべきではないか?
      • Can you really follow your plan? If there is a stretch, which goals should you re-consider?

 

以上の質問に全て答えられたら次のDevil’s Reviewに移ってください.

When you have answered all questions, please move on to Devil’s Review.


Criticize Deeply: Devil’s Review

次にこのアイデアのよさを批判的な立場から検証します.このように意図的に批判的な立場にたって質問することをDevil’s advocateといいます.例えば,“Let me play a Devil’s advocate.”とか言うことがあります.これらの質問に答えながら,ここまでに書いてきたことを必要に応じて修正してください.単に「問題ない」と答えるのではなく,「こうこうこういう理由で問題がない」と論拠を説明してください.

Now you are criticizing your idea by playing a Devil’s advocate. Please answer the following questions and revise your answers above if necessary. Do not provide simple answers like “shouldn’t be an issue.” You must provide justifications and explanations for your argument of “no issue”.

  • Why is your idea so important?
    • そのアイデアが解決する問題はどのくらい世の中で重要なのか?
      • How important is the problem your idea is trying to solve?
    • もしアイデアが実現できればどんなインパクトをもたらすことができるのか?
      • What impact would you offer if you make your idea happen.
    • その調査の結果がわかるとどんな新しい知見を見いだせそうか?
      • What new insight would you bring after your survey?
  • Aren’t you just building toys?
    • 単に見た目に面白そうなだけで役に立たないものをつくっているだけではないか?
      • Aren’t we creating something that just looks cool but totally useless?
    • 実際にシステムを使ってくれるユーザはいるのか?いるなら誰でどのくらい一般的なのか?
      • Are there really people who would be willing to use your system? If so, how many?
    • 実社会で有益なアプリケーションはあるのか?あるならそれは何か?ないならば,なぜこの技術を作る必要があるのか?
      • What are applications that bring benefits in the real world? If so, what is that? If not, why are we building this technology after all?
    • このシステムや手法でしかできないことはあるのか?あるならそれは何で,それが実現できるとどのくらいユーザにとって嬉しいのか?
      • Is there anything only this system or method enables? If so, what is that? How much happier would it make users if your idea happens?
  • Aren’t you solving toy problems?
    • 今解決しようとしている問題は本当に重要なのか?研究のための課題を作り上げているのではないか?
      • Is the problem you are going to solve really important? Aren’t you just making up a problem for research?
    • その問題が解決することで誰がどの程度幸せになるのか?
      • If you solve that problem, who would be happier? And how much?
  • Isn’t your system just all known?
    • これから作ろうするシステムは単に既存技術の組み合わせではないか?
      • Isn’t your system just a sum of existing technologies?
    • 単なる組み合わせ以上の効果を本当に生み出せるのか?生み出せるとしたらその根拠は何か?
      • Can you create more than effect from the sum of technologies? If so, why do you think so?
  • Aren’t you working on a small delta?
    • 既存研究と比較して単なる+αの仕事をしていないか?
      • Is your work just a small delta from prior work?
    • 速度や精度が上がるとして,ユーザにとってどの程度影響があるものか?
      • If you can improve speed or accuracy, how much would it impact on users?
    • incrementalではなく,innovativeだと世の中に言ってもらえる点はどこか?
      • What convinces people that your work is innovative, not incremental?
    • システムの有用性は本当に社会に影響力のあるものなのか?
      • Would the utility of your system really bring impact to the society?
  • Are you really the right person to work on this?
    • このアイデアは本当に自分がやるべきか?このアイデアに似たことをやりそうな研究グループは誰か?
      • Is your idea really what we should do? Any other research group who may be working on similar ideas?
    • 他の人たちが簡単に追いつけない,我々だけの有利な点があるか?
      • What is our unique advantage that other people do not have?
    • このアイデアを実行するのに必要な知識を持っているか?なければ何を勉強しないといけないか?
      • Do we have necessary knowledge for execution? If not, what will we have to learn?
  • Aren’t you missing important related work?
    • このアイデアに直接関係するプロジェクトをやっている研究者の名前を数名挙げられるか?
      • Can you list up a few names who work on relevant projects?
    • 直近の会議で発表されたものはチェックしたか?
      • Have you checked publications at recent conferences?
    • 逆に古い文献で似たようなものは本当にないのか?
      • Have you checked classic publications?
    • このアイデアに直接関係するもので一番古い論文はどれか?
      • What is the oldest paper related to your idea?
  • Do your limitations make your system useless in reality?
    • システムや実験が非常に限れた状況でしか行えないものではないか?
      • Does your system or experiment work only under a limited condition?
    • このまま世の中に出してもある程度は運用可能か?
      • Can your system be deployable?
  • Aren’t you just designing your system however you like?
    • システムの設計方針を理論立てて説明できるか?
      • Can you justify your system design rationales?
    • インタフェースデザインを正当化する論拠はあるのか?
      • How can you justify your interface design?
    • システムや実験におけるパラメタはどうやって決めるのか?その決定方法は他の研究者に納得してもらえるものか?
      • How would you determine parameters for your system and/or experiment? How can your decision convince other researchers?
  • Aren’t you cheating in your evaluations?
    • 実験では自分のシステムにとって有利になるような評価軸を使っていないか?
      • Aren’t you using metrics that are in favor for you?
    • 他の評価軸としては何があるのか?なぜそれらを使わないのか?
      • What are other possible metrics? Why don’t you use them?
    • 自分にとって有利となるような状況やタスクを設定していないか?
      • Aren’t you setting conditions and task that are in favor for you?
    • 他のタスクや実験条件は考えられないのか?考えられる場合,なぜそれらを選ばないのか?
      • What are other possible tasks and conditions? If so, why don’t you use them?
    • ユーザ実験の場合には自分の実験に都合の良い実験参加者を選んでいないか?当初ターゲットとしていたユーザ層との食い違いはないのか?
      • If you conduct user studies, do you pick up participants who are biased toward you? Is there any discrepancy between them and your target users?

 

以上の質問に全て答えられたら次のExecutive Summaryに移ってください.

When you have answered all questions, please move on to Executive Summary.


State Concisely: Executive Summary

最後にこのアイデアを簡潔かつ正確に説明してみましょう.

As a final exercise, let’s explain your idea concisely and precisely.

  • Explain your research in 30 seconds.
    • このアイデアを初対面の人にどう紹介し、面白いと思わせるか?
      • Consider how you can explain your research to others and convince them your project is very cool.
    • 次の5つのポイントを各々1~2行で説明し,全体で7~8行くらいにする.
      • Explain the five following points in 1 or 2 sentences and make the paragraph 7-8 sentences.
      • 何をやろうとするのか?
        • What are you going to do?
      • どんな問題を解決するのか?
        • What problems will you solve?
      • なぜその問題は重要なのか?
        • Why is your problem so important?
      • 自分の研究のユニークなところはどこか?
        • What is unique in your research?
      • 自分のアイデアにどんなメリットがあるのか?
        • What merits would your idea offer?
  • Explain your research in one sentence.
    • 1行で自分のアイデアをどうやって説明できるか?
      • Can you explain your idea in a single sentence?
    • キーワードが過不足なく含まれているか?
      • Does your description contain all important keywords?
    • 実際にやることや得られるであろう結果と比べて誇張しすぎていないか?
      • Make sure you are not over-claiming what exactly you are going to do.
    • 漠然としていないか.例えば他の似た研究プロジェクトでも同じ文が使えてしまわないか?
      • Isn’t your description too generic? Can similar projects use the same description?
    • 逆に特定しすぎていて,研究プロジェクトを狭めてはいないか?
      • Isn’t your description too narrow?

 

以上の質問に全て答えられたら終わりです.お疲れ様でした.最後の節を読んで論文のドラフトを書きましょう!

This is the end of the reality check. Great job! Please take a look at the last section and create a paper draft!


Congratulations!

以上でReality Checkは終わりです.ここで書いたことを少し整理・修正するだけで論文のドラフトを書くことができます.今までに記述してきたことと論文の構成には大まかには以下のような対応関係があります.

That’s all for the reality Check. Now, you can create a paper draft with making minor revisions on your answers. You can roughly map between what you have written and what you need to put in your paper draft as follows.

  • Title
    • Explain your research in one sentence.
  • Abstract
    • Explain your research in 30 seconds.
  • Introduction
    • Why is your idea so important?
    • Who cares?
    • What is your goal?
  • Contributions
    • How radical?
  • Related Work
    • What are the classics?
    • Who are competitors?
    • What are your advantages?
  • Implementation
    • How will you implement your system and/or run your study?
    • What will you need to build your system and/or run your study?
  • Experimental Design
    • How will you confirm your advantages?

矢谷流論文の読み方

 

研究するにあたって,過去の論文を読むことはとても重要な作業です.しかし,論文を読むのは存外大変な作業でもあります.特に英語の論文を読むのは,多くの学生さんにとっては大変な苦労だと思います.またそもそも論文を探すこと自体に苦労することがあると思います.しかし慣れてくれば,どういうキーワードで論文を検索すべきか,誰がこのトピックでは多くの論文を書いているか,論文のどのあたりを重点的に読めばよいか,がわかってくるようになります.

以下は,IIS Labの学生さんに,どのように論文を読んでほしいかをまとめた内部向けのドキュメントを,2018年5月に一般に公開したものです.「『論文を読みなさい』と言われたけれど何をすればいいのだろう...」という方の一助になれば幸いです.

 

論文を読むとは

「論文を読む」というのは,論文を印刷してただ漠然と目を通せばよい,ということではありません.読んで自分なりにその研究を理解し,自分の研究に生かしていくことが,論文を読む目的です. 自分のアイデアと比べて,重複しているのかどうか,使えそうな知識や技術はあるか,この論文ではまだ明らかになっていないことは何か,を明確にしていくことが,「論文を読む」ことの本来の目的です.研究に慣れていない人は,論文を読むこと自体が大変なので,この目的を見失いやすいものです.なので,まだ慣れていないときこそ,これに十分に気をつけて論文を読んでください.

また1度目は全てを細かく理解する必要ありません. 以下のbeginner編にあるように,TAMMICやKURRが埋められるような程度の情報が集められればまずはOKです.そして必要に応じてシステムや実験を細かく理解していけばよいです.その意味でも,論文を読むことに長々と時間を掛けることは多くの場合望ましくありません.ただし,「そういえば前読んだ論文にこれと似たような手法があったな.あれもう一度読んでみよう.」ということがさっと検索できる程度に理解・記録する必要があります. その状態を目指してください.

 

論文を探す

論文を探すのは基本インターネットでの検索です.特にgoogle scholarは大変に有用です.何はなくともgoogle scholarから始め,その後googleや他の検索エンジンを使ってみましょう.

次にキーワードを考えます.まず自分の思いつきやアイデアを比較的一般的に表すような英単語を5つ考えましょう.例えば,「食べログの画像を用いて車いすでのアクセシビリティを判定する」というアイデアに対してどんなキーワードがありますか?accessibility, wheelchair, imageはありそうですがその他にはなにがありそうでしょうか?固有名詞は検索に(基本的には)向きませんので,食べログはreview websiteとかrestaurant websiteに置き換えられそうです.画像といってもいろいろありますので,exteriorとかで外観とかを特定してもよいかもしれません.以上のようにある程度具体的だが,漫然としてない(どんな論文でも引っかかりそうなキーワードではない)言葉をいくつか考えます.

さらに絶対に外せないキーワードを選びます.この場合はaccessibilityは絶対に外せませんね.このアイデアに似たものを記述した論文は必ずといったいいほどaccessibilityという言葉を論文で使うと考えられるからです.同様にwheelchairもそうですが,「食べログの画像を用いて視覚障害者向けのアクセシビリティを判定する」という論文もあるかもしれません.もしそのような論文があれば参考にできるものがあるかもしれません.よってaccessibilityという言葉よりは重要度は低そうです.このように今の思いつきやアイデアに対して,そのキーワードを外してしまうと全然違うものになってしまう,というようなキーワードを探してみましょう.

あとはこの外せないキーワードを軸に組み合わせを考えます.例えば,「accessibility wheelchair」,「accessibility review website」,「accessibility restaurant website」とかが考えられそうですね.逆に「accessibility image」は悪くはなさそうですが,ちょっと幅が広すぎそうです.なので最初の検索には使わず,いい論文が見つからなかったらこのような検索キーワードに広げていきます.

次にあるキーワードでgoogle scholarにて検索します.するとタイトルと引用数が出てきます.このときにどの論文を選んでみるかを考えなくてはなりませんが,参考になるのは,

  • タイトルを読んでみて自分のアイデアに近そうなもの
  • 引用数の多いもの(一概には言えませんが,50以上)
  • 我々の分野で有名な会議や自分のアイデアが最も関係する会議で発表されているもの
  • 著者の中によく見る人の名前があるもの

あたりかと思います.

めぼしいものがあったら,実際にクリックしてタイトル,著者,論文誌・会議名,発行年を確認します.関係ありそうですか?明らかに違うな,と思った場合以外は次にアブストラクトを調べます.

アブストラクトは大抵1パラグラフで150 words程度で記述されていると思います.この中から最も重要な情報を2分程度で抜き出すことをしてみましょう. 重要なのは,

  • この論文が何をしたのか(どんなシステムを作ったのか,どんな調査をしたのか)
  • どんなことがわかったか

をつかむことです.この2つをアブストラクトの中から探し出して,切り出してみてください.

切り出した情報を読んでみてどうですか?この論文を「絶対に読まないといけない」,「読んだ方がよさそうだけど絶対じゃない」,「あんまり関係なさそう」の3つに分けるとすればどれですか? もし「絶対に読まないといけない」であれば,自分の思いつきやアイデアにだいぶ関係していそうですね.ということは他の論文でもこの論文を引用している可能性は高いですね.

また新しいキーワードとなりそうな言葉はありませんでしたか? もしそのような言葉があればぜひメモっておきましょう.

この場合はgoogle scholarの検索結果の画面に戻り,この論文のリンクの下のところにある「引用元」というリンクをたどります.ここから今選んだ論文を引用している論文をたどることが可能となっています.これでさらに検索することができます.

引用をたどってみてあまり論文が見つからなければ,違う論文で同じ作業をする,あるいはキーワードを変えてみる,ことによって自分の検索をどんどん広げていきます.

あとは「絶対に読まないといけない」,「読んだ方がよさそうだけど絶対じゃない」あたりの論文を実際に読み進めることになります.上の作業を繰り返して,ある程度論文を集めてからでも構いませんし,2,3本くらい集めたら読む,というのでも構いません.自分なりに整理につけやすい形で検索を進めてください.

 

矢谷流の論文の読み方 for beginner

論文をまだあまり読んだことがない人はまずここから始めましょう.この段階では,論文を読んで自分の言葉でまとめることを,強く意識しながら行います.

1. 論文を読む数をしっかり想定する

1つの研究プロジェクトに対して,論文を何本くらい読まないといけないと思いますか?もちろんトピックによりますし,深く読み込むもの,大まかに読むもの,いろいろありますが,矢谷の経験上50本程度はさらう必要があります.昔から多くの研究がなされているトピックであれば,さらに多くの数をこなさなければなりません.先生や先輩から教えてもらった論文を読んだら終わり,ではありません. そこから自分で調査をしてさらに論文を探し出すことが必要になります.したがって,「このアイデアをもっと掘り下げてみましょう」となった時は,論文を50本読まなければならない,と思って,1つの論文を読む時間を逆算してください.

2. 時間を決めて読む

論文は読み込もうと思えばいくらでも時間を掛けられます.時間がたくさんあれば理解できるのはある意味では当たり前です.しかし,研究プロジェクトでは多くの論文を読まなければなりません.先輩の修論や卒論を見てもらえればわかりますが,最低でも30本程度の論文が記載されていると思います.実際にはここに掲載することがなかったさらに多くの論文があります.例えば,上で決めたように50本の論文を読むとしましょう.1日1本のペースでは,およそ2ヶ月かかります.もしここでアイデアの変更を余儀なくされてしまったら,また50本の論文を読まなくてはなりません.このペースでは遅いことはすぐにわかると思います.

以上の理由から,論文は漫然と読んではいけません. そのために時間を制限して読むことを心がけましょう.もちろん論文の長さにもよりますが,人間の集中力の限界もあるので,最大でも90分とするのがいいと思います. 慣れてくればそれを1時間,30分と減らしていきます.

これを積み重ねていくことにより,自分がどの程度の時間で論文を読み切れるかもわかってきます.そうすると,論文を読んでまとめる作業にどのくらい自分は時間が掛かるのか,わかってくるようになります.こうなってくると自分の作業計画も立てやすくなります.

3. TAMMICで論文を要約する

時間を決めたら論文を読み始めましょう.しっかり集中できる環境を作ってください.漫然と読むことを防ぐため,論文を自分の言葉でまとめながら,読んでいきます.アブストラクトのコピーではだめです.必ず自分の言葉で要約しましょう.

論文をまとめるためのフレームワークが以下のTAMMICという6つの項目です.論文を読み始める前に,まず各項目をすぐに書き留められるように,紙,テキストファイル,evernote,google docs,githubなどに以下の項目を用意しましょう.そして論文を読みながら,各項目を埋めてください.重要なポイントは以下の項目を探しながら読むということです.読んでいって見つかったら書くではなく,以下の項目を書くためにその部分を探し出す,というくらいの感覚で読むことです.

各項目は数行程度でまとめましょう.わかりやすい図や写真があればそれもコピーしておくといいかもしれません.

研究を始めて間もない人や,自分がよく知らない分野のトピックに取り組む人は,特に著者をよく見るようにしてください.誰がこの分野を引っ張っているのか,あるいはどのグループが活躍しているのか,そのような情報を頭に入れることが,研究者への道の第一歩になります.

  • Title: タイトル
    • 会議名や発表年も記録しておくといいと思います.
  • Author: 著者,所属
    • よく見る名前がないかも軽くチェックしましょう.第1著者だけでなく,後ろの方に書かれている人物(指導教官などであることが多い)の名前もチェックしましょう.
    • 多くの人が思うより,人の名前はとても重要です.議論するときに,よく「○○さんの研究で~」という言い方をするからです.そのときにピンと来ることができるように,しっかり名前も覚えましょう.
  • Motivation: 研究の出発点
    • どんな課題や問題点を解決しようとしたのか?
    • 既存の研究で足りないところはどこだったのか?
  • Method: 研究手法
    • どんなシステムを作ったか?なぜそのシステム設計でよいと仮定したか?
    • どんなアルゴリズムを作ったか?なぜそのアルゴリズム設計でよいと仮定したか?
    • どんな調査をしたか?なぜその調査計画でよいと仮定したか?
    • どんな実験をしたか?なぜその実験設計でよいと仮定したか?
  • Insight: 結果と知見
    • どんな結果が得られたのか?どんな条件だと上手くいって,どんな場合は上手くいかなかったのか?
    • 新しくわかった知見はなにか?他のアプリケーションやシステムでも使えそうな知見は何か?
  • (One-sentence) Contribution Summary: 貢献を1行でまとめる
    • 上の情報をもとに以下のようなフォーマットでまとめる.
    • 「[Author]は[Motivation]という課題のため,[Method]を行い,[Insight]がわかった.」
    • 関連研究のセクションでこの研究を説明するときに,この形で説明します.ですので,この形にまとめることには重要な意味があることをしっかり頭の中においてください.

4. 次の論文に向けて,KURRで新しい情報を整理する

最後に,次に読むべき論文に向けて,新しい情報を整理しましょう.このために以下のKURRというフレームワークを使います.TAMMICと同じようにちゃんと自分の言葉でまとめ,記録しましょう.

  • Keyword: キーワード
    • この論文から得られた,検索に使えそうな新しいキーワードはなにか?
    • どんな言葉を使って自分のアイデアに近い概念を表現しているか?
  • Unknown: 残った課題
    • どんなことがまだ知られていないか,あるいは解決していないか?
  • Reflection: 考察
    • この論文は自分のアイデアとどこまで似ているか?
    • この論文の中で自分の研究に生かせそうなところはどこか?
    • もう一度読むことが必要そうか?
    • 自分の論文を書くときに引用する確率が高そうか?無関係,あまりなさそう,あるかも,ほぼ絶対,くらいの4段階でつけるとよい.
  • Reference: 関連研究
    • 関連研究に挙げられている論文の中で近いもの&読んでいないものはどれか?

以上がまとまったら,再度見直しをして,次に読む論文を決めましょう.KURRで挙げた論文を読んでもいいですし,新しいキーワードで調べ直す手もあります.これを繰り返していくと,KURRで挙げられる新しいキーワードや関連研究がなくなってきます.そうすると「だいたい読み切れたかな」という感じになってくるわけです.

5. 読んだ論文を整理し,研究領域の全体像をつかむ

ある程度の数をこなした段階で,今まで読んだ論文を整理してみましょう.ここでの目標はクラスタリングです.

まずKURRで引用する可能性が中 and 高程度と判断した論文を抜き出しましょう.その後,その論文を3つ程度のグループに分類してきます.分類の仕方は一概には言えないので,難しいところですが,まずは明らかに似ていると思うような論文のペアを作りましょう.おそらく何組かできあがると思います.さらにそのペアの中からおたがいによく似ているのものをマージしましょう.このようにbottom-up的にグループを作っていきます.

ペアのマージができなくなったら,各グループにおいて,そのグループを特徴付けるようなキーワードを挙げてみましょう.この時点でキーワードがよく似ているグループがあったら,本当にマージできないかを再考し,必要に応じてグループの調整を行います.

ここまで終わったら,まだグループやペアになっていない論文が,どこかのグループに加入できないかを考えていきます.必要に応じてキーワードを変更しても構いません.再度グループのマージができないかも考えます.さらにKURRで引用する確率があまり高くないと判断したものも入れても構いません.

ここまで来たら自分のクラスタリングの全体を見渡します.グループの数はどうでしょうか?数が多すぎるときはもっとマージできないか考えて見ましょう.各グループの論文の数はどうでしょうか?例えば論文の数は少ないけどどれも引用する可能性が高いもの,みたいなグループはありませんか?その場合にはそのグループに属するような論文をもっと調べる必要がありそうです.逆に引用する可能性が低そうな論文ばかりのグループは,今回のプロジェクトでは後回しにしてもいいかもしれません.このようにして自分の調査に不足がないかを確認していきます.

そして最終的には各グループあたり10本程度の3つくらいのグループができればとりあえず完成です.ある程度お互いに排他的になっていることを再度確認してください.そしてこの各グループが関連研究のサブセクション1つずつに大まかには対応していくことになります.

 

矢谷流の論文の読み方 for intermediate

TAMMICやKURRがさっとできるようになったら,次の段階へ移りましょう.この時点でKURRは明示的に行わなくても頭の中でできるようになっていると思います.中級編ではシステムの設計指針,実験方法,表現や論文での見せ方など,自分の研究に生かせるポイントを重点的に学んでいきます.

TAMMICとKURRをやりながら,以下のような自分にとって役に立つであろう点を探して,ハイライトしたりメモしたりしてみましょう.

  • 自分の研究分野の「レギュラー」か.よく見る人の論文であれば,その人が出している関連する他の論文がないか,も後で確認しましょう.
  • 研究背景の説明をどのようにしているか,研究の動機をどのように説得力あるように説明してるか.
  • 関連研究をどのように分類,整理して,説明しているか.
  • システムやインタフェースの設計をする際にどのようにその設計を正当化しているか,なぜ論文で実装されている方法で良いという仮設が立てられるのか.
  • 実験をどのように計画し,実行しているか.例えばタスク設計はどのようにして,なぜそれでよいか,を主張しているのか.
  • 論文の中でどのような表現・言葉遣いが自分の論文でも使えそうか.
  • 図やグラフ,ビデオの見せ方で参考になるものはあるか.

この段階では他の研究者がどう論理を展開し,論文で表現しているかを学ぶことが重要です.例えば,“Accessibility is very important for wheelchair users, but such information is difficult to acquire.”だけでは確かにそうかもしれませんが,何がどう重要なのか,難しいのかよくわかりませんよね.“Wheelchairs need to obtain information about whether a location is accessible to them before their visits. However, acquiring such information is often challenging because existing online services and maps may not necessarily offer sufficient accessibility data about a location.”くらいに具体的に問題と難しい点を説明してあげればより説得力を持たせることができます.

このように「どのように話を持って行くか」というのが論文では非常に重要になります.過去の研究から学べることは手法や結果だけではないことが身についたら,上級編に行きましょう.

 

矢谷流の論文の読み方 for advanced

上級編では自分が論文を査読していると思って,論文を読みます.自分だったらこの論文を学会に通すか,否か.通すならどういう理由で通すのか,通さないならば何かが欠けていると思うのか,その点にも注意しながら読み進めます.

査読のフォーマットにはいろいろあると思いますが,大枠としては以下のようなことを書きます.

  • Overall review score: 査読スコア,大抵1–5で5が一番よい.
  • Review confidence: 自分の査読にどの程度自身があるか,あるいは自分の専門分野に近い論文か,1–4で4が一番高い.
  • Summary: 論文が何をやっているかの要約.1パラグラフでOK.
  • Review: 査読コメント
    • 多くの場合は5~7パラグラフくらい.文法の誤りなど,細かいツッコミを書くこともあるが,基本は論文が提供する貢献に対してのコメント.特に,
      • どういう点が新しいのか?
      • 提案されているシステムや手法はどのように信頼できるのか?
      • 行われた実験が研究の目的・方向性に合致しているのか?
      • 実験結果の信頼性を損ねてしまうような問題点はないか?
      • 他の研究者が再実装・再実験可能な程度の情報が提供されているか?
      • その他,信頼性を損ねてしまうような問題点はないか?
  • Confidential comments to program committee: 著者には送らないけど査読コミッティーには伝えたいようなメッセージ

これらの内,おもにSummaryとReviewを埋めることになるわけで,これらを自分の言葉でまとめる必要があります.重要なのは良いところはなぜ良いかを明確に述べる,不足しているところはどう不足していて,どう補えばいいかを書く,ということです.

また論文を落とすのはそれほど難しいことはありません.どんな論文でも,けちをつけようと思えばつけることが可能です.1つ1つの論文にはかならずlimitationsが存在します.それを考慮したとしても,この論文が採択され,公開されることによるメリットが大きいのであれば,採択に足る理由になります.ですので,査読ではなく,「論文を読む」という作業においては,

  • どういう点が査読者から賛同を得られるところであるか?
  • どういう点が査読者を「通したいぞ!」と思わせるようなところなのか?
  • どういう点が論文の新規性になっているか?それをどう説明し,展開しているか?
  • どういう点が論文の信頼性になっているか?それをどのような手法や論理展開で高めているのか?

というあたりに注目して読んでみてください.そして,それらの点を自分の研究や論文にどう生かせるかを考えて見ましょう.論文の書き方や表現はその運命を時に大きく左右します.このように過去の論文から学べることはいっぱいあります.

 

以上,ここまできた方はもうすでにご自身の論文の読み方・まとめ方を確立されているかと思います.ぜひいろんな方にご自身の方法を教えて上げてください!(私にも是非.;) )