このページでは，IIS Labで研究プロジェクトを始める段階で利用しているチェックリストを公開しています．このReality Checkは矢谷が学生さんと一緒に仕事する中で，まとめたものになります．特に，「Think radically. Execute logically.」というコンセプトを言語化するために作ったチェックリストです．チェックリストの項目がHCIの研究に偏っている部分もありますが，他の研究分野でも役に立つことがあるかもしれない，と思い，公開するに至りました．皆さんなりにぜひ色々と改良していただければと存じます．またその際にはぜひ矢谷に改良版を教えてください！

This page presents a check list which we use when we start a new project. This Reality Check was produced through collaboration and interaction with students. This checklist demonstrates our way of thinking: “Think radically. Execute logically.” It may be a little biased toward HCI research, but I hope it could be useful for other fields. Please feel free to revise, and let me know when you build you own!

 

Reality Checkを始める前に

Reality Checkを始める前に気をつけてほしいことがいくつかあります．

  • ご自身の答えを必ず書き下すようにする．頭の中で「大丈夫」と思っても，書いてみると意外と怪しいことはいっぱいあります．このチェックリストは書くことのエクササイズでもあります．書くのは大変ですが，必ず書き記してください．
  • できる限り具体的に記述するようにする．他の人にこのチェックリストの答えだけを見てもらっても，研究の中身がわかるように書きましょう．
  • 周りの人に意見をもらう．チェックが終わったら，周りの人からフィードバックをもらいましょう．記述が甘いところ，見通しが悪いところ，論理的でないところはどこでしょうか？今の時点でそれを見つけることがこのReality Checkの意図です．

There are a couple of things you need to keep in your mind for this Reality Check.

  • Write down your answers in a paper. It is quite common that you may think it works but you notice it doesn’t when you write down. This check list also serves as an exercise for writing. I know it’s a tough exercise, but that’s something I want you to learn.
  • Write your answers in as much detail as you can. Make sure that you include sufficient information so that other people can understand your idea without you.
  • Ask people around you for double-check. Once you are done, get someone to go through your answers and ask feedback. Any answer where your description is vague, your plan is unclear, or your explanation is not logical? Uncovering such weak points is the whole purpose of this Reality Check.

 

Think radically: Idea Overview

まず今のアイデアについて整理をしましょう．特に，どんな新しい発想があるかを明確にします．
Let’s start sorting out your current idea. We are going to clarify what new ideas or thoughts your idea contains.

 

  • What is your goal?
    • この研究を通して達成したいこと，明らかにしたいことは何か？
      • What do you want to achieve or uncover through this research?
    • 何を作るのか？何を改良するのか？何を調査するのか？
      • What will you build? What will you improve? What will you survey?
    • 他の人が聞いてこれから作るシステムが理解できる程度の具体性があるか？
      • Do you describe enough details about your system so that others can also understand what you are going to do?
    • どのようにして「達成した」，「明らかにした」と客観的に示すのか？
      • How do you objectively demonstrate that you have achieved or uncovered?
  • How radical?
    • 「そんなことできるの！？」，「そんな考え方あり！？」と他の人に思わせる点は何か？
      • What in your idea makes people say like “Can you really do it!?” or “That’s pretty crazy!”?
    • 他と決定的に違うところを一言で述べるとすれば何か？
      • How can you describe what makes your idea so unique in one sentence?
  • How unique?
    • (システム等を作る場合，)今から作るシステム，技術にしかできないことは何か？
      • What is the thing only your system or technology can do and others cannot?
    • (調査を行う場合，)過去の調査が全くカバーせず，この調査のみがカバーしようとしている点はどこか？
      • What is the area which only your investigation will cover but others have not?
  • Who cares?
    • そのアイデアで誰が得をするのか？
      • Who gets benefits from your idea?
    • ユーザは誰でどんな状況下にあるのか？
      • Who are the target users and under what contexts/scenarios?
    • そのようなユーザは世の中に何人いるのか？あるいはどのくらいの頻度でそのような状況下に置かれるのか？ユーザ層は狭すぎたりしないか？
      • How many are such users? How often or likely are the target users under the context/scenario you are thinking of? Isn’t your target user population too narrow?
  • How passionate?
    • そのアイデアに対してどのくらい強くやりたいと思っているか？
      • How strongly are you passionate about your idea?
    • もし上手くいかなかったとしても粘り強く続けていけると思える根拠は何か？
      • What makes your believe that you would keep your passion even if the idea didn’t fly.

 

以上の質問に全て答えられたら次のExecution Strategyに移ってください．

When you have answered all questions, please move on to Execution Strategy.

Execute Logically: Execution Strategy

次にこのアイデアを具体的に実現する方法について検討をしていきます．
Now you are asked to think about how you can turn your idea into reality.

 

  • How will you implement your system and/or run your study?
    • どうやってそのアイデアを実現するのか？
      • How will you turn your idea into reality?
    • どんな既存技術を使えるのか？
      • What existing technology can you utilize?
    • どんな新しい技術を開発しなければならないか？
      • What novel technology will you have to develop?
    • どんな手法を用いて調査を行うのか？その手法を正当化する理由は何か？
      • What methods will you use for your survey? And why?
  • What will you need to build your system and/or run your study?
    • システムを作るためにどんな機材や設備がいるのか？
      • What equipment and facilities will you need to build your system?
    • 調査を行うためにどんなサービスを使う必要があるのか？どこからデータを収集するのか？
      • What services will you use for your survey? How will you collect data?
  • What are the classics?
    • よくある解決法や一般的な解決手法は何か？
      • What are typical or common solutions?
    • それらにはどんなメリットとデメリットがあるのか？
      • What pros and cons do they have?
  • Who are competitors?
    • どんな競合する技術があるか？
      • What are competitors’ technologies?
    • 最新の関連技術は何か？
      • What are latest related technologies?
    • 特に関連する研究は何か？
      • What is strongly relevant research?
    • それらにはどんなメリットとデメリットがあるのか？
      • What pros and cons do they have?
  • What are your advantages?
    • 既存技術と比べてこのアイデアにどんなメリットがあるのか？
      • What merits do your idea have compared to existing technologies?
    • 「効率」という言葉が出てくる場合は、何の効率を言っているのか？それは計測できるものなのか？
      • If you say “efficient/efficiency,” what efficiency do you mean? Can you really measure?
    • 「最適(optimal, optimized)」という言葉が出てくる場合は、何を最適にし、どんな指標で最適と言えるのか？本当に最適(これ以上がない)なのか？
      • If you say “optimal or optimized,” what exactly will you optimize and with what metrics can you confirm? Can you show that what you get is really “optimal” (i.e., nothing else is better).
    • 「最高・最良(best)」という言葉が出てくる場合は、何を持って最高・最良であると言えるのか？本当に最高・最良(上限に達している)なのか？
      • If you say “best”, with what metrics can you confirm that what you get is best? Can you show that what you get is really “best” (i.e., nothing else is better).
    • 「直感的に(intuitive)」という言葉が出てくる場合は、どのように(定性的ではなく)定量的に直感的であることを示せるのか？
      • If you say “intuitive”, how quantitatively can you show such intuitiveness?
  • How will you confirm your advantages?
    • どのような実験をすればこのアイデアの優位性を示せるのか？
      • Through what experiments can you show advantages of your idea?
    • 何がどのように良くなると仮定できるか？
      • What can you hypothesize that would be improved and how?
    • その実験において計測するものは何か？それは客観的に計測できるものか？
      • What will you measure? Can you measure them objectively?
    • どのような実験条件が考えられ，どの実験条件に絞り込むのか？それはなぜか？
      • What conditions do you think to be considered? How would you narrow them down? Why?
    • 実験条件が公平であるか？どのような正当性を持つか？
      • Are conditions fair? How do you justify?
    • 実験参加者は誰か？上で想定したユーザと齟齬はないか？
      • Who are your participants? Aren’t they different from your target users?
  • How do you make this happen?
    • どのようなスケジュールにすれば今目標にしている論文締切の1ヶ月前までに全ての実装や調査が終えられるのか？
      • Describe your plan so that you can finish everything one month before the final deadline (e.g., thesis submission).
    • その間に重要な締切等はないか？あればそれは何でいつか？
      • Is there any other important deadline or milestone in your plan? If so, what and when?
    • 実行すべき大きな項目を5～7個程度に対して，それらをいつから始めていつ終えるのか？
      • Itemize 5-7 major action items and when you will start and end for each.
    • そのスケジュールに無理はないか？無理があるとすれば目標としていることを見直すべきではないか？
      • Can you really follow your plan? If there is a stretch, which goals should you re-consider?

 

以上の質問に全て答えられたら次のDevil’s Reviewに移ってください．

When you have answered all questions, please move on to Devil’s Review.

Criticize Deeply: Devil’s Review

次にこのアイデアのよさを批判的な立場から検証します．このように意図的に批判的な立場にたって質問することをDevil’s advocateといいます．例えば，“Let me play a Devil’s advocate.”とか言うことがあります．これらの質問に答えながら，ここまでに書いてきたことを必要に応じて修正してください．単に「問題ない」と答えるのではなく，「こうこうこういう理由で問題がない」と論拠を説明してください．
Now you are criticizing your idea by playing a Devil’s advocate. Please answer the following questions and revise your answers above if necessary. Do not provide simple answers like “shouldn’t be an issue.” You must provide justifications and explanations for your argument of “no issue”.
  • Why does your idea really matter?
    • そのアイデアが解決する問題はどのくらい世の中で重要なのか？
      • How important is the problem your idea is trying to solve?
    • もしアイデアが実現できればどんなインパクトをもたらすことができるのか？
      • What impact would you offer if you make your idea happen.
    • その調査の結果がわかるとどんな新しい知見を見いだせそうか？
      • What new insight would you bring after your survey?
  • Aren’t you just building toys?
    • 単に見た目に面白そうなだけで役に立たないものをつくっているだけではないか？
      • Aren’t we creating something that just looks cool but totally useless?
    • 実際にシステムを使ってくれるユーザはいるのか？いるなら誰でどのくらい一般的なのか？
      • Are there really people who would want to use your system? If so, how many?
    • 実社会で有益なアプリケーションはあるのか？あるならそれは何か？ないならば，なぜこの技術を作る必要があるのか？
      • What are applications that bring real benefits to the world? If so, what is that? If not, why are we building this technology after all?
    • このシステムや手法でしかできないことはあるのか？あるならそれは何で，それが実現できるとどのくらいユーザにとって嬉しいのか？
      • Is there anything only this system or method enables? If so, what is that? How much happier would it make users if your idea happens?
  • Aren’t you solving toy problems?
    • 今解決しようとしている問題は本当に重要なのか？研究のための課題を作り上げているのではないか？
      • Is the problem you are going to solve really important? Aren’t you just making up a problem for research?
    • その問題が解決することで誰がどの程度幸せになるのか？
      • If you solve that problem, who would be happier? And how much?
  • Isn’t your system just all known?
    • これから作ろうするシステムは単に既存技術の組み合わせではないか？自明ではない技術的貢献は何か？
      • Isn’t your system just a sum of existing technologies? What is a non-trivial technical contribution in your idea?
    • 単なる組み合わせ以上の効果を本当に生み出せるのか？生み出せるとしたらその根拠は何か？
      • Can you create more than effect from the sum of technologies? If so, what is your justification?
  • Aren’t you working on a small delta?
    • 既存研究と比較して単なる＋αの仕事をしていないか？
      • Is your work just a small delta from prior work?
    • 速度や精度が上がるとして，ユーザにとってどの程度影響があるものか？
      • If you can improve speed or accuracy, how much would it impact on users?
    • incrementalではなく，innovativeだと世の中に言ってもらえる点はどこか？
      • What convinces people that your work is innovative, not incremental?
    • システムの有用性は本当に社会に影響力のあるものなのか？
      • Would the utility of your system really bring impact to the society?
  • Are you really the right person to work on this?
    • このアイデアは本当に自分がやるべきか？このアイデアに似たことをやりそうな研究グループは誰か？
      • Is your idea really what we should do? Any other research group who may be working on similar ideas?
    • 他の人たちが簡単に追いつけない，我々だけの有利な点があるか？
      • What is our unique advantage that other people do not have?
    • このアイデアを実行するのに必要な知識を持っているか？なければ何を勉強しないといけないか？
      • Do we have necessary knowledge for execution? If not, what will we have to learn?
  • Aren’t you missing important related work?
    • このアイデアに直接関係するプロジェクトをやっている研究者の名前を数名挙げられるか？
      • Can you list up a few names who work on relevant projects?
    • 直近の論文誌や会議で発表されたものはチェックしたか？
      • Have you checked publications at recent journals and conferences?
    • 逆に古い文献で似たようなものは本当にないのか？
      • Have you checked classic publications?
    • このアイデアに直接関係するもので一番古い論文はどれか？
      • What is the oldest paper related to your idea?
  • Do your limitations make your system useless in reality?
    • システムや実験が非常に限れた状況でしか行えないものではないか？
      • Does your system or experiment work only under a limited condition?
    • このまま世の中に出してもある程度は運用可能か？
      • Can your system be deployable?
  • Aren’t you just designing your system however you like?
    • システムの設計方針を理論立てて説明できるか？
      • Can you justify your system design rationales?
    • インタフェースデザインを正当化する論拠はあるのか？
      • How can you justify your interface design?
    • システムや実験におけるパラメタはどうやって決めるのか？その決定方法は他の研究者に納得してもらえるものか？
      • How would you determine parameters for your system and/or experiment? How can your decision convince other researchers?
  • Aren’t you cheating in your evaluations?
    • 実験では自分のシステムにとって有利になるような評価軸を使っていないか？
      • Aren’t you using metrics that are in favor for you?
    • 他の評価軸としては何があるのか？なぜそれらを使わないのか？
      • What are other possible metrics? Why don’t you use them?
    • 自分にとって有利となるような状況やタスクを設定していないか？
      • Aren’t you setting conditions and task that are in favor for you?
    • 他のタスクや実験条件は考えられないのか？考えられる場合，なぜそれらを選ばないのか？
      • What are other possible tasks and conditions? If so, why don’t you use them?
    • ユーザ実験の場合には自分の実験に都合の良い実験参加者を選んでいないか？当初ターゲットとしていたユーザ層との食い違いはないのか？
      • If you conduct user studies, do you pick up participants who are biased toward you? Is there any discrepancy between them and your target users?

 

以上の質問に全て答えられたら次のExecutive Summaryに移ってください．

When you have answered all questions, please move on to Executive Summary.

State Concisely: Executive Summary

最後にこのアイデアを簡潔かつ正確に説明してみましょう．
As a final exercise, let’s explain your idea concisely and precisely.

 

  • Explain your research in 30 seconds.
    • このアイデアを初対面の人にどう紹介し、面白いと思わせるか？
      • Consider how you can explain your research to others and convince them your project is very cool.
    • 次の5つのポイントを各々1～2行で説明し，全体で7～8行くらいにする．
      • Explain the five following points in 1 or 2 sentences and make the paragraph 7-8 sentences.
      • 何をやろうとするのか？
        • What are you going to do?
      • どんな問題を解決するのか？
        • What problems will you solve?
      • なぜその問題は重要なのか？
        • Why is your problem so important?
      • 自分の研究のユニークなところはどこか？
        • What is unique in your research?
      • 自分のアイデアにどんなメリットがあるのか？
        • What merits would your idea offer?
  • Explain your research in one sentence.
    • 1行で自分のアイデアをどうやって説明できるか？
      • Can you explain your idea in a single sentence?
    • キーワードが過不足なく含まれているか？
      • Does your description contain all important keywords?
    • 実際にやることや得られるであろう結果と比べて誇張しすぎていないか？
      • Make sure you are not over-claiming what exactly you are going to do.
    • 漠然としていないか．例えば他の似た研究プロジェクトでも同じ文が使えてしまわないか？
      • Isn’t your description too generic? Can similar projects use the same description?
    • 逆に特定しすぎていて，研究プロジェクトを狭めてはいないか？
      • Isn’t your description too specific or narrow?

 

以上の質問に全て答えられたら終わりです．お疲れ様でした．最後の節を読んで論文のドラフトを書きましょう！

This is the end of the reality check. Great job! Please take a look at the last section and create a paper draft!

Congratulations!

以上でReality Checkは終わりです．ここで書いたことを少し整理・修正するだけで論文のドラフトを書くことができます．今までに記述してきたことと論文の構成には大まかには以下のような対応関係があります．
That’s all for the reality Check. Now, you can create a paper draft with making minor revisions on your answers. You can roughly map between what you have written and what you need to put in your paper draft as follows.

 

  • Title
    • Explain your research in one sentence.
  • Abstract
    • Explain your research in 30 seconds.
  • Introduction
    • Why does your idea really matter?
    • Who cares?
    • What is your key scenario?
    • What is your goal?
  • Contributions
    • How radical?
    • How unique?
  • Related Work
    • What are the classics?
    • Who are competitors?
    • What are your advantages?
  • Implementation
    • How will you implement your system and/or run your study?
    • What will you need to build your system and/or run your study?
  • Experimental Design
    • How will you confirm your advantages?