Critical reading is a primary way through which researchers develop their critical thinking skills. While exchanging thoughts and opinions with peers can strengthen critical reading, junior researchers often lack access to peers who can offer diverse perspectives. To address this gap, we designed an in-situ thought exchange interface informed by peer feedback from a formative study (N=8) to support junior researchers’ critical paper reading. We evaluated the effects of thought exchanges under three conditions (no-agent, single-agent, and multi-agent) with 46 junior researchers over two weeks. Our results showed that incorporating agent-mediated thought exchanges during paper reading significantly improved participants’ critical thinking scores compared to the no-agent condition. In the single-agent condition, participants more frequently made reflective annotations on the paper content. In the multi-agent condition, participants engaged more actively with agents’ responses. Our qualitative analysis further revealed that participants compared and analyzed multiple perspectives in the multi-agent condition. This work contributes to understanding in-situ AI-based support for critical paper reading through thought exchanges and offers design implications for future research.
批判的読解は，研究者が批判的思考力を育成する上での主要な手段である．同僚との意見交換や思考共有はこの読解を強化するが，若手研究者は多様な視点を提供できる仲間にアクセスする機会が限られている．この課題に対処するため，本研究では形成的調査（N ＝ 8）から得られたピアフィードバックに基づき，若手研究者の批判的論文読解を支援するためのその場型思考交流インタフェースを設計した．さらに，2 週間にわたり 46 名の若手研究者を対象に，エージェントなし，単一エージェント，および複数エージェントという 3 条件下で思考交流の効果を評価した．その結果，読解中にエージェントを介した思考交流を導入することで，エージェントなし条件と比較して参加者の批判的思考スコアが有意に向上した．単一エージェント条件では，参加者は論文内容に対してより多くの内省的注釈を行い，複数エージェント条件では，エージェントの応答に対してより積極的に関与した．質的分析の結果，複数エージェント条件では参加者が複数の視点を比較・分析する様子も確認された．
Xinrui Fang, Anran Xu, Chi-Lan Yang, Ya-Fang Lin, Sylvain Malacria, Koji Yatani. 2026. LLM-based In-situ Thought Exchanges for Critical Paper Reading. In Proceeding of IUI 2026.
https://arxiv.org/abs/2510.15234
方 欣瑞．徐 安然．楊 期蘭．林 雅芳．マラクリヤ シルバン．矢谷 浩司．大規模言語モデルを用いた批判的論文読解支援システム．情報処理学会HCI研究会，2026年1月．