2018-04-05

ルーブリック表の導入に関する個人的所感メモ

ルーブリック（Rubric）評価についての覚書メモ集積です。
基本的に、ルーブリックの導入は、アクティヴ・ラーニングに関する話のなかでもかなりクリアでわかりやすい手法だと思う。ゲームづくりの理屈から言っても、評価方法を予め公開しておくことは合理的だと思う。
ただし、「学び合い」とかで論点となっている「学生自身が評価できる」という点についてはルーブリック表を注意深く作成・導入しないと、なかなか達成が難しいように感じた。
なお、それなりに先行研究が出てきている風だが、まだしっかりチェックしてません。繰り返しになりますが、個人的メモとして、参考程度にお読みください。

ルーブリック表作成にあたっての論点

：ルーブリック表作成にあたって：基本的にルーブリック表の出来のよしあしにかかわる議論は、心理学における尺度作成についての議論がかなり使えると思う。詳しくは、村上宣寛『心理尺度のつくり方』（2006,北大路書房）や、村山航「妥当性概念の展開」などを参照のこと。主な論点として、信頼性の担保、妥当性の担保等について

信頼性の担保：学生によって、評価指標の中身を教員側が意図しない形で読み替えてしまって、勝手な「自分ルール」で理解してしまうケースが少なくない。ダブルバレルなどを防ぎ、誰が読んでもある程度同じ解釈に落ち着くような文をつくることが重要だろうと思う。手間をかけてもよいのであれば、読解の同一性が保たれているかどうかのテストをきちんとやるとよいのでは。
妥当性の担保：ルーブリック表の指標の妥当性をどのように担保するか。「優れたパフォーマンス」は、教員側の意図によって任意に決定可能だが、それは必ずしも望ましくない。これは操作主義的な妥当性概念である。次の三つの妥当性概念を検討することが望ましいだろう。

基準連関妥当性（criterion-referenced validity 尺度がその概念を反映している外的基準と相関するか。予測的妥当性・併存的妥当性）
内容的妥当性 (content validity 測定したい領域を反映しているか。網羅性やバイアスが考慮されているか）
構成概念妥当性 (construct validity)：理論的・仮説的な構成概念を測定しているといえるか。構成概念妥当性は、収束的妥当性 (convergent validity)と、弁別的妥当性 (discriminant validity)によって測定可能らしい。弁別性については、EFA（探索的因子分析）をやることで、共通因子の排除や、弁別性の強い評価ポイントを見出すことが可能だろう。

ルーブリック表導入にあたっての論点

ここでは、社会学における内容分析の調査実施プロセスなどが参考になるのではないだろうか。
要するにルーブリック表の内容について把握してもらうための時間をきっちりと設けて、理解度テストなどのトレーニングも含めて実施する。
ただし、授業に欠席者が多いとあまり意味をなさないことがあるので、ルーブリック表の理解テストに合格しておくことを最終課題を出すための前提条件とかにしておく必要があるかもしれない。

先行研究っぽいもの（まだあんま読んでない）

Google Scolarでの検索結果「Rubric learning」

https://scholar.google.co.jp/scholar?start=10&q=Rubric+learning&hl=en&as_sdt=0,5

Roblyer, M. D., and Leticia Ekhaml. "How interactive are YOUR distance courses? A rubric for assessing interaction in distance learning." Online Journal of Distance Learning Administration 3, no. 2 (2000).
Andrade, Heidi Goodrich, and Beth A. Boulay. "Role of rubric-referenced self-assessment in learning to write." The Journal of Educational Research 97, no. 1 (2003): 21-30.https://www.tandfonline.com/doi/abs/10.1080/00220670309596625

他メモ

今の所、授業でルーブリックを使っていて、解釈のブレの少ないルーブリック表を、丁寧に浸透させていくことで、最終課題のクオリティは、確実に上昇したという印象を持っている。
ただ、D大の授業では、課題のクオリティは間違いなくあがっており、学生の授業への満足度も高かったのだが、「自分の到達クオリティが高かった」という自己評価については、大学全体の授業平均よりもアンケート結果が下回ることになった。これは、やや高めの目標をクリアに提示しすぎたために、自己評価が低かったということなのか何なのかわからないが、自己評価はもう少し高いほうが嬉しい。授業担当者として褒めるべき部分を十分に褒められていなかった可能性や、提示した目標の水準が高すぎた可能性もあるので、要調整

2020年7月29日追記：

ルーブリック表を沢山つくっていると、これって内容分析のコーディングのルールつくってるのに近いよなあ……ということを思ってしまう。
内容分析のコーディングのルールの場合、妥当性と信頼性の担保に関わる議論がいろいろとやられているので、そういった話とかを援用するとやっぱりいいのではなかろうかという感じがする。

2018-04-03

「ゲームの楽しさ」についての多変量分析を行っている研究リンク／随時更新

資料統計

メモ的なもの。随時更新

Sherry, J. L., Lucas, K., Greenberg, B. S., & Lachlan, K. (2006). Video game uses and gratifications as predictors of use and game preference. Playing video games: Motives, responses, and consequences, 24(1), 213-224.

　あとで、詳細みる。因子分析やってる風なのは確認。

Wiebe, Eric N., Allison Lamb, Megan Hardy, and David Sharek. "Measuring engagement in video game-based environments: Investigation of the User Engagement Scale." Computers in Human Behavior 32 (2014): 123-132.

研究対象：ビデオゲームプレイ中にエンゲージメント
手法：EFA
元尺度：UES（ユーザーエンゲージメントスケール）の6つのスケー
EFAの結果：Focused Attention（焦点を絞った注意）, Perceived Usability（知覚されたユーザビリティ）, Aesthetics（感性）, and Satisfaction（満足）の4つのみに絞られる。※この4つを修正UES（UESz）と名付ける
妥当性の検証：フロー・ステート・スケール（FSS）との比較を行い、FSSよりも、UESzがゲームのパフォーマンスを的確に予測した。

https://www.emeraldinsight.com/doi/abs/10.1108/20426781111146763

Cianfrone, Beth A., James J. Zhang, and Yong Jae Ko. "Dimensions of motivation associated with playing sport video games: Modification and extension of the Sport Video Game Motivation Scale." Sport, Business and Management: An International Journal 1, no. 2 (2011): 172-189.

EFA
元尺度：Sport Video Game Motivation Scale(SVGMS)：Competition, Diversion, Enjoyment, Fantasy, Interest with Sport, Social Interaction, and Sport Knowledge Applicationなど
EFA結果：Competition, Diversion, Enjoyment, Fantasy, Social Interaction, Sport Interest, Sport Knowledge Application, and Team Identificationの8つ

https://www.emeraldinsight.com/doi/abs/10.1108/IJSMS-08-01-2006-B006

Kim, Y., & Ross, S. D. (2006). An exploration of motives in sport video gaming. International Journal of Sports Marketing and Sponsorship, 8(1), 28-40.

Mellecker, Robin, Elizabeth J. Lyons, and Tom Baranowski. "Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: A narrative review." GAMES FOR HEALTH: Research, Development, and Clinical Applications 2, no. 3 (2013): 142-149.

研究対象：Exergames(Wii Sportsや、Kinect Sportsなどのエキササイズ系ゲーム)
手法：EFA
クラスタ（１）：▼元尺度：生徒に「あなたが楽しんでいるときの典型的な状況」を特徴づけるために、42の形容詞を選んでもらい、▼EFA結果：して、Sociability（社会性）, contentment（満足度）, achievement（達成度）, sensual（官能性？）, ecstatic（恍惚？）
クラスタ（２）：▼元尺度：重要な「ビデオゲームの楽しさ」について、37の特徴から評価してもらい、▼EFA結果：Fantasy（ファンタジー）, exploration（探検）, companionship（仲間）, competition（競争）, realism（現実らしさ）, and challenge（挑戦）の6因子

その他：MDAに近いモデルとしてDPE（Design,Play,Experience）が用いられている。

https://www.jstage.jst.go.jp/article/jjet/28/4/28_KJ00003730639/_pdf

山下利之, 清水孝昭, 栗山裕, & 橋下友茂. (2005). コンピュータゲームの特性と楽しさの分析. 日本教育工学会論文誌, 28(4), 349-355.

アンケートのEFA

研究対象：

手法：アンケート、EFA

アンケート内容：

（予備調査）公立大学工学部学部生計32名（男性24名，女性8名）に対して，“自分がこれまで実際に遊んだことのあるコンピュータゲームの中で，面白いと思ったゲームソフトのタイトルを5個以上10個未満書く”ことを求めた．その際，1）シリーズ作品に関しては，そのシリーズの中で最も面白かったものを一つだけ記入すること，2）シリーズ作品でも，例えば，RPG（RolePlayingGame）からネットワークを利用したゲームへ変更した場合など，ゲームのスタイル，ジャンルが大きく変わった場合には両者を記入してもよいこと，などを教示した

（本調査）公立大学工学部学部生計145名（男性129名，女性16名）とした．各被調査者は，16ページから成る小冊子を与えられた．教示や氏名欄が印刷された表紙に続く各ページには，1つのコンピュータゲーム名が記され，そのゲームの経験の有無を尋ねる質問が記されていた，経験があると回答した被調査者は，そのゲームの心理的印象に関して，前述した30の評定項目の各々に対して，‘‘Lあてはまらない”，“2．ややあてはまらない”，‘‘3．どちらともいえない”，“4．ややあてはまる”，“5，あてはまる”の5件法で評定することが求められた．

クラスタ：

（予備調査）PR・シナリオ性、仮想性(-現実性)、運動型-思索型、キャラクター普及型-機器普及型

（本調査）ゲーム本来の楽しさ、感覚運動的興奮、設定状況の魅力、和みと癒やし、難解・頭脳型

------------------------

ふむ。

対象がいろいろと違うのであれだが。

システマティックレビューみたいなことを考えた場合、測定対象の同一性が担保できていないので、システマティックレビューをやる意義がちょっとわかりにくい。

また、いずれも、基準連関妥当性 (criterion-referenced validity) 、内容的妥当性 (content validity)、構成概念妥当性 (construct validity)あたりについて、ある程度は考慮されているようには思える。ただ、バックにある理論がどんだけあるのかというと、そこは弱い。フロー体験とか以外に何か共有されている理論的基礎があるというわけでもない。私の連載の内容みたいなのをもう少しクリアなモデルに落としてやらないと、みんな、そもそも共通の土台にのっかって議論ができないよな、という状況だろうとは思うので、頑張ろう。

また、二重盲検法とランダムサンプリングみたいなことをきちんとやっている調査かどうかか、とかあたりもきちんと見ていけば、とりあえずのシステマティックレビューはできる気がする。

あとで（2021年6月4日メモ）

-Boyan Bontchev, Dessislava Vassileva, Adelina Aleksieva-Petrova, Milen Petrov,
Playing styles based on experiential learning theory,Computers in Human Behavior,Volume 85,2018, Pages 319-328,
ISSN 0747-5632,https://doi.org/10.1016/j.chb.2018.04.009.

260人の調査

あとで（2021年6月4日メモ）

eludamos.org

追記：

Demetrovics, Z., Urbán, R., Nagygyörgy, K. et al. Why do you play? The development of the motives for online gaming questionnaire (MOGQ). Behav Res 43, 814–825 (2011). https://doi.org/10.3758/s13428-011-0091-y

オンラインゲームについての調査

A total 3,818 persons (90.6% males; mean age 20.9 years, SD = 5.81)
Motives for Online Gaming Questionnaire (MOGQ).
coping–escape, fantasy, skill development, omnipotence (power), recreation, competition, and social motivesの7つに分けた。

Nick Yee(2006)　オンラインゲームのモチベーション分類

これは因子分析？ではないっぽい。
Yee, N. (2006). Motivations for play in online games. CyberPsychology & behavior, 9(6), 772-775. https://doi.org/10.1089/cpb.2006.9.772
Advancement、Socializing、Discovery、Mechanics、Relationship、Role-Playing
Competition、Teamwork、Customization、Escapism　の10つ。α係数とかを見ている。
めっちゃ引用されてるやつ。どのぐらい再現性があるのかとか確認しておきたいところで…
下記Yee, N., Ducheneaut, N., & Nelson, L. (2012, May). Online gaming motivations scale: development and validation. In Proceedings of the SIGCHI conference on human factors in computing systems (pp. 2803-2806).で、EFAがやられている。　https://dl.acm.org/doi/abs/10.1145/2207676.2208681

パッとみたところ、（１）Immersion, (2)Social (3)Achievement　の3つに分かれるとしてい。10個に分かれるという話との関係は…？
あと、Nick Yee& Nicolas Ducheneautは、Quantic Foundry Apps　
https://apps.quanticfoundry.com/ja/
　というユーザープロフィールのツールを提供しているが、うーん。ちょっと論文を精読しないとなんとも言えないな、これは……という印象。因子分析をベースにした分類は、Big Fiveですら個別の人の診断については、誤差が大きいので、集団を分類した場合よりも、信頼度は「？」という印象だったが、このアンケートについても、正直よくわからないという印象。
- 一応、自分自身で答えてみたが、私自身がゲーマーとして主たる想定対象に含まれていないという印象がはっきりと残る質問群だった。私自身がゲームをするにあたって重視するのは、ゲームデザインの新規性や、ストーリテリング手法の新規性などであって、Immersionも、Social Communicationも、Creative Playもほとんど重要ではない。熟達とか、中長期の計画をゲーム内でたてるは個人に好きだけれども、求めているものがあまりにも違う。
- これは、元質問を作成した時点での「ゲーマー」集団のサンプリングが偏っているのではないかという感触が強い。少なくとも、インディーゲーム好きの人とかが対象だとは思えない。

2018-03-27

関西大学　総合情報学部のみなさん、ありがとうございました！

　今月末で関西大学の三年の任期が終わりました。
　関大は、毎週火曜のみの勤務でしたが非常にいい経験をさせていただいたと思っております。
　非常に先生っぽいコメントになりますが、受講していただいている学生さんの課題のクオリティには毎回、感心させられっぱなしでした。
　「ゲーミフィケーション」の授業では、最初は安全マージンをとって、あまりハードすぎる課題にしないようにしていたのですが、とてもやる気に満ちた課題を提出してくれる学生さんが多いので、毎期ごとに少しずつハードルをあげさせてもらいました。結局、二年目の後半からは全員にアナログゲームの作成を仕上げるところまでやってもらいましたが、なかには「これ、もうちょっと本気でブラッシュアップしたら、売りものになるんじゃないか？」というクオリティのところまで仕上げてくれた学生さんもいて、課題を拝見させていただくのが本当に楽しみでした。
　そして、今学期の最後の授業満足度では、全学平均が5点満点中、4点弱ぐらいのところ4.6点ぐらいの高い評価をしてもらえたのも嬉しかったです。きちんと設計した授業に対して、楽しんで学んでもらえたのでしたら何よりです。

＊

　さて、来年度は肩書は少し変わりますが、実質的な生活はほぼ変わりません。ほぼ週四でずっと立命館（衣笠）のほうに常駐しております（２０１４年度からずっとそんな感じです）。
　少し、変わるであろう部分としては、同志社女子大のほうで非常勤のコマを一コマもたせていただくことになりましたので、月曜の午前は京田辺キャンパスのほうにいることになります。

・立命館大学　衣笠総合研究機構　客員研究員
・同志社女子大学　創造メディア学部　非常勤講師
・国際大学GLOCOM　客員研究員
となります。

みなさま、2018年度も、よろしくお願いいたします。

2018-03-21

2017年度　業績一覧

近況報告

今年からGoogle Spread Sheetを公開するようにしました。（編集は不可です）

デフォルトだと英語の履歴書のほうに行ってしまいますので、タブで業績書のほうが見れます。

履歴書・業績書をまとめて公開しておくということであれば、もちろんリサーチマップのほうもあるのですが、毎年数回は履歴書・業績所を書かなければいけないので元データとしてまとめているという感じです。

2018-01-05

動物の遊び研究関連の文献メモ

資料

■Burghardt, Gordon M.

-The genesis of animal play: Testing the limits. Mit Press, 2005 →動物研究についての包括的な研究の本らしい。（藤田和生、中村哲之、ほか. “遊び行動と認知機能の関係性についての比較認知科学的・比較認知発達科学的研究 ”. 京都大学学術情報リポジトリ. 京都大学. ）に簡単な概要についての言及がある。

-Burghardt, Gordon M. "The Comparative Reach of Play and Brain: Perspective, Evidence, and Implications." American Journal of Play 2, no. 3 (2010): 338-356.

http://www.journalofplay.org/sites/www.journalofplay.org/files/pdf-articles/2-3-article-comparative-reach-play-and-brain.pdf

のほうでも貼られているこの図はいい感じ。Burghardt 2005の図らしいが、進化論的／システム論的なプロセスモデルの提示という感じがする。

f:id:hiyokoya:20180105150755p:plain