★オリーブホームページはこちらからどうぞ!

リーディングスキルテスト2023/10/11

 4~5年前に書かれた本ですが、たいへんおもしろい内容でした。著者は本来、数学者で人口知能(AI)の研究に携わっていらっしゃいます。


 著者は某AIの開発プロジェクトディレクターで、AIの性能を測定するためのベンチマーク(比較のために用いる基準や指標)として思いついたのが日本語の短文問題でした。

 具体的にはリーディングスキルテスト(RST)という方法を考えられました。これは難解な文章ではなく、教科書や新聞に見られる一般的な文章を読んで理解度を測るというものです。

 日本人への大規模な調査の結果、わかったのは中高生の多くは教科書に書かれた文章を正確に理解できていない、という驚愕の実態でした。
 これは中高生だけの問題ではなく、そのまま成長した大学生、社会人にも言えることらしいのです。
 仕様書や安全マニュアルが読めない、ビジネス文書が書けない、個人情報保護法などを勉強させても最終テストにパスできない、などと言う企業も増えているそうです。

 これまで小学6年生から一流企業のホワイトカラーまでのべ18万人がこのRSTを受検したとのことです。従って結果の信ぴょう性は非常に高いということですね。

リーディングスキルテスト(RST)には
係り受け: 文の基本構造を把握する力
照応解決: 代名詞などが指す内容を認識する力
同義文判定: 2つの文の意味が同じかどうかを判定する力
推論: 基本的知識と常識から、論理的に判断する力
イメージ同定: 文と非言語情報(図表など)を正しく対応づける力
具体例同定: 定義を読んでそれと合致する具体例を認識する力
の6種類があります。

著書の中にたくさん例題が載っていましたのでいくつか紹介したいと思います。

係り受けの問題
Alexは男性にも女性にも使われる名前で、女性の名Alexandraの愛称であるが、男性の名Alexanderの愛称でもある。

この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから一つ選びなさい。

Alexandraの愛称は(  )である。      ①Alex   ②Alexander   ➂男性  ④女性

正解は①Alexですが、中学生の正答率38%、高校生は65%の結果でした。ちなみにAIに問うと、正答を選びました。

同義文判定の問題
幕府は、1639年、ポルトガル人を追放し、大名には沿岸の警備を命じた。

上の文が表す内容と以下の文が表す内容は同じか。「同じである」「異なる」のうちから答えなさい。

1639年、ポルトガル人は追放され、幕府は大名から沿岸の警備を命じられた。

当然、正解は「異なる」ですが、中学生の正答率57%、高校生の正答率71%だったとのことです。

 著者はこれらの正答率に愕然としたそうです。
著書には懸念内容がデータや推論と共に詳細に書かれているのですが、一言で言うと、「文章の理解能力によってその後の人生が左右される、将来AIに仕事を奪われる」ということらしい。

ではいくつか実際にやってみましょう。回答は最下段に書いています。 

・難レベル(と書いてあった)係り受け問題
Q1.アミラーゼという酵素はグルコースがつながってできたデンプンを分解するが、同じグルコースからできていても、形が違うセルロースは分解できない。

この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから一つ選びなさい。

セルロースは(  )と形が違う。
①デンプン  ②アミラーゼ  ➂グルコース  ④酵素

 受検した人数は書かれていませんでしたが、日本人大学院生は全員不正解、唯一正解したのは中国からの留学生だったといいます。
某新聞社の論説委員、経産省の官僚まで間違えたそうです。

・超難レベルの係り受け問題
Q2.江戸時代の天皇と朝廷は、幕府に完全に統制され、財政的にも幕府に支えられていた。幕府は朝廷に3万石を与え、その中から皇族や公家は家格に応じた禄高を得ていた。

この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから一つ選びなさい。

公家は(  )から家格に応じた禄高を得ていた。
①天皇  ②幕府  ➂皇族  ④朝廷

照応解決の問題
Q3.宇宙から飛来するいん石が高速で衝突すると、月面だけでなく、ときには地球上にも、巨大なくぼんだ地形ができる。いん石でなくても、運動している物体がほかの物体に当たって、その物体を変形させたり、運動の状態を変えたりすることは、身のまわりでよく見られることである。

この文章において、「その物体」とは何を指すか、最も適当なものを1つ選びなさい。
①地球  ②いん石  ➂運動している物体  ④ほかの物体

Q4.穀類・いも類・砂糖の主な成分は炭水化物である。穀類・いも類には炭水化物のうちでんぷんが多く、砂糖はそのほとんどがしょ糖である。

この文章において、「そのほとんど」とは何のほとんどを指すか、最も適当なものを1つ選びなさい。
①穀類・いも類  ②炭水化物  ➂でんぷん  ④たんぱく質

いかがでしょうか? けっこう難しいですよね、じっくり読まないと間違えそうです。

具体例同定には、以下のような問題もありました。レベルは難~超難です。私は間違えました。

Q5.比喩の方法で、「ように」「ような」などのことばを使ってたとえる表現の方法を直喩といい、「ように」「ような」などのことばを使わないで、たとえるものとたとえられるものをじかに結び付けて表現する方法を暗喩という。

「直喩」がもちいられている例を選択肢の中からすべて選びなさい。
①君のように暗い人は芸能界には不向きだね。
②いつも明るい母は我が家の太陽だ。
➂5年前の夏を昨日のように思い出す。
④いつものように部屋を真っ暗にして眠った。

Q6.動物の音声や物体の音響を言語音によって表した語を擬音語、事物の状態や身ぶりなどの感じをいかにもそれらしく音声にたとえて表した語を擬態語という。擬音語には「ワンワン」「ガサゴソ」などがあり、擬態語には「わくわく」「ポカン」などがある。

「擬態語」がもちいられている例を選択肢の中からすべて選びなさい。
①彼女はいつもテキパキと仕事をこなす。
②母親が亡くなったあと、彼はしばらくぼんやり時を過ごした。
➂熊よけの鈴がコロコロ鳴った。
④彼がやってきたのは、じとじとした梅雨の夕方のことだった。

ちなみに、 AIは文章の意味を理解して回答しているのではありません。人間が膨大な文章をAIに読み込ませることでデータを蓄積して、統計と確率を基に選択しています。

例えばGoogle翻訳で英訳
「先週、山口と広島に行ってきました」は Last week I went to Yamaguchi and Hiroshima. 
「先週、田中と広島に行ってきました」は Last week, I went to Hiroshima with Tanaka. と出ます。

 一応、都道府県名と人名は判別しているようですが、山口さんといっしょに行ったのであれば、「先週、山口さんと広島に行ってきました」とか「先週、山口といっしょに広島に行ってきました」と書いてあげないと正しく翻訳してくれません。
 AIが原文を理解していれば、2つの訳文を出してくるか「山口は県名か名前のどちらですか?」と問い返してくるでしょうね。

 最後に、これはRSTの問題ではないですが、本書「AIに負けない子どもを育てる」に書かれていた中に
「誰もが、誰かをねたんでいる」を受身形にするとどうなりますか?という問いがありました。
 
 答えは受動態文はない、というものです。
「誰もが、誰かからねたまれている」とか「誰かは、誰もからねたまれている」という文を思いつきましたが、確かに同じ意味にはなりません。
「誰もが」はすべての人の意味ですが、「誰か」はすべての人とは限らないところがポイントです。
書かれていた詳細説明は長くなるので省略します。興味のある方は本書で。

回答
Q1、①デンプン  
Q2、④朝廷  
Q3,④ほかの物体  
Q4,②炭水化物
Q5,➂5年前の夏を昨日のように思い出す。
Q6,①②④  「ぼんやり」は擬態語だったのか・・・

ばってんT村でした。
★コメント・トラックバックは内容確認後公開しております
★オリーブホームページはこちらからどうぞ!