最新のお知らせはこちら 確認する

ChatGTPの翻訳精度を検証してみる

大網白里市で主に大網中学校の生徒を中心に、生徒みずから主体性を持って学び、自分のペースで勉強できる、ICTを活用した自立学習による学びの場を提供している、You-Youスクールみずほ台の塾長の佐藤です。

教育の現場でChatGPTを使うことにより、効率的に学習することが可能となったのは皆さんご存じの通りです。今日は、私がいま最も関心を寄せている「ChatGTP」の翻訳機能について書いてみたいと思います。

機械翻訳と大規模言語モデルの違い

Google翻訳やDeepLなど従来型の機械翻訳は、「コーパス」と呼ばれる大量の対訳データを用いたパターン学習により設計されています。ゆえに、全体の文脈や著者の意図だったり、文化的背景などは考慮されません。

それに対し、ChatGPTは大規模言語モデル(LLM)を利用した「生成AI」です。生成AIのすごさは、学習したデータを基にして「0から1を生み出す」というところにあります。

DeepLとChatGTPで翻訳してみた

以前は翻訳が必要なときに「DeepL」というオンラインサービスを使っていたのですが、最近はChatGPTばかり利用しています。今回ブログを書くにあたり、DeepLだとどんな感じに訳すのだろうかと思って、久しぶりに使ってみたのです。

すると、DeepLとChatGPTでは、翻訳結果に大きな違いがありました。

例えば、Financial Times(FT)の「Halting east Asia’s education arms race could help birth rates」という英文記事のタイトルを翻訳してみると、次のような結果になりました。

DeepLの翻訳結果「東アジアの教育軍拡競争の是正が出生率に影響を与えるかも(しれない)」

ChatGPT-4の翻訳結果「東アジアの教育競争を抑えることで出生率が上昇する可能性がある」

DeepLでは、原文の”arms race”を軍拡競争と訳しています。Financial Times(FT)は専門用語を比喩として用いて格式の高さを表現するメディアなので、ChatGTPのこなれた訳よりニュアンスは伝わりますが、語彙力がないと内容の理解が難しいと感じました。

次いでDeepLで本文を要約してもらうと、このような結果となりました。

▼DeepLの要約文

日本や韓国といった東アジアの国々では、多くの子供たちが朝から夜まで忙しいスケジュールを過ごしている。一般的には、学校が午前8時25分に始まり、午後3時30分に終わる。その後、塾での授業を受ける子供たちも多く、親にとっては月に500ドルもの費用がかかることもある。私立教育に対する投資も高額であり、調査結果によれば、日本や韓国の家庭は世帯収入の10%以上を私立教育に費やしているという。このような教育競争は、人口統計学者によると、社会的な不平等や少子化を引き起こす要因の一つであると言われている。一方、中国では家庭教師を取り締まる動きもあるが、教育の競争状況そのものを変える必要があると指摘されている。また、人口が高齢化する東アジアでは、親の負担を減らすための施策も必要であるとされている。

DeepLは表現に堅さがあるものの、機械翻訳ならではの原文に対する忠実さが感じられます。動詞を主軸にした英語の5文型パターンで訳しているようです。

次にChatGPTで要約を指示すると、各段落ごとに要約されて長かったので、200字という文字数制限で再度、要約を指示してみます。

▼ChatGTPの要約文(200字)

東アジアの多くの子供たちは、学校と塾で長時間勉強し、塾代は月500ドルにもなる。これは名門学校や大学への道を目指すためで、家庭の教育費は非常に高額であり、日本や韓国では収入の10%以上を費やすこともある。この高額な教育費は、少子化の原因の一つともされ、中国は塾業界を規制し始めた。しかし、受験システム自体を改善しない限り、出生率の上昇は期待できない。

DeepLより日本語がわかりやすくなったと感じました。「現状→分析→提案と反証」という英文によくある論述式で簡潔に表現されています。

今度はDeepLと同じくらいの文字数(400文字)で要約を指示してみます。

▼ChatGTPの要約文(400字)

東アジアの多くの子供たちは、長時間の学校生活に加え、夕方から塾に通うことが一般的です。月々500ドルにも及ぶ塾代は、12歳の試験に合格し、名門私立中学、高校、そして最終的には名門大学へ進むための投資とされています。日本や韓国の家庭では、子供一人に対して収入の10%以上を私教育に費やすことが多く、このような教育への多額の投資が少子化の一因とされています。中国はこの教育競争を抑制しようと塾業界を規制していますが、問題の本質は過酷な受験制度にあり、根本的な改革なしでは出生率の改善は期待できません。エリート大学に進学できるかどうかが大きな競争の焦点であり、富裕層とそれ以外の格差を生み出しています。この教育熱が東アジアの国々をOECDの学力テスト上位に導いていますが、結果的に出生率の低下を招いているという負の側面もあります

3つの要約文のなかで、いちばん核心にふれた文章になっていると思います。実はこの英文記事を採用したのは、学習塾について触れた内容を取り上げたかったのです。

FTの記事では、「A Case for “Reverse One-Child” Policies in Japan and South Korea? Examining the Link between Education Costs and Lowest-Low Fertility」という研究論文を根拠としており、経済的な余裕が選択肢の広さに直結するという事実を示しています。

FTはお決まりの皮肉で「子供たちが高学歴であるにもかかわらず、子供自体がほとんどいないという暗い側面もあります。」と結んでいます。

つまり、(高学歴で勝ち組になったとしても)マクロ経済の視点でみると少子化→人口減少という国力低下を招いているではないか、と暗に言っているのです。

翻訳精度が高いのはどっち?

DeepLの要約文では主語である「人口統計学者によると」と、誰の発言であるかを述べていますが、ChatPGTはある意味で日本語(人)らしく、誰かが言ったかはそれほど重要でないという認識らしいです。

今回の検証でどちらも翻訳の精度は高いと感じました。個人的には流暢性ではChatGTPの勝ち、専門性などでは若干DeepLに軍配が上がったように感じましたが、どうでしょう。半年後に試してみると、また違った結果になるかもしれません。

ちなみにChatGPTの翻訳能力をTOEICに換算すると、960点レベル(2023年)だそうです。

ChatGPTはプロンプトを何度か出さないと、求める回答が得られないのが難点ですが、プロンプトのコツさえつかめば、すごく便利なツールだなと感じました。

要約した元の英文記事のURLはこちら↓です。

https://www.ft.com/content/d38a9fea-d587-42d6-b62d-089087011796

あわせて読みたい
ChatGPTにはできない力を育てるには 大網白里市で大網中の学生を中心に、生徒みずから主体性を持って学び、自分のペースで勉強できる、ICTを活用した自立学習による学びの場を提供している、You-Youスクー...
ChatGPTは前にもコラムを書いてます

この記事が気に入ったら
フォローしてね!

  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた先生

佐藤 雅大のアバター 佐藤 雅大 You-Youスクールみずほ台 塾長

東京都生まれ。早稲田大学教育学部卒業。教育コーチング有資格者。趣味はドライブ、映画鑑賞、クラシック音楽鑑賞(ピアノ・バイオリン)、演劇鑑賞、食べ歩きなど。好きな食べ物はカレー。動物大好き!

目次