GPT-4における自動コード翻訳タスクの精度調査

川渕, 皓太; 松下, 誠; 肥後, 芳樹

電子情報通信学会技術研究報告. 信学技報, 2024, 123(335), 7-12

アクセス数:206件（2025-07-11 13:21 集計）

固定URL: https://hdl.handle.net/11094/98118

閲覧可能ファイル 

ファイル フォーマット 利用条件 サイズ 閲覧回数 利用開始日 説明 information
itr123_335_007 pdf なし 431 KB 87 2024.09.20  

論文情報

ファイル出力 EndNote Basic出力 Mendeley出力

タイトル
GPT-4における自動コード翻訳タスクの精度調査
Measuring the Accuracy of Code Translation Tasks in GPT-4 
著者
著者名
川渕, 皓太
NRID
1000060304028 1000060304028
ORCID
0000-0002-8014-4092 0000-0002-8014-4092
researchmap permalink
makoto.matusita makoto.matusita
Scopus Author ID
7402125665 7402125665
著者名
松下, 誠
NRID
1000070452414 1000070452414
ORCID
0000-0002-8278-8975 0000-0002-8278-8975
researchmap permalink
yoshiki.higo yoshiki.higo
Scopus Author ID
7004831134 7004831134
著者名
肥後, 芳樹
キーワード等
自動コード翻訳
GPT-4
内容
川渕, 皓太, 松下, 誠, 肥後, 芳樹. GPT-4における自動コード翻訳タスクの精度調査. 電子情報通信学会技術研究報告 123(335), 7 (2024)
抄録
あるプログラミング言語で書かれたソースコードを別の言語に翻訳する自動コード翻訳の研究において，機械学習を用いるニューラル機械翻訳が注目されている．ニューラル機械翻訳は，事前に翻訳ルールを逐一定義するルールベース機械翻訳と比べて，人間が読みやすいコードが生成されやすいというメリットがある一方で，翻訳の精度が低いという問題がある．本研究では様々な分野で高い性能を発揮している大規模言語モデル GPT-4 を対象として，C++，COBOL，Go，Java，Rust，Python3 のソースコードに対する自動コード翻訳タスクの精度を調査した．既存のデータセットは GPT-4 が事前学習済みである可能性が高いため，新たにデータセットを作成して調査を行った．その結果，GPT-4 が既存の事前学習言語モデルよりも精度が高いこと，翻訳元言語よりも翻訳先言語のほうが精度への影響が大きいこと，プロンプトの記述言語が日本語の場合と英語の場合で精度に大きな差がないことがわかった．
会議情報
会議名
電子情報通信学会 MSS/SS 2024年1月研究会
主催機関
電子情報通信学会 システム数理と応用研究会/電子情報通信学会 ソフトウェアサイエンス研究会
開催期間
January 17th to January 18th, 2024
開催会場
金沢商工会議所/オンライン
開催地
Ishikawa
開催国
日本
出版者
電子情報通信学会
収録物名
電子情報通信学会技術研究報告. 信学技報
IEICE technical report
巻(号)
123(335)
ページ
7-12
刊行年月
2024-01-10
言語
日本語
ハンドルURL
https://hdl.handle.net/11094/98118
PISSN
09135685
eISSN
24326380
関連情報 (isIdenticalTo)
URI
https://ken.ieice.org/ken/paper/202401170caN/
アクセス権
open access
権利情報
Copyright©2024 IEICE
出版タイプ
Version of Record
カテゴリ
会議発表論文 Conference Paper