GPT-4における自動コード翻訳タスクの精度調査

川渕, 皓太; 松下, 誠; 肥後, 芳樹

電子情報通信学会技術研究報告. 信学技報, 2024, 123(335), 7-12

Number of Access:157（2025-06-20 14:05 Counts）

Identifier to cite or link to this item: https://hdl.handle.net/11094/98118

Link to primary information 

File Format Terms of use Size Views Date.Available Description information
itr123_335_007 pdf None 431 KB 83 2024.09.20  

Item Information

Output File Export EndNote Basic Export Mendeley

Title
GPT-4における自動コード翻訳タスクの精度調査
Measuring the Accuracy of Code Translation Tasks in GPT-4 
Creator
CreatorName
川渕, 皓太
NRID
1000060304028 1000060304028
ORCID
0000-0002-8014-4092 0000-0002-8014-4092
researchmap permalink
makoto.matusita makoto.matusita
Scopus Author ID
7402125665 7402125665
CreatorName
松下, 誠
NRID
1000070452414 1000070452414
ORCID
0000-0002-8278-8975 0000-0002-8278-8975
researchmap permalink
yoshiki.higo yoshiki.higo
Scopus Author ID
7004831134 7004831134
CreatorName
肥後, 芳樹
Subject
自動コード翻訳
GPT-4
Description
川渕, 皓太, 松下, 誠, 肥後, 芳樹. GPT-4における自動コード翻訳タスクの精度調査. 電子情報通信学会技術研究報告 123(335), 7 (2024)
Abstract
あるプログラミング言語で書かれたソースコードを別の言語に翻訳する自動コード翻訳の研究において，機械学習を用いるニューラル機械翻訳が注目されている．ニューラル機械翻訳は，事前に翻訳ルールを逐一定義するルールベース機械翻訳と比べて，人間が読みやすいコードが生成されやすいというメリットがある一方で，翻訳の精度が低いという問題がある．本研究では様々な分野で高い性能を発揮している大規模言語モデル GPT-4 を対象として，C++，COBOL，Go，Java，Rust，Python3 のソースコードに対する自動コード翻訳タスクの精度を調査した．既存のデータセットは GPT-4 が事前学習済みである可能性が高いため，新たにデータセットを作成して調査を行った．その結果，GPT-4 が既存の事前学習言語モデルよりも精度が高いこと，翻訳元言語よりも翻訳先言語のほうが精度への影響が大きいこと，プロンプトの記述言語が日本語の場合と英語の場合で精度に大きな差がないことがわかった．
Conference Information
Conference Name
電子情報通信学会 MSS/SS 2024年1月研究会
Conference Sponsor
電子情報通信学会 システム数理と応用研究会/電子情報通信学会 ソフトウェアサイエンス研究会
Conference Date
January 17th to January 18th, 2024
Conference Venue
金沢商工会議所/オンライン
Conference Place
Ishikawa
Conference Country
Japan
Publisher
電子情報通信学会
Source Title
電子情報通信学会技術研究報告. 信学技報
IEICE technical report
Volume (Issue)
123(335)
Page
7-12
Date of Issued
2024-01-10
Language
Japanese
Handle URL
https://hdl.handle.net/11094/98118
PISSN
09135685
eISSN
24326380
Relation.isIdenticalTo
URI
https://ken.ieice.org/ken/paper/202401170caN/
Access Rights
open access
CopyRight
Copyright©2024 IEICE
oaire:version
Version of Record
Category
会議発表論文 Conference Paper