データセットの非独立性が機械学習モデルの精度に与える影響調査

服部, 文志; 松下, 誠; 肥後, 芳樹

研究報告ソフトウェア工学（SE）, 2023, 2023-SE-214(15), 1-8

Number of Access:163（2025-09-03 08:01 Counts）

Identifier to cite or link to this item: https://hdl.handle.net/11094/93139

Link to primary information 

File Format Terms of use Size Views Date.Available Description information
IPSJ-SE23214015 pdf None 730 KB 43 2023.11.15  

Item Information

Output File Export EndNote Basic Export Mendeley

Title
データセットの非独立性が機械学習モデルの精度に与える影響調査
Creator
CreatorName
服部, 文志
NRID
1000060304028 1000060304028
ORCID
0000-0002-8014-4092 0000-0002-8014-4092
researchmap permalink
makoto.matusita makoto.matusita
Scopus Author ID
7402125665 7402125665
CreatorName
松下, 誠
NRID
1000070452414 1000070452414
ORCID
0000-0002-8278-8975 0000-0002-8278-8975
researchmap permalink
yoshiki.higo yoshiki.higo
Scopus Author ID
7004831134 7004831134
CreatorName
肥後, 芳樹
Subject
コーディング
深層学習
データセット
汎化性能
Abstract
ソフトウェア開発者のコーディング能力を客観的に判定することを目的として，ソースコードを利用した機械学習・深層学習による判定手法が提案されている．特に深層学習を用いた手法では，ソースコードの構文的・意味的情報を利用することで高い精度で判定を行うことができる．しかし，この深層学習モデルは未知のデータに対する判定精度，つまり汎化性能が低いことが筆者らの先行研究で確認されているが，その原因については明らかになっていない．そこで本研究では，精度低下の原因についての調査を行った．その結果，モデルの性能評価を行う際に利用された，データセットの利用方法に問題があるのではないかということが分かった．データセットの非独立性を極力排除した利用方法について検討を行い，それに従って今回調査を行った結果，先行研究で報告されたモデルの精度は，当初報告された結果と比べて約30％低下したことを確認した．
Conference Information
Conference Name
ソフトウェア工学研究発表会
Conference Sequence
214
Conference Sponsor
情報処理学会 ソフトウェア工学研究会/電子情報通信学会 知能ソフトウェア工学研究会/電子情報通信学会 ソフトウェアサイエンス研究会
Conference Date
July 20th to July 22nd, 2023
Conference Venue
北海道自治労会館 4Fホール/オンライン
Conference Place
Hokkaido
Conference Country
Japan
Publisher
情報処理学会
Information Processing Society of Japan
Source Title
研究報告ソフトウェア工学（SE）
Volume (Issue)
2023-SE-214(15)
Page
1-8
Date of Issued
2023-07-13
Language
Japanese
Handle URL
https://hdl.handle.net/11094/93139
eISSN
21888825
Relation.isIdenticalTo
URI
http://id.nii.ac.jp/1001/00226732/
Access Rights
open access
CopyRight
Copyright © 2023 by the Information Processing Society of Japan
ここに掲載した著作物の利用に関する注意 本著作物の著作権は情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。
The copyright of this material is retained by the Information Processing Society of Japan (IPSJ). This material is published on this web site with the agreement of the author and the IPSJ. Please be complied with Copyright Law of Japan and the Code of Ethics of the IPSJ if any users wish to reproduce, make derivative work, distribute or make available to the public any part or whole thereof.
oaire:version
Version of Record
Category
会議発表論文 Conference Paper