COPY(PG) GC 오버헤드 에러

Question

안녕하세요.

대용량의 텍스트 파일을 postgreSql에 적재하는 모듈을 개발하고 있습니다.
copy 함수를 활용하여 텍스트 파일(|으로 구분되어 있는)을 테이블에 insert 하는데 
헤더 스킵을 위해 csv로 parsing하려고 합니다. 
근데 파일이 커서 그런가(8GB정도) OutOfMemoryError : gc overhead limit exceeded 에러가 계속 발생합니다.. 
(어떨 땐 에러 없이 잘 들어가기도 합니다)

코드 중에 불필요한 구문이 있는 건지 판단이 잘 안됩니다...

또 csv로 파싱하지 않고 텍스트 파일의 첫째 줄을 지우고 copy로 밀어 넣는 방법이 있을까요?

--------구현 코드--------
try ( BaseConnection c = dataSource.getConnection().unwrap(BaseConnection.class)) {

try ( PGCopyOutputStream os = new PGCopyOutputStream(c, COPY  + tableName +  FROM STDIN WITH (FORMAT CSV)); 
					  CSVPrinter writer = new CSVPrinter(new OutputStreamWriter(os, StandardCharsets.UTF_8), CSVFormat.POSTGRESQL_CSV); 
					  CSVParser reader = new CSVParser(new InputStreamReader(inputStream, charset), CSVFormat.INFORMIX_UNLOAD.withFirstRecordAsHeader())) {

for (CSVRecord row : reader) {
					for (String col : row) {
						if (col != null && StringUtils.hasText(col.trim())) {
							writer.print(col.trim());
						} else {
							writer.print(null);
						}
					}
					writer.println();
				}
			}

}
*inputStream은 해당 파일 BufferedInputStream 객체입니다.

안희수 · Answer

기본적으로는 스트림 객체는 사용이 끝나면 close로 닫아주어야 하고
line단위로 움직이는 객체가 있을 경우 사용후 flush로 비워주어야 하는데
new객체가 혹시 불필요하게 생성되는 구간이 없는지 확인해봐야 합니다

그리고 메모리 누수 관련은 소스 코드를 보는 것 만으로는 알 수 없으니
디버깅으로 확인해야 합니다