GPT-4를 뛰어넘었다고 주장하는 구글 Gemini Ultra를 사용하는 Gemini Advanced(유료)를 사용하여 ChatGPT와 비교 테스트를 해 보았습니다.

괴학적으로 정확한 비교는 아니고, 개인적으로 사용하는 주요 태스크 10가지 정도에 대해 비교 테스트 해 보았습니다. 결과를 요약하면 다음과 같습니다.

- ChatGPT에 비해 응답속도가 빠릅니다.

- 기본적인 답변 성능(정확도 등)은 유사한 수준으로 느껴집니다.

- Gemini는 기본적으로 검색을 내부적으로 처리해서 답변을 생성하는데, 이것이 편하기도 하지만 답변을 검색을 통하고 있는지 명시적으로 표현해주지 않아, 답변을 구체적으로 지시하기에 약간 답답한 면이 있습니다.

- ChatGPT는 질문한 내용에 대한 답변만 하는데 비해, Gemini는 질문에 대한 답변과 함께 추가적인 정보까지 제공합니다. 사람에 따라 이것이 좋다고 느낄 수도 있을 것 같긴한데요. 부가적인 정보가 답변에 대한 집중을 흐트려뜨리는 경향이 강해, 제게는 조금 불편한 느낌이 듭니다.

- Gemini는 Ultra를 사용했음에도 여전히 멀티턴 대화를 잘 처리하지 못하는 경향이 있습니다.

- 정확한 계산을 해야하는 태스크에는 ChatGPT에 비해 매우 취약합니다. Code Interpreter 가 없기 때문인데요. 구글 스프레드시트와 연동하는 것으로 상당부분 해결 할 것으로 생각되지만, 이 부분은 아직 ChatGPT가 압도적입니다.

요약하자면, 전반적인 성능은 비슷하지만, Gemini의 답변이 좀 더 장황한 것에 대해 호불호가 있을 듯 합니다. 속도는 Gemini가 낫지만, 응용 애플리케이션이라는 측면에서는 아직 ChatGPT가 성능과 활용성면에서 압도적으로 뛰어납니다.