1.GPT-4V 성능 평가: 시각적 및 언어 이해의 장단점 분석

이 논문은 GPT-4V의 다양한 능력, 특히 시각적 이해와 언어 이해에 대한 성능을 평가합니다. 656개의 테스트 인스턴스를 통해 주요 결과를 도출했는데, GPT-4V는 영어 이미지 벤치마크에서 좋은 성능을 보이지만 중국어 텍스트 인식에는 실패했습니다. 또한 민감한 특성과 관련된 질문에서 일관되지 않은 반응을 보였으며, GPT-4(API)에 비해 언어 이해 성능이 떨어진다는 결과가 나왔습니다. 그러나 프롬프트를 통해 성능을 향상시킬 수 있으며, 비디오나 열화상과 같은 다른 형식에서는 큰 성능을 보이지 않았습니다. 이 연구는 GPT-4V의 장단점을 규명하며 향후 연구의 방향성을 제시합니다.

https://huggingface.co/papers/2310.16534

2.JudgeLM: 개방형 시나리오에서 대규모 언어 모델의 최적화된 판정 방법론

개방형 시나리오에서 대규모 언어 모델(LLM)을 평가하기 위한 새로운 방법으로 JudgeLM을 제안합니다. 이를 위해 대규모 고품질 데이터 세트와 벤치마크를 활용해 판정자를 미세 조정하고, 다양한 규모의 판정자를 학습시킨 뒤 분석합니다. 주요 편향들은 직위 편향, 지식 편향, 형식 편향으로 구분되며, 이를 개선하기 위한 다양한 기술이 도입됩니다. 결과적으로 JudgeLM은 최첨단의 판정 성능을 보이며, 매우 효율적입니다. 특히, 교사 판정자와의 일치율은 90% 이상으로, 인간의 일치율을 능가합니다. JudgeLM은 다양한 시나리오에서의 판정 능력을 갖추고 있습니다.

https://huggingface.co/papers/2310.17631

3.Kubernetes ingress2gateway 소개

Kubernetes의 네트워킹 세계에서 Ingress API는 서비스에 외부 접근을 관리하는 주요 도구였습니다. 그러나 Ingress는 여러 제한 사항이 있어 복잡한 애플리케이션과 증가하는 Kubernetes 클러스터의 요구 사항을 충족시키기 어려워졌습니다. 이를 극복하기 위해 Gateway API가 설계되었습니다. Gateway API는 트래픽 관리를 더 유연하고 확장 가능하게 만들며, 역할 지향적 접근법, 이식성, 표현력 및 확장성의 네 가지 핵심 원칙을 기반으로합니다. Gateway API는 곧 일반 사용 가능(GA) 릴리스를 앞두고 있으며, Kubernetes 1.24 이상 버전에서 지원합니다.

https://kubernetes.io/blog/2023/10/25/introducing-ingress2gateway/

4.백엔드를 Vercel에서 http://Fly.io로 마이그레이션 경험 공유

백엔드를 http://Fly.io로 변경한 이유와 이동 중에 겪었던 도전과제에 대해 설명합니다. Vercel에서 벗어나려는 주된 이유는 경량화된 서버 필요성과 가격 문제였습니다. Vercel은 비용 예측이 어려웠지만, http://Fly.io는 훨씬 저렴하게 서비스를 운영할 수 있었습니다. 그러나 이전 중에 Docker 이미지 크기, Fly 배포 시간 초과, 런타임 초과와 관련된 문제 등 여러 도전과제에 직면했습니다. 결론적으로, http://Fly.io로의 이전은 만족스러웠지만 도전적인 시간도 있었습니다. Vercel은 여전히 프론트엔드에 사용하고 있습니다.

https://www.openstatus.dev/blog/migration-backend-from-vercel-to-fly

—

🥇K-디지털 트레이닝 기관 최초! '대통령 표창' 수상한 모두의연구소의 신뢰받는 커뮤니티형 교육

☑️ 23년 경력 MS MVP 강창훈 주강사 직강! <자바스크립트 웹 풀스택> 1기 지원하기(마감임박) → https://bit.ly/3tmITjj

☑️ 쫓기지 않고 이끄는 6개월 AI 첫걸음 <AI학교 아이펠> 8기 지원하기 → https://bit.ly/44cSNkr