01/29 AI & ML Blog Posts Weekly Summary

👉 PyTorch 2로 Stable Diffusion 가속화하기(https://pytorch.org/blog/accelerated-stable-diffusion-2/) Stable Diffusion 2.1 또는 거기에 xFormers 라이브러리를 적용한 것 대비 PyTorch 2.0의 컴파일(torch.complie) 기능과 메모리 효율적 어텐션 구현을 적용하기만 해도 런타임을 최대 약 40~50% 개선하네요. 기존 PyTorch 어텐션 구현에 2.0은 플래시 어텐션을 통합했고 크로스 어텐션과 맞춤형 커널까지 지원합니다. 또, 2.0의 컴파일 기능은 이전 컴파일 방식(TorchScript 등)과 다르게 컴파일 불가한 위치가 있어도 그래프 중단이 발생하지 않고 즉시 실행 모드로 폴백 될 뿐이고요. 어서 Nightly 버전 대신 정식 출시되었으면 합니다. Stable Diffusion은 훈련, 추론 가속 연구에 주요한 벤치마크가 되어주면서 진정한 오픈소스의 힘을 보여주고 있네요. 👉 링크드인의 ML 기반 결제 라우팅을 통한 고객 경험 개선 사례(https://engineering.linkedin.com/blog/2023/improving-the-customer-s-experience-via-ml-driven-payment-routin) 링크드인 내부 결제의 경우 기존에는 규칙 기반(예, 40:60) 라우팅 엔진으로 결제 게이트웨이를 할당하는 방식이었는데 이것이 결제 승인율의 변화를 잘 포착 못하고 규칙 관리가 까다로운 면이 있었습니다. 그래서 ML 기반 엔진으로 전환하는 작업을 수행했습니다. 클래스 불균형, 즉 승인율과 무관하게 할당된 게이트웨이의 샘플 수로 편향이 발생하는 문제를 해결하기 위해 IPW 기반 부트스트랩 샘플링 기법을 적용했습니다. 트랜잭션 관련 변수와 할당된 게이트웨이 조합으로 피쳐를 만들고 승인 성공 또는 실패 여부로 레이블을 만들어서 로지스틱 회귀 모델을 학습한 다음 승인율 기준으로 A/B 테스트를 수행했습니다. 그 결과 규칙 기반 라우팅 엔진을 이겼다고 하네요. 빅테크 한쪽에서는 유례없는 대형 모델을 만드는 반면, 다른 쪽에서는 굳이 실익이 없다면 로지스틱 회귀를 우직하게 사용하는 모습이 참 재미있네요. 👉 스캐터랩의 A/B 테스트를 고려한 모델 서빙 아키텍처(https://tech.scatterlab.co.kr/serving-architecture-1/) 루다의 지속적 학습 파이프라인 구축 과정에 있어 모델 서빙 아키텍처 표준화와 배포 자동화에 대한 필요성이 커졌습니다. 또한 A/B 테스트를 신속, 용이하게 수행해야 할 필요성도요. A/B 테스트의 경우 추론 구조은 동일하나 설정값만 단순히 다른 경우가 있겠고 추론 구조 자체가 완전히 다른 경우도 염두에 둬야 했습니다. 예를 들어 루다 답변 시 레트리벌 방식은 대화 임베딩 추출 서버, 답변 후보 검색, 즉 ANN 서버, 리랭킹 서버가 필요하지만 생성 방식은 답변 생성 서버와 리랭킹 서버가 필요하므로 추론 파이프라인이 완전히 달라집니다. 새로 만든 A/B 테스트 시스템은 첫째, 서비스 백엔드와 각 모델 서버의 엔드포인트 사이에 모델 파이프라인 서버를 신설하고 둘째, 서비스 백엔드와 모델 파이프라인 서버 사이에 A/B군을 할당하는 프락시 서버를 둔 것, 셋째, 프락시 서버의 경우 ConfigMap에 watch를 걸고 변경되는 실험 정보를 지속 수신하게 만든 점이 주된 변경 사향입니다. 결국 ML 추론을 보다 추상화하고 백엔드와 A/B테스트와의 결합도를 낮추는데 주력한 것이 핵심이네요. 스캐터랩은 하... 정말 대단해. 👍 해당 내용들은 제 Github(https://github.com/youngmki/awesome-aiml-blog)에서 계속 아카이빙 중입니다.