<2011년 아마존 리서치에서 가장 많이 읽은 논문 및 백서 베스트10> 커리어리 친구들, 오늘은 아마존 리서치에서 가장 많이 읽은 논문 또는 백서 베스트10을 소개하고자 합니다. 저도 아직 완전히 10개 백서 내용을 다 읽지 않았지만 처음에 skim 해서 읽어 보았습니다. 어떤 것들은 이해하기 쉬운 것들도 있고, 어떤 것들은 저도 모르는 익숙치 않는 분야에 있었습니다. 그러나 이러한 논문들을 읽어보면, 유사한 문제 발생때 참고할 수 있도록 이해력을 높혀 또 다르게 응용하여 사용할 수 있어서 좋습니다. 여러분들은 아래의 10개 논문을 한 번 흝어 보시고 관심가는 목록이 있다면 아래의 URL에 가서 좀더 상세히 읽어 보시기를 추천합니다. 1. Using lightweight formal methods to validate a key-value storage node in Amazon S3 이 백서는 Amazon S3 클라우드 객체 스토리지 서비스를 위한 새로운 키-값 스토리지 노드 구현인 ShardStore의 정확성을 검증하기 위해 경량 형식 방법을 적용한 경험을 보고 합니다. 가벼운 형식적 방법"이란 전임 엔지니어링 팀이 지속적으로 기능을 개발 중인 프로덕션 스토리지 노드의 정확성을 검증하는 실용적인 접근 방식을 의미합니다. 완전한 형식적 검증을 달성하는 것을 목표로 하지 않고 대신 자동화, 유용성, 그리고 시간이 지남에 따라 소프트웨어와 사양이 모두 발전함에 따라 정확성을 지속적으로 보장하는 능력을 강조합니다. 2. A map of bandits for e-commerce Bandit 문헌의 풍부한 본문은 알고리즘의 다양한 도구 상자를 제공할 뿐만 아니라 실무자가 당면한 문제를 해결하기 위한 올바른 솔루션을 찾기 어렵게 만듭니다. Bandit에 대한 일반적인 교과서는 알고리즘 설계 및 분석에 중점을 둡니다. 응용 프로그램은 종종 개별 응용 프로그램의 목록을 제공합니다. 이들은 귀중한 리소스이지만 응용 프로그램을 적절한 Bandit 알고리즘에 매핑하는 데에는 차이가 있습니다. 이 백서에서는 실무자가 적절하고 실용적인 Bandit 알고리즘을 찾는 데 도움이 되도록 구조화된 Bandits 맵으로 이 격차를 줄이는 것을 목표로 합니다. 3. Necessary and sufficient conditions for causal feature selection in time series with latent common causes 잠재 변수가 있는 시계열에 대한 직접 및 간접 원인의 식별을 연구하고 일부 그래프 제약 조건에서 건전하고 완전함을 증명하는 제약 기반 인과 특징 선택 방법을 제공합니다. 이론 및 추정 알고리즘은 관찰된 대상 시계열의 원인인지 여부를 결정하기 위해 관찰된 각 후보 시계열에 대해 두 가지 조건부 독립 테스트만 필요합니다. 또한, 선택한 컨디셔닝 세트는 신호 대 잡음비를 향상시키는 것입니다. 실제 데이터와 광범위한 시뮬레이션 실험에 이 방법을 적용하여 매우 낮은 가양성 및 상대적으로 낮은 가음성 비율을 산출합니다 . 4. SiamMOT: Siamese multi-object tracking 이 백서에서는 온라인 다중 객체 추적(MOT) 개선에 중점을 둡니다. 특히 SiamMOT라는 지역 기반 Siamese Multi-Object Tracking 네트워크를 소개합니다. SiamMOT에는 감지된 인스턴스가 연결되도록 두 프레임 간의 인스턴스 움직임을 추정하는 모션 모델이 포함되어 있습니다. 모션 모델링이 추적 기능에 어떤 영향을 미치는지 알아보기 위해 두 가지 Siamese 추적기 변형을 제시합니다. 하나는 모션을 암시적으로 모델링하고 다른 하나는 명시적으로 모델링하는 것입니다. MOT17, TAO-person 및 Caltech Roadside Pedestrians의 3가지 다른 MOT 데이터 세트에 대해 광범위한 정량 실험을 수행하여 MOT에 대한 모션 모델링의 중요성과 최첨단 기술을 훨씬 능가하는 SiamMOT의 능력을 보여줍니다. 5. Getting your package to the right place: Supervised machine learning for geolocation Amazon Last Mile은 과거 배달에서 보고된 잡음이 많은 GPS 위치를 사용하여 각 주소에 대한 정확한 배달 지점을 배우려고 노력합니다. 잡음이 일관되게 편향되기 때문에 중심 및 기타 중심 찾기 방법은 제대로 작동하지 않습니다. 문제는 지도 머신 러닝을 요구하지만 어떻게 할 수 있을까요? 정보 검색 영역에서 순위를 매기는 새로운 학습 방식으로 이를 해결했습니다 . 이것은 또한 지도 레이어에서 정보 융합을 가능하게 했습니다. 오프라인 실험에서는 오류 거리가 현저히 감소했으며 온라인 실험에서는 연간 절감액이 수백만 달러로 추정되었습니다. 6. Seasonal relevance in e-commerce search 계절성은 전자 상거래 검색의 관련성을 위한 중요한 차원입니다. 예를 들어, 쿼리로 재킷에는 여름과 겨울에 다른 관련 문서 세트가 있습니다. 최적의 사용자 경험을 위해 전자 상거래 검색 엔진은 제품 검색에 계절성을 통합해야 합니다. 본 논문에서는 공식적으로, 계절 관련성의 개념을 소개를 정의하고 주요 전자 상거래 저장소에서 데이터를 사용하여 정량화하여 데이터 분석에서 39%의 쿼리가 검색 시간과 계절적으로 매우 관련성이 있다고 주장했습니다. 셀프 어텐션 기반으로 하는 최첨단 신경 모델을 사용하여 제품 계절성을 캡처하기 위해 LogSR 및 VelSR 피처를 제안합니다. 대규모 데이터 세트에 대한 포괄적인 오프라인 및 온라인 실험은 계절 관련성을 모델링하는 방법의 효율성을 보여줍니다. 784 MM 쿼리에 대한 온라인 A/B 테스트에 따르면 계절 관련성 기능으로 처리하면 구매가 2.20% 증가하고 전반적으로 더 나은 고객 경험이 제공됩니다. 7. Position paper: Reducing Amazon’s packaging waste using multimodal deep learning 2015년부터 Amazon은 아웃바운드 포장의 무게를 36% 줄였으며, 전 세계적으로 1,000,000톤 이상의 포장재를 제거했으며, 이는 20억 개 이상의 배송 상자에 해당합니다. 따라서 주문 처리 공급망 전체에서 탄소 발자국을 줄였습니다 . 이 백서에서, 딥 러닝을 사용하여 다양한 제품 카탈로그의 각 항목을 대규모로 배송하는 데 가장 적합한 최적의 포장 유형을 식별하여 손상 없이 도착하고 고객을 기쁘게 하며 포장 폐기물을 줄이는 것에 대한 통찰력을 공유합니다 . 클래스 불균형 처리 기술은 모델 성능을 향상시키는 데 중요합니다. 8. CTR-BERT: Cost-effective knowledge distillation for billion-parameter teacher models BERT 같은 사전 훈련을 받은 많은 언어 모델 (LLM)는 최첨단 여러 NLP 작업에 달성 한 반면, 숫자 및 범주 피처를 추가 접지 예와 작업에 대한 성능이 덜 연구되고 있습니다. 본 논문에서는 연구 전자 상거래에서 제품 광고에 대한 클릭률(CTR) 예측을 위해 사전 훈련된 LLM 적용하여 모델이 a) 언어 및 테이블 형식 데이터 기능에서 학습하고, b) 추론 시간에 짧은 대기 시간 (<5ms)을 유지하고, c) 지속적으로 변화하는 광고 배포에 적응해야 하기 때문에 어렵습니다. 먼저 사전 훈련된 언어 모델을 15억 개의 파라미터로 확장하면 기존 CTR 기준선보다 성능이 크게 향상된다는 것을 보여줍니다. 그런 다음 텍스트 및 테이블 형식 기능에 대한 후기 융합 메커니즘이 있는 텍스트에 대한 트윈 구조의 BERT와 같은 인코더로 구성된 CTR 예측을 위한 새로운 경량 캐시 친화적인 인수분해 모델인 CTR-BERT를 제시합니다. 9. Probabilistic forecasting: A level-set approach 대규모 시계열 패널은 지난 몇 년 동안 소매, 운영 메트릭, IoT 및 의료 도메인과 같은 영역에서 스며들었습니다. 이로 인해 사용 가능한 모든 것을 효과적으로 활용하는 예측 기술이 필요하게 되었습니다. 각 패널의 모든 시계열에 걸쳐 학습하여 데이터를 예측합니다. 예측 기술의 바람직한 속성 중 확률적 예측을 생성할 수 있는 것이 상위에 랭크됩니다. 따라서 본 논문에서는 간단하지만 효과적인 일반적인 접근 방식인 LSF(Level Set Forecaster)를 포인트 추정기(point estimator)를 확률 추정기(probability estimator)로 변환하여 제시합니다. 랜덤 포레스트(RF) 및 분위수 회귀 포레스트(QRF)에 대한 알고리즘의 연결을 인식함으로써 기본 포인트 추정기에 대한 가벼운 가정 하에서 접근 방식의 일관성 보장을 증명할 수 있습니다. 부산물로서 CART 분할 기준에 따라 QRF에 대한 첫 번째 일관성 결과를 증명합니다. 경험적 실험에 따르면 포인트 추정기로 트리 기반 모델을 갖춘 접근 방식은 예측 정확도 측면에서 최첨단 딥 러닝 모델과 경쟁합니다. 10. Contextual rephrase detection for reducing friction in dialogue system Alexa, Google Assistant 및 Siri와 같은 음성 비서의 경우 사용자의 의도를 정확하게 해석하는 것이 가장 중요합니다. 그러나 사용자는 때때로 다른 시스템 구성 요소의 오류 또는 미끄러지듯 부정확한 발음 실수와 같은 사용자 오류로 인해 이러한 비서와 마찰을 경험합니다. 따라서, 사용자 그들이 만족스러운 응답을 받을 때까지 쿼리(여러분 말하는 것)를 바꿔 경향이 있습니다. 이 논문은 Rephrase Detection은 Rephrases를 식별하는 데 사용되며 컨텍스트 정보(예: 사용자의 암시적 피드백)를 완전히 활용하지 않는 쌍별 입력 작업으로 오랫동안 처리되었습니다. 따라서, multi-turn 다이얼로그에서 자동으로 문구를 식별하기 위해 상황에 맞는 문구 감지 모델 ContReph를 제안합니다. 사용자의 암시적 피드백과 서로 다른 차례 사이의 시간 간격을 포함하여 대화 컨텍스트 및 사용자 에이전트 상호 작용 신호를 활용하는 방법을 보여줍니다. 이는 pairwise rephrase detection 모델을 훨씬 능가하는 데 도움이 될 수 있습니다.