Chae Data

AWS Lambda보통 어떤 경우에 사용할까요?AWS Lambda는 서버리스 컴퓨팅 환경을 제공하여 인프라를 관리할 필요 없이 코드 실행이 가능하도록 합니다.이를 통해 사용자는 서버 관리 부담 없이 특정 이벤트 발생 시 자동으로 실행되는 코드를 작성할 수 있습니다.AWS 가이드에서는 ‘Lambda는 빠르게 스케일 업해야 하고 수요가 없을 때는 0으로 스케일 다운해야 하는 애플리케이션 시나리오에 이상적인 컴퓨팅 서비스’라고 소개하고 있습니다.일반적으로는 다음과 같은 이유로 람다 사용을 고려하게 됩니다.운영 비용 절감: Lambda는 사용한 만큼만 비용을 지불하는 구조이므로, 유휴 상태에서도 비용이 발생하는 서버 기반 인프라보다 경제적입니다. 특히 트래픽이 일정하지 않고, 간헐적으로 실행되는 작업에서는 매우..

1. BigQuery Procedural Language란?BigQuery는 SQL 기반의 데이터 분석 도구이지만, 일반적인 SQL 쿼리만으로는 복잡한 로직을 처리하기 어려울 때가 있습니다. 이런 경우, BigQuery Procedural Language (SQL 스타일의 스크립트라고 생각하면 됩니다.) 를 활용하면 변수 선언, 조건문, 반복문 등을 사용하여 복잡한 로직을 보다 직관적으로 구현할 수 있습니다.BigQuery에서 제공하는 Procedural Language를 사용하면 다음과 같은 작업이 가능합니다. • 변수를 활용한 동적 SQL 실행 • 조건문 (IF, CASE) • 반복문 (LOOP, WHILE, FOR) • 예외 처리 (BEGIN ... EXCEPTION ... END)이번 글에서는 실..

본 글에서 소개할 연구는 이커머스 업계를 이끌고 있는 아마존에서 발표한 논문입니다. LLM을 실제 이커머스 검색 시스템에 적용하는 실용적인 접근법을 제시하며, 이와 관련된 학습 및 배포 전략의 효과를 입증했습니다.논문 링크✅ 초록Dense 임베딩 기반 시맨틱 매칭은 철자 변형에 대한 민감도와 같은 Lexical 매칭의 단점을 해결하기 위해 이커머스 상품 검색에 널리 사용됩니다. 그러나 최근 BERT와 유사한 언어 모델 인코더의 발전은 이커머스 웹사이트에 부과된 엄격한 추론 지연 시간 요구 사항으로 인해 실시간 검색에 적용되지 못했습니다.  bi-encoder BERT 아키텍처는 빠른 근사 최근접 이웃 검색을 가능하게 하지만, 학습 불안정성과 교차 인코더와의 지속적인 일반화 격차로 인해 쿼리-상품 데이..

Kubeflow는 머신러닝 워크플로우를 자동화하고 확장할 수 있도록 도와주는 오픈소스 플랫폼입니다. 본 글에서는 Kubeflow Pipeline을 작성하는 기본 가이드를 예시 코드와 함께 제공하며, pipeline 작성 시 제가 경험했던 문제와 이를 해결한 방법도 함께 다루고자 합니다. * 본 글은 kubeflow 1.8 버전을 기준으로 작성되었습니다. 1. 개요Kubeflow Pipeline은 머신러닝 워크플로우를 구성하기 위한 도구로, 각 컴포넌트를 개별적으로, 컨테이너로 실행하여 재사용할 수 있는 파이프라인을 구축할 수 있도록 합니다. 각 컴포넌트는 독립적으로 실행되며, 데이터 파이프라인을 통해 다른 컴포넌트로 데이터를 전달할 수 있습니다. Pipeline을 작성할 때 각 컴포넌트는 컨테이너로 구성..

비즈니스 환경에서 데이터는 굉장히 빠른 속도로 생성되고 처리되어야 합니다.기업은 이런 대용량의 데이터를 실시간으로 수집하고 분석하고자 하는 요구 사항을 가지고 있습니다.이에 따라 등장한 Apache Kafka는 대용량 실시간 데이터 스트리밍을 위한 강력한 플랫폼으로 각광받고 있습니다. 카프카란?카프카는 분산 데이터 스트리밍 플랫폼으로, LinkedIn에서 개발되었습니다.이후 Apache Software Foundation에서 오픈소스로 관리되며, 많은 기업에서 대용량 실시간 데이터의 수집, 저장, 처리를 위해 광범위하게 사용되고 있습니다. 기본 아키텍처카프카의 아키텍처는 생산자(Producer), 브로커(Broker), 소비자(Consumer), 이렇게 세 가지 주요 구성 요소로 이루어져 있습니다. 생산..

개요 Apache Airflow는 데이터 파이프라인 관리와 작업 스케줄링을 위한 오픈 소스 플랫폼으로, 데이터 엔지니어링 및 데이터 과학 작업에서 널리 사용됩니다. 저도 올해 처음으로 해당 플랫폼을 사용하여 데이터 ETL 작업을 처리했습니다. 작업 중에 가장 헷갈렸던 여러 기준의 date 들을 한번 자세히 정리해보겠습니다. 태스크 스케줄링의 중요성 Apache Airflow는 작업 스케줄링 및 자동화를 위한 강력한 도구입니다. 사용자는 작업의 실행 시간, 간격 및 의존성을 정의하고, Airflow는 해당 작업을 예약된 시간에 실행하거나 재시도할 수 있습니다. Airflow에서 작업은 Directed Acyclic Graph (DAG)로 구성됩니다. DAG는 여러 작업(Task)으로 구성된 워크플로우를 나..