안녕하세요, 테크씬입니다! 오늘의 포스팅에서는 최근 큰 관심을 끌고 있는 ChatGPT의 근간, 즉 LLM (Large Language Models)과 그 세부 조정 방법인 Fine-Tuning에 대해 깊이 있게 다룰 예정입니다. 기술에 대한 일반적인 이해가 부족한 분들을 대상으로 이 글을 작성하였으니 비전공, 비전문가라도 걱정 안 하셔도 좋습니다.^^. 목적은 LLM과 Fine-Tuning의 필요성과 그 활용 사례를 통해 여러분에게 새로운 지식과 통찰을 제공하는 것입니다. 지금 한번 같이 살펴보시죠. 관련된 인기 글 추천 챗GPT, LLM 한방 정리하기데이터 사이언티스트, 한번에 이해하기AI, 머신러닝, 딥러닝 깔끔 구분하기 1. LLM과 Fine-Tuning? LLM이란 무엇인가? Large Lang..
"테크씬 - 핵심 요약 후 시작합니다." '정보관리 기술사'는 정보 시스템의 설계, 구축 및 운영에 관련된 전문 지식과 능력을 갖춘 인증된 전문가로, 자격증 취득은 국가기술자격 시험을 통해 이루어짐. IT 업계의 다른 기술사 라이센스에는 '건축전기설비기술사', '건축기계설비기술사', '정보통신기술사', '공조냉동기술사', '시공기술사' 등이 있으며, 각 라이센스는 특정 분야의 전문성과 기술력을 인증함. 각 라이센스는 해당 분야의 설계, 구축, 운영 및 관리 등 다양한 업무를 수행할 수 있는 능력을 검증 기술사 라이센스는 IT 업계의 전문성과 기술력을 인증하는 중요한 자격증으로, 대한민국의 주요 기업들은 이러한 자격증을 활용하여 기술력을 강화하고 업계에서의 경쟁력을 높이고 있음 안녕하세요, 테크씬입니다! ..
"테크씬 - 핵심 요약 후 시작합니다." Apache Airflow는 데이터 파이프라인을 관리하고 오케스트레이션 하기 위한 강력한 오픈 소스 플랫폼으로, 동적 파이프라인 생성, 작업 재시도 및 모니터링과 같은 주요 기능을 제공함. 2014년에 Airbnb에서 개발한 Airflow는 데이터 엔지니어에게 없어서는 안 될 도구로 자리 잡았으며, Shopify, Lyft, Spotify와 같은 회사에서 데이터 워크플로우를 개선하기 위해 Airflow의 기능을 활용하고 있음 유연한 아키텍처를 갖춘 Airflow를 통해 사용자는 방향성 비순환 그래프(DAG), 연산자, 작업 및 작업 인스턴스를 사용하여 복잡한 데이터 워크플로를 작성, 예약 및 모니터링할 수 있음. 확장 가능한 모듈식 설계로 다양한 데이터 소스, 스..
"테크씬 - 핵심 요약 후 시작합니다." Elastic MapReduce(EMR)는 Amazon Web Services(AWS)의 클라우드 기반 빅 데이터 처리 서비스로, 확장 가능한 클러스터, Hadoop 호환성, AWS 통합을 제공함 EMR의 주요 경쟁 서비스로는 Apache Hadoop, Google Cloud Dataproc, Microsoft Azure HDInsight, Cloudera, Hortonworks 등이 있으며, 각기 고유한 기능과 장점을 가지고 있음 조직은 비즈니스 요구 사항과 목표를 결정하고, 데이터 소스 및 스토리지 옵션을 평가하며, 각 조직의 요구사항에 따라 최적의 빅데이터 처리 솔루션을 선택해야 함 효율적인 빅데이터 처리를 위해 클러스터 규모와 구성을 최적화하고 빅데이터 처..
"테크씬 - 핵심 요약 후 시작합니다." 디지털 트랜스포메이션(DX)은 다양한 디지털 기술을 비즈니스의 모든 영역에 적용/통합하여 기업의 비즈니스 운영 방식과 고객에게 가치를 제공하는 방법 자체를 혁신하는 것임 기존의 비즈니스 모델로는 더 이상 기술 발전의 속도를 따라잡을 수 없기 때문에, 기업은 기존에 고수해 온 전략을 조정하고 발전시키는 것이 필수적임 디지털 혁신을 달성하기 위해서는 강력한 리더십과 비전, 혁신 문화, 기술에 대한 접근성, 데이터 기반 의사결정, 기술 기업 및 이해 관계자와의 파트너십이 필요함 예컨대, 시장 선도 기업이었던 블록버스터와 KODAK이 디지털 기술을 수용하지 못해 사라진 사례에서 알 수 있듯이, DX를 수용하지 못하는 기업은 경쟁업체에 뒤처지고 시장 점유율을 잃을 위험이 ..
"테크씬 - 핵심 요약 후 시작합니다." Kubernetes는 컨테이너화된(Containerized) 애플리케이션의 배포/확장 및 관리를 자동화하는 오픈 소스 플랫폼 (별명은 K8s랍니다. 너무 길어서 이렇게 쓰는 것 같습니다^^) Kubernetes를 사용하면 (1) 애플리케이션 관리/개선 편의성, (2) 민첩성 향상, (3) 이전성 제고의 이점을 획득 가능 AWS EKS는 간편한 설정, 통합 보안 기능, 확장성 확보 및 비용 효율성 제고 등 특장점을 통해 Kubernetes 클러스터를 더 쉽게 실행/관리할 수 있도록 도와주는 Amazon의 서비스임(돈을 지불하지만, 훨씬 쉽게 관리) 오늘도 테크씬입니다! Kubernetes(쿠버네티스)는 테크 업계에서 빠르게 유명세를 타고 있죠. 이는 컨테이너화된 앱..
"테크씬의 5줄 요약" • 데이터 분야의 주요 역할에는 DA, TA, DE, ML엔지니어, BI분석가, DS가 포함됨 • 각 역할에는 고유한 책임, 기술 및 자격이 존재함 • 데이터 분석/시각화, 머신러닝 알고리즘 및 모델링, 데이터 웨어하우징 및 마트에 대한 지식은 핵심적임 • 클라우드 기반 데이터 관리 솔루션에 대한 경험과 데이터 보안 및 개인정보 보호에 대한 지식은 금번 소개한 모든 역할에 있어 매우 중요함 • 글로벌 및 국내 Top Tier 기업들에서 Data-Driven 의사결정을 위해 이러한 핵심 인재를 더 많이 뽑고 있음 데이터 및 기술 분야는 지속적으로 발전하고 있으며, 이에 따라 점점 더 많은 직무 역할이 발생하고 있습니다. 데이터 아키텍트(DA, Data Architect)에서 ML엔지..
5줄 요약! • MLOps는 기존 DevOps의 모범적인 사례와 ML 혹은 인공지능의 고유한 특성을 결합한 ML 모델 관리에 대한 새로운 접근 방식임 • MLOps는 ML 모델의 배포/관리에 중점을 두고 데이터 및 모델 관리에 중점을 둠 • MLOps를 통해 조직은 인공지능 및 ML 모델의 출시 시간을 단축하고, 모델의 정확도를 개선하며, 거버넌스 및 컴프라이언스 이슈를 개선할 수 있음 • MLOps를 구현하는 것은 특히 ML과 DevOps 모두에 대한 전문가가 부족하기 때문에 어려우며, 또한 이미 기존의 다른 IT 시스템을 구축한 상태에서는 통합하는 데에 난점이 있음 • 이러한 난점에도 불구하고, 여러 글로벌 선도 기업들이 이미 MLOps를 성공적으로 구현하였음 오늘날의 빠르게 진행되는 비즈니스 환경에..
Big Data 처리는 많은 글로벌 기업 운영에서 핵심점인 요소로 대두했습니다. 그러나 전통적인 기술을 활용해서 대규모 데이터를 운영하는 경우도 사실 비일비재한 현실입니다.. 오늘은 Apache Spark를 소개하고자 합니다. Spark는 대량의 데이터를 실시간으로 처리할 수 있는 강력한 다용도 솔루션입니다. 이번 포스팅에서는 글로벌 기업이 아파치 스파크에 눈을 돌리는 이유와 빅데이터 처리 분야에서 Spark가 어떻게 판도를 바꾸고 있는지 알아보겠습니다. 테크씬 5줄 요약 ! Apache Spark는 Big Data 처리를 위한 오픈 소스 분산 컴퓨팅 시스템 Spark는 In-memory Computing과 여러 프로그래밍 언어를 지원하는 빠르고 효율적인 처리 기능을 제공 금융, 헬스케어, 소매, 통신 ..