[DevOps]Hadoop vs Spark
하둡(Hadoop)과 스파크(Spark)는 모두 대용량 데이터 처리를 위한 인기 있는 프레임워크이지만, 각각 다른 아키텍처와 목적을 가지고 있습니다. 하둡과 스파크의 주요한 차이점은 다음과 같습니다. Ⅰ. Hadoop. 대규모 데이터 세트를 처리하기 위한 분산 데이터 처리 및 저장 시스템입니다. 주로 대용량의 데이터를 효율적으로 분산 처리하...
하둡(Hadoop)과 스파크(Spark)는 모두 대용량 데이터 처리를 위한 인기 있는 프레임워크이지만, 각각 다른 아키텍처와 목적을 가지고 있습니다. 하둡과 스파크의 주요한 차이점은 다음과 같습니다. Ⅰ. Hadoop. 대규모 데이터 세트를 처리하기 위한 분산 데이터 처리 및 저장 시스템입니다. 주로 대용량의 데이터를 효율적으로 분산 처리하...
한국 작가가 읽은 세계문학. 출처 : 교보문고 서평, 독서 단상 등을 작성할떄 솔직히 어떻게 작성해야할 지 몰라서 참고용으로 해당 도서를 빌려서 봤다. 생각보다 두께가 있는 도서로 참고용으로 모두 읽기는 너무 많아 읽어본 유명한 고전소설 템페스트, 데미안, 위대한 개츠비 등등 몇개의 내용만 골라서 읽었었다. 해당 도서의 시작은 여러 시대와 여러...
해당 도서는 서점에서 직접 구입하여 보관하고 있던 도서였다. 사실 도서를 구입한 이유는 정확히 기억나지는 않지만 베스트 셀러 구문에 있었고 “여행의 이유”라는 제목에 이끌려 고르게 된 것이 아닐까 싶다. 이미지 출처: 교보문고 Ⅰ. Introduction 개인적으로 군대를 전역한 이후 내일로1를 타고 혼자 국내여행을 한 적이 있었는데, ...
우선 GAN을 정리하기에 앞서 생성모델을 이해해야합니다. 기계 학습 모델은 모델의 역할에 따라 크게 분류 모델과 생성 모델로 나뉠 수 있다고 합니다. Generation Model(생성모델) 여기서 분류 모델(판별자 모델, Discrimnative Model)은 데이터 X가 주어졌을 때 나타나는 레이블 Y가 나타날 조건부확률 P(Y|X)를 ...
markdown으로 ppt를 만들 수 있는 애플리케이션이다. 하지만 결국은 ppt보다 성능은 떨어진다. 그러나 테마를 적용해 빠르게 글을 적어나간다면 해당 내용들을 다른 사람에게 빠르고 쉽게 설득시킬 수 있는 좋은 툴이 될 것같다. .pdf 이력서를 만들때 Marp로 만들어 보았었고, 수작업이 더 편했을 수도 있지만 한 두번 익히고 나면 내용에 집중...
markdown으로 문서 작업을 대부분 하면서 mermaid라는 그래프 툴이 있어 활용하기 편할 것 같아 정리하게 되었다. flowchart [LR, RL, TD(TB), DT] graph TD; A-->B; A-->C; subgraph ide1 [one] A-->B end id1["brea...
가상환경 관리 가상환경은 프로젝트별로 독립적인 Python 개발 환경을 생성하고 관리하는 데 사용됩니다. 가상환경을 사용하면 서로 다른 프로젝트에서 사용하는 패키지 버전 충돌을 피하고, 프로젝트 간의 의존성을 격리하여 개발 환경을 효율적으로 유지할 수 있습니다. 즉, 원하는 환경 구축을 위해 필요한 패키지만 담아놓는 바구니 역할. 가장 널리 사용...
여태까지 Windows에서 작업을 진행하였는데, 친숙한 GUI는 좋았지만 사용하다보면 호환되지 않는 라이브러리 등이 존재하지 않아 애를 먹었던 적이 몇번 있었다. 특히, CUDA1는 주로 Linux 환경에서 개발되고 최적화되어 있으며 TensorFlow와 PyTorch는 Linux에 대한 CUDA 지원을 강화하고 있어 이런 부분에 대해 해결책을 찾다보...
개인적으로 훌륭한 데이터 과학자가 되기 위해서는 관련 지식에 대한 체계적이고 완벽한 준비 뿐만 아니라, 알고리즘 모델에 대하여 마음 깊숙한 곳에서부터 나오는 열정과 연구 작업에 대한 장인 정신이 있어야 한다고 생각합니다. 여기서 말하는 장인 정신아란, 문제를 발견하는 눈빛, 문제를 해결하는 탐구정신, 그리고 집착에 가까운 끈기를 뜻합니다. 알고리즘 ...
이전 블로그 테마는 Mermaid, Math expression 등 불편한 요소가 많아 불편한 점이 많아 새로운 테마를 찾기 시작했었다. Jekyll 테마를 찾다가 Chripy라는 테마를 찾게 되었는데 심플하고 다양한 markdown을 지원한다는 매력에 빠져 고르게 되었다. Chripy 우선 해당 github에 들어가 fork를 진행해 설치...