S3는 저장용량이 엄청나게 큰 만큼 데이터 분석을 위한 연산 및 대규모 분석용{Data Lake(데이터 호수)} 데이터 스토어에 주로 사용한다. 주로 금용 거래 분석, 클릭스트림 분석, 미디어 트랜스코딩등의 처리를 한다. Data Lake(데이터 호수) = 여러 곳에서 데이터가 흘러 들어와서 한 곳에 모이는것을 의미한다. 우선 한 곳에 모든 데이터를 모은 후 필요한 데이터를 ETL과정을 거친다.{추출(Extract), 변환(Transform), 적재(Load)의 과정} 데이터의 저장 및 관리를 하기 위해 중앙 집중식으로 편리하게 사용하기 위함이다. 이것을 만들때 온프레미스 환경에서 가장 큰 고민은 얼마만큼의 저장공간을 확보해야하는지에 대해 고민하고 이 고민은 결국 부담이 되는데 S3의 경우 용량 제한이 ..

Amazon S3는 어떤 서비스 일까? 아마존에서 설명하기로는 저장공간을 제공해 주는 객체 수준의 스토리지 이다. 객체 스토리지 (Object-based storage device)라고 하는데 이렇게 거창한 단어는 무슨 의미일까? 우리가 평소에 웹 하드(구글 드라이브, 네이버 클라우드 등등)를 사용할때 어떻게 파일을 관리하는지 한 번 상상해 보자. 먼저 저장하고 싶은 파일을 업로드한다. 이 파일을 수정하고 싶을때는 다운로드를 받아서 수정 후 과거 파일을 지우고 수정된 파일을 다시 업로드한다. 이와 같은 형식으로 사용하는 스토리지를 우리는 객체 스토리지 라고 표현한다. 즉 파일을 하나하나 확인하고 관리하는것이 아닌 객체(파일)단위로 관리한다 라는 것 이다. ==> 사용자가 필요한 저장공간을 형성하고 그곳에..

"너 DevOps 한다며?" 일반적으로 DevOps일을 한다고 하면 이런 말을 하곤한다. 하지만 이전 시간에 알아보았듯 DevOps는 하나의 문화이기에 너 문화한다며? 라는건 조금 이상한 말이 될 수 있다. DevOps엔지니어는 이런 문화를 정착시키는데 도움을 주는 사람이다. 즉 개발자가 개발 뿐 아니라 운영도 같이 참여할 수 있는 환경을 만들어 주는 역할을 하는 사람이라고 보면 된다. 큰 틀을 보자면 DevOps엔지니어는 굉장히 많은 업무를 보게 될 수 도 있다. 단 1명의 DevOps엔지니어가 있다면 인프라 구축, 네트워크 셋업, 도메인 운영, 서버 프로비저닝, 데이터베이스 관리, 운영, 관측, 배포, 보안 시스템 구축, 관리 등을 혼자서 해야한다. 하지만 이런 경우는 극단적인 경우이며 개별 팀이 있..

개발자 혹은 it업계 종사자들은 종종 CI/CD 파이프라인이라는 말을 사용한다. "CI/CD구축해야해요.", "사용했어요." 등등. 근데 CI/CD가 정확하게 뭘까? 프로그렘(어플리케이션)을 개발할때 각각의 모든 단계를 '자동화'하여 좀 더 빠르고 효율적으로 구축해 소비자(사용자)에게 지속적으로 배포 할 수 있는 프로세스를 의미한다. 쉽게 말해서 하나의 개발 프로세스이다. 젠킨스, 깃허브, 깃렙, 등의 툴을 사용할 수 있는데 CI/CD를 조금 풀어서 알아보도록 하자. Continuous Integration(지속적인 통합) 1991년 Grady라는 분을 통해 처음으로 나타나게 되었는데 단어의 말 뜻 그대로 지속적인 통합을 의미한다. 개발자들은 최대한 자신이 만들 코드를 작은 단위로 나누어서 Reposit..

2009년 당시에는 cloud가 별로 도입되지 않았던 시기이다. 즉 각 회사는 server를 각각 구입해 구축하고 배포하고 운영하는 방식으로 이루어 졌는데 이 방식은 프로그렘을 개발하는 개발팀과 프로덕션을 올리는 운영팀이 분리되어 있었다. 이런 환경은 개발팀이 프로그렘을 개발하더라도 이것을 운영팀이 '이해' 해야하며 이 과정에서는 당연히 둘 사이에서 마찰이 일어날 수 밖에 없다. 이런 마찰을 해결하기 위해 2009년 Flicker에서 등장한 '하루에 10회 이상 배포하기'라는 프로젝트를 통해 최초로 개발자(Dev)와 운영자(Ops)의 협업이 나타나게 되었다. 이 프로젝트에서는 개발팀과 운영팀 간의 괴리감, 불협화음을 어떻게 개선할 수 있는지 이야기를 하며 시작됬다. - 마찰 예시 - 운영팀 = 음 이 문..

기업은 기본적으로 다른 기업과 경쟁을 하며 자신들의 기술을 외부로 공개할려고 하지 않는다. 네트워크 기기도 마찬가지인데 대부분의 네트워크 기기들은 기업과 기업 간 서로간 규약을 통해서 네트워크 기기를 만든것이 아니라 자사 기기의 최적화를 위해 만든 기기인 만큼 상호간 통신을 하기 어려운 문제가 발생했다. 네트워크가 통신을 못한다는것은 중대한 문제이기에 이것을 해결하기 위해 모델을 만들었는데 이것이 TCP/IP, OSI 7 Layer 모델이다. 먼저 OSI계층에 대해 알아보자. 하위 계층인 Physical, Data Link, Network, Transport, 상위계층인 Sesion, Presentation, Application으로 나뉘어져 있으며 각각의 기능은 다음과 같다. 1. Physical 실제..