해뜨기전에자자

요즘 언어의 패러다임은 thread를 이용하여 비결정적 concurrency를 확보하기보다는 언어 자체에서 control flow를 가져가 declarative concurrency를 가져가 컨트롤을 결정적으로 하고, 결과를 예상할 수 있도록 하는 것이다. computation은 내부적으로 비결정론적인 실행 경로를 가질 수 있지만, 비결정론은 computation 모델에 의해 추상화 될 수 있으며 외부에서는 관찰 할 수 없다. concurrent computation의 비결정론적 인터리빙은 동시성 모델링의 복잡성의 주요 원천이며, 관측 가능한 비결정론은 일반적으로 동시성 모델에서 바람직하지 않은 속성으로, 재현 불가능한 오류 상태를 초래한다. race condition은 일반적인 비결정적 모델의 하나의 ..

timezone 설정과 datetime handling은 필수적이고 기본적인 것들 중 하나다. datetime을 다룰때는 기본적으로 UTC를 잡아서 쓰고 timezone을 반드시 포함하여 저장하는 것이 좋다. 그 중 pyspark의 datetime handling 함수들을 정리할 겸, 샘플 코드를 작성했고, session.timezone을 UTC, Asia/Seoul 로 돌려 봤을 때의 결과를 정리했다. 실행 환경은 spark 2.3.2, docker on yarn 환경이다. pyspark를 다룰 때 참고할 document 문서 https://spark.apache.org/docs/2.3.2/api/python/pyspark.sql.html Spark session timezone setting spar..

클린코드로 유명한 엉클밥의 다른 책, 클린 코더다. 프로란 어때야하는가를 중점적으로 '이래라 저래라'하는 책이다. 프로에 대한 막연한 생각을 정리하는데 도움이 되었다. 엉클밥은 회사에 손해를 끼쳤다면 그 손해를 물어주는 것이 프로의 자세라고 말한다. 그런 일이 나에게 일어난다면 과연 그럴 수 있을까 라는 생각도 들지만, 더 책임감 있게, 개발에 최선을 다해야 겠다는 생각이 들었다. 손해를 감당해야 프로이기 때문이라기 보다는, 그래야 멋있으니까. 집중력이 극에 달할 때 들어서는 영역인 '존'이 가독성 있는 개발에 도움이 되지 않는 다는 부분이 공감되었다. 존에서 개발했던 부분은 어느 정도는 삽질 영역이고 필요하지 않은 부분이었던 경우가 많았다. 엉클 밥은, 이런 경우에 다른 사람과 대화를 하면서 개발을 하..

한줄 요약 airflow는 workflow engine이다. 매일 돌아야 하는 offline배치를 파이프라인 구성하는 것이 목적인 툴이다. hdfs, spark, aws s3 등 다양한 operator를 지원해서 사용자 풀 및 레퍼런스도 많은 편이다. 요즘은 k8s를 많이 써서 argo같은 대체제도 있는 듯 하다. 아키텍처 https://airflow.apache.org/docs/stable/executor/celery.html 현재 db로는 postgre, queue로는 redis를 쓰고 있다. 기본 컨셉 https://airflow.apache.org/docs/stable/concepts.html DAG는 태스크로 구성된다 각 태스크는 오퍼레이터 클래스를 인스턴스화하여 만든다. 구성한 오퍼레이터 인스..

docker base image로 많이 사용됨 왜? 필요한 것들이 다 있는데 가벼워서 server, container 운영에 필요한 바이너리만을 추리고, 그 바이너리들을 한번 더 합치거나 줄여서 해서 만든 것. musl libc + busybox musl libc 초경량. embedded linux를 위한 신뢰성 있는 C/POSIX library POSIX는 Unix 계열 OS가 각자 벤더들의 편의에 의해 변종과 확장이 발생하면서 상호 프로그램 간 호환성 문제가 생기기 시작하자, Unix 계열 OS 끼리는 프로그램이 서로 호환되게 실행될 수 있도록 표준을 수립한 것 busybox unix 계열 OS 내에서, 자원이 매우 적은 임베디드 운영 체제를 위해 서버 운영에 공통적으로 사용하는 패키지들만 모아 둔 ..

이번 연휴는 목표 없이, 그동안 봤던 미드, 영화 다시보기와 게임하기로 시간을 보냈다. 그중 가장 성취감 있었던 것을 꼽자면 'Sky 빛의 아이들'이라는 게임의 엔딩을 본 것이다. 완벽한 엔딩이라 보긴 어렵지만 거의 동일한 동작을 반복하는 형태이니, 어느 정도 스토리 컨텐츠 맛보기가 끝났다고 말해야 더 정확한 표현일 것 같다. (더 높은 단계의 컨텐츠를 보려면 노가다가 기다리고 있다.) 코로나19를 맞이하는 힐링 게임이라며 동생이 같이 하자고 들고온 게임이었는데, 옆에서 몇 분 지켜보니 게임 그래픽과 영상미가 거의 예술의 경지에 있었다. 보통 게임에서 그래픽이라고 해봤자 에피소드 부분만 고퀄리티인 경우가 흔한데, 이 게임은 플레이 내내 아름다운 풍경과 비행을 즐길 수 있다. 게임 시작 때, 사운드를 켜고..

시대를 막론하고 화폐가 파괴되는 데는 일정한 패턴이 있었다. 수천 년 동안 발생했던 인플레이션의 역사는 다음 열 가지 명제로 정리할 수 있다.돈은 그 자체로 신뢰다. 돈에 대한 신뢰가 무너지면 화폐도 무너진다. 돈에 대한 신뢰가 무너지지 않도록 남용을 막는 것이 정치의 우선적 의무다.화폐가 붕괴하기 시작하는 초창기에는 국가나 통치자가 과도한 채무에 시달리는 현상이 나타난다. 과도한 채무가 생기면 국가나 통치자는 인플레이션을 이용해 자신의 의무를 회피하려고 한다. 이러한 유혹은 언제나 존재한다. 인플레이션은 결코 사라질 수 없다고 예상하는 이유다. 돈과 통치자가 존재하는 한 인플레이션도 사라질 수 없다.인플레이션은 거대한 면도칼 위를 달리는 상황에 비유할 수 있다. 대개 인플레이션은 단기적으로 경기를 활성..

사실충실성 Created time: Mar 05, 2020 3:25 AM Tags: 팩트 저자: 한스 로슬링 책 제목: 팩트풀니스 Factfullness 한줄 평: 가볍게 읽히는, 그러나 잘못 알고 있었던 세계관을 교정해주는 책. 저자는 우리 스스로를 편향되지 않도록, 과도하게 극적인 이야기를 구별하는 법을 알려주고 극적 본능을 억제하는 생각도구를 제시한다. 이 책은 세계에 관한 이야기고, 세계를 어떻게 이해해야하는 이야기라 말하며 한 설문지로 시작한다. 오늘날 세계 모든 저소득 국가에서 초등학교를 나온 여성은 얼마나 될까? A. 20% B. 40% C. 60% 세계 인구의 다수는 어디에 살까? A. 저소득 국가 B. 중간 소득 국가 C. 고소득 국가 지난 20년 간 세계 인구에서 극빈층의 비율은 어떻게..

이 글은 아래 글을 요약하여 재구성한 내용이다. https://engineering.linecorp.com/ko/blog/how-to-use-kafka-in-line-1/ https://engineering.linecorp.com/ko/blog/how-to-use-kafka-in-line-2/ https://engineering.linecorp.com/ko/blog/how-to-use-kafka-in-line-3/ LINE에서 Kafka를 사용하면서, produce API중 일부가 매우 느려지는 현상을 퍼센타일 그래프를 통해 알아내고, 그를 해결하기 위한 내부 동작들을 분석하고 가정을 세우며 프로덕션에 적용해도 무리가 없는 systemTap라는 툴을 통해 증상을 확인하는 과정을 포함하고 있다. 또, 그 ..

오랜만에 선배를 만났다. 강남의 한 카페에서 만나 커피 한 잔을 했다. 서로 약 2-3년 간의 공백이 있었기 때문에 서로 그 빈 공간을 채우기 위해 많은 이야기를 해야 했다. 선배는 그동안 본인이 뭘 했는지 그리고 뭘 하고 있는지 어떻게 살았는지 등의 이야기를 정리해 말해주었다. 검은색 패드를 꺼내 초록색 글씨와 그림을 그리며 열심히 이야기했다. 생각보다 필기감이 좋은 이 물건은 무엇이냐 물었고, 부기 보드라고 했다. 가격이 약 1, 2만 원 대로 저렴한데 블루투스로 연동이 되니 뭐니 하는 비싼 기능이 붙어 있는 것은 굳이 필요 없고, 본연의 기능에 충실한 것을 구매하는 것을 추천한다고 덧붙여 말했다. 시간이 흘러, 필요하면 구매하자고 미뤄 뒀던 부기 보드를 사게 되었다. 최근에 신호와 소음을 읽으면서 ..