Carat Thinker

data architecturewhat is good data architectureperformance : using computing and storage resources efficientlytrade-off between performance and complexityscalability : data volumes = fluctuateupstream system fail → increasing data volumesscale up/down should be automatical : scale-down can save a lot of moneyreliability : available system & avoid failureAutomate as much as possible → reduce huma..

DataOpsDevOps for dataDevOps : deploy software in a more iterative & robust mannerbuild, manage cloud infraobservability of cloud infrabuild automated CI(Continuous Integration)/CD(Continuous Deployment) PipelineDataOps : data product deployments more iterative and robustbuild, manage cloud infra for data toolsobservability of data systems(incident reporting and notifications of problems)automat..

IngestionIngestion = moving or ingesting datafrequencybatch vs streamingbatch : slower = daily or hourlystreaming : faster = seconds to sub-seconds. real-timemicro-batch : combination of batch and streamingBatch ingestionconvenientless latencymore forgiving TypeETL : Extract → Transform → Loadtraditional data warehouse : clean → put DWwhy ETL needs cleaning? DW is expensive!most commonELT : Extr..

Generation of source datastructured / unstructured : differences in store, search..structured data : tabular, 2-demensional(rows and columns)use SQLBI, classical MLunstructured data : filesuse Deep Learning(Neural Networks)database : if choose wrong database, suffer from performanceRDBMS : Relationaltransactional data, tabular formatrelation between tablesinflexible, strict, normalizedsingle mac..

입사한 지 벌써 6개월 차다.데이터 엔지니어링을 직접 하지는 못하더라도 데이터 엔지니어링이 무엇인지, 무슨 일을 하는지, 무엇을 중요하게 여기는지 정도는 알아둬야 할 것 같다는 생각이 들었다. 그래서 udemy에서 Data Engineering 101 강의를 듣기 시작했다. 복습 겸 써보는 포스팅! Data EngineeringWhy Data Engineering is important? : Big data requires efficient data handlingData Engineerwithin data team : bridge between data producers and data consumersdata producer : software engineers and DevOps engineers ..

이전 포스팅입사 1달차 BA 후기 https://lifeofsw.tistory.com/99입사 3달차 BA 후기 https://lifeofsw.tistory.com/105입사한지 반년이 다 되어 간다. 정확히 말하자면 5개월을 조금 넘긴 상태이지만, 다음달에 처리할 프로젝트를 보고 있으니 다음달에 포스팅을 못할 수도 있겠다는 생각이 들어서 일찍 로그를 쓴다(크리스마스에). 0. JD 다시보기연말 평가를 준비하면서 처리한 티켓 개수를 세어봤다. 처리율은 98.4%였다. 64개를 할당받았는데 1개는 리소스 문제로 인해 홀딩했고 나머지는 다 처리했다. 아직 팀장님한테 말씀은 안 드렸는데 팀장님은 한 20개 정도 처리한 줄 아신다 하하하 (다음주에 어필해야지)분기 평가 때는 많은 것을 잘해줘야 하는 자리에서 잘..

요새 회사에서 많이 듣는 용어입니다. 알아두는 게 좋겠다 싶어서 정리해보는 마이그레이션!마이그레이션데이터/소프트웨어를 다른 시스템으로 이동하는 것데이터, 애플리케이션, 운영체제, 클라우드 등마이그레이션에는 항상 위험이 따르고 시간이 걸린다그럼에도 불구하고 마이그레이션을 하는 이유기술/소프트웨어 업그레이드데이터 센터 이전 시데이터 보안 및 규정 준수를 위해데이터 마이그레이션데이터 저장공간을 옮기는 것종류 : 옮겨야하는 데이터의 양과 기한, workload, 보안사항에 따라 적합한 방식이 달라짐online : 인터넷 혹은 프라이빗 연결을 통해 데이터를 옮기는 것offline : 물리적인 데이터 센터를 클라우드 storage로 옮기는 것왜 클라우드인가? 합리적 비용과 좋은 성능을 보이기 때문성공적인 마이그레이..

얼마 전 두 번째 커피챗을 진행했습니다.이번에는 커피챗 앱을 이용해서 해외 대학원과 해외 취업에 관한 조언을 부탁드렸습니다.30분간 진행했고, 사전에 궁금한 사항을 전달했어요.대학원에 관련해서는 커리큘럼과 준비 과정, 졸업 이후 동기들의 진로 방향에 대해 질문을 드렸어요.해외 취업에 대해서는 네트워킹 방법, 서류 및 면접 과정에 대해서 질문을 드렸어요.(커피챗 내용은 외부 유출 금지라서 답변에 대한 상세한 기록은 하지 못합니다)사전질문에 대한 답변을 준비해오셔서 빠르게 진행할 수 있었습니다.이제 생각해보니 영어에 관해서도 물어볼껄 하는 생각이 들었습니다.어차피 시간이 부족해서 물어보지도 못했겠지만.. 일단은 영어 공부를 열심히 하는 것으로! +) 커피챗 앱 후기시간 대비 가격이 저렴한 편은 아닙니다.그렇..

지난 주에 처음으로 커피챗을 했습니다.데이터 분석에서 데이터 엔지니어링으로 직무를 전환하신 주니어 분이었는데, 직무를 전환한 이유와 과정, 또 전환 이후의 공부 방법을 알려주셔서 많은 인사이트를 얻을 수 있었습니다.데이터 엔지니어링은 한 번 배워보자! 했다가 호되게 털린 경험이 있는 분야라 어떻게 공부해야하는지 궁금했는데현업과 스터디에서 많이 배웠다고 하시더라구요.아직은 저한테 어려운 분야인 것 같기는 합니다..도메인 분야가 다르다고 해도 데이터 직무는 기술적인 부분이 강하기 때문에 이야기도 많이 나눌 수 있었습니다.그 외에도 Tool 업데이트 팔로업, 네트워킹 등에 대해서도 좋은 인사이트를 얻을 수 있었습니다. 처음으로 신청한 커피챗이었는데 따뜻한 기억으로 남게 되어서 좋았고, 한편으로는 더 준비하지 ..

카카오에서는 매년 개발자 컨퍼런스를 진행합니다. 오프라인 행사는 근무로 가지 못했지만, 감사하게도 온라인으로 다시보기가 열렸습니다. 관심있는 세션을 몇 개 듣고 내용을 정리해보았습니다. if(kakaoAI)2024모든 연결을 새롭게if.kakao.com 나의 컨텍스트를 아는 친구, Context-Aware AI Mate요약감정, 상황과 맥락, 적절한 반응 = context awareMemory : 인간의 기억 방식 = 감각 기억 → 단기 기억 → 장기 기억단기 기억에서는 chunking을 통해 정보를 의미있는 묶음으로 만든다장기 기억에서는 의미 기억을 통해 연관된 기억을 활성화시킨다Mate memory : 감각 기억 → short term → long termshort termThread memory :..