도쿄의 데이터애널리스트

데이터 과학자/분석가가 갖추어야 할 능력 실제적인 문제를 통계적으로 표현 컴퓨터 도구를 사용하여 시각화와 데이터 가공과 모형화 2를 이용하여 실제적인 언어로 의미있는 결과 도출 (+) 다른 사람들과 협업할 수 있는 태도. 문서나 말로 협업자들과 대화할 수 있는 소통 능력 추가로 적었던 저 소통능력이 데이터 분석가에게는 가장 많이 요구되는 핵심적 역량이 아닐까 생각된다. 데이터 분석일은 타부서와 긴밀한 협력이 필요한 프로젝트도 많으며, 데이터 분석이라는 스킬/툴을 가지고 도출한 결과를 바탕으로 의사결정권자들을 설득하는 직업이기 때문

주니어 데이터 분석가/과학자로 전직을 준비할 때, 다양한 분석 기법이나 분석 관련 업무 경력 및 데이터 해석력에 대한 질문도 많지만 우리가 흔히 사용하는 업계 용어에 대해 자신이 내린 정의에 대해 물어보기도 한다. 그 관점에서 '빅데이터'와 '데이터 과학'을 정의해보고자 한다. 빅데이터 Big data 의 정의 빅데이터는 단순히 대용량 데이터를 지칭하는 용어이기도 하지만, 미국의 유명 IT 컨설팅업체인 가트너 Gartner Inc.에 따르면 빅데이터는 3V로 정의할 수 있다. ## 빅데이터의 3V 1. High-Volume 대용량의 데이터 규모 (데이터의 기하급수적인 성장) 2. High-Velocity 빠른 입출력 속도 (데이터의 가용성) 3. High-Variety 다양성 (데이터의 정보화) 빅데이터..

나는 오브리라는 닉네임으로 올해 5월부터 도쿄의 메가뱅크 그룹의 데이터 분석가로 일하고 있다. 나의 첫 사회생활은 브랜드 이름을 들으면 누구나 알만한 한국의 패션 회사에서 해외영업직이었다.딱 4년 전 2017년 6월, 나는 사표를 제출하고 데이터 분석가가 되기 위해서 노력한 결과 4년이란 시간이 걸려 드디어 일본 금융 대기업의 데이터 애널리스트, 스페셜리스트 타이틀을 획득했다. 나는 석사가 없으며, 관련 학사 소유자이지만 R이나 파이썬은 만져본 적이 없는 사람이었고 개발에 대한 지식도 전무한 상태였다. 미국에서 교환학생을 했기에 영어는 어느정도 가능했지만, 일본어는 카타카나도 모르는 상태였다. 데이터 분석가가 되기 위한 과정 속에 나는 자바로 웹개발을 하기도하고, SAP 운영 테스트를 담당하기도 하고 U..

구글 코랩이란? Google Colab (Google Colaboratory) 웹 브라우저에서 무료로 파이썬 프로그램을 테스트하고 저장할 수 있는 서비스. 클라우드 기반의 주피터 노트북 개발 환경. (구글 어카운트 - 구글 클라우드와 연동하여 사용) Google Colaboratory colab.research.google.com - 왜 사용하는가? 대용량 데이터를 가지고 머신러닝을 수행할 경우 컴퓨터 사양이 중요하다. 구글 코랩은 구글에서 제공하는 클라우드 환경, GPU에서 코드를 무료로 실행할 수 있게 해준다. - 주의점 나의 개인 로컬에서 돌리는 것이 아니기 때문에 데이터를 로컬 패스로부터 직접 가져올 수 없다. 구글 어카운트 및 구글 클라우드와의 연동이 필요하다. - 팁 Windows 사용자의 경..

인공지능 Artificial Intelligence 사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술 머신러닝 Machine Learning 규칙을 일일이 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야. 인공지능의 하위 분야 중에서 지능을 구현하기 위한 소프트웨어를 담당하는 핵심 분야 - 대표적인 라이브러리 : 사이킷런 scikit-learn 딥러닝 Deep Learning 머신러닝 알고리즘 중에서 "인공신경망"을 기반으로 한 방법들을 통칭한 것 - 대표적인 라이브러리 : 구글 텐서플로우, 페이스북 파이토치

오늘은 Power BI로 지금까지의 총 판매액이나 상품의 재고가 얼마나 남아 있는지를 계산하는 식을 소개하고자 한다. 이 함수 하나만 제대로 알아둔다면 응용해서 여러 표현들이 가능하다. [ 샘플 데이터 : Table1 ] 각 품목의 이름과 날짜 그리고 Value1이라는 값이 존재하는 트랜잭션 데이터가 존재한다. 이때 각 품목별로 묶어서 날짜가 지남에 따라 누계액을 구현하고자 한다. cumm_Value = CALCULATE(SUM([Value1]), FILTER('Table1', 'Table1'[name]=EARLIER('Table1T'[name]) && 'Table1'[CalendarDate] CACULATE( 함수식, FILTER(필터를 걸 대상이 되는 테이블, 필터조건)) ・함수식 : 우리는 누계함수..

[ Day 01 ] A : What have you been up to these days? B : Not much. Everyone is just busy with this quarter's audit. * 별일 없을 때 I'm doing pretty good/very well, thanks. * 피곤할 때 Not bad, but I'm feeling a little tired today. [ Day 02 ] How are you? = 어디 아프진 않니? 너 괜찮니? How's it going? = 잘 돼가요? 별일 없으세요? = How's everything (going)? (친밀한 어감) = How are you doing today? = How are things going? A : Good mo..

tapply() : Apply a Function Over a Ragged Array "그룹별"로 각 자료값에 "함수를 적용"하는, apply 계열 함수 → 저장된 데이터를 주어진 기준에 따라 그룹으로 묶은 뒤, 각 그룹에 함수를 적용하고 그 결과를 (배열로) 반환한다 tapply(X, INDEX, FUN = NULL, ..., default = NA, simplify = TRUE) ✔︎ X : 평균을 구할 변수 ✔︎ INDEX : 그룹 변수 - 데이터를 그룹으로 묶을 기준이 되는 index ✔︎ FUN : 평균을 구할 함수 - 각 그룹마다 적용할 함수 [예제 1] 1부터 10까지의 수 중에서 3으로 나누었을 때 나머지가 1인 값 [TRUE] 1 + 4 + 7 + 10 = 22 [FALSE] sum(1:..

Azure Functions를 사용하면 애플리케이션 인프라에 대한 걱정 없이 작은 코드 부분("함수"라고 함)을 실행할 수 있다. → Azure 클라우드 환경 내에서 실행가능한 간단한 코드/함수! → 대량 데이터 처리, 시스템 통합, IoT(사물 인터넷) 작업 및 간단한 API/마이크로서비스 구축에 적합하다. → 코드의 실행시간만큼 과금이 된다. (사용량요금제를 채택할 경우) + 그 외 프리미엄, App Service 요금제 등에 따라 과금 정책이 따른다. ※사용 가능 언어 : C #, Java, JavaScript, Python PowerShell Azure 함수는 특별한 이벤트가 "트리거"(함수의 실행 원인)이 되어 실행된다. Triggers are what cause a function to run..

・Nuget 이란 free and open-source package manager desigend for the MS developer platform 오픈소스, 라이브러리 등을 다운로드 하고 설정 컴파일 하는 일련의 과정을 gui 환경에서 다운 받아 관리할 수 있는 것을 패키지 관리자 → 간단하게 말해서 ".Net 프레임워크(닷넷프레임워크)를 위한 소스코드 관리자"이다. C# 기반으로 시작되어, 2013년 부터 native c++ 프로젝트를 지원하면서 visual studio에서 가장 대표적인 오픈소스 지원 프로젝트 ・NuGet Eco-System NuGet의 장점을 소스코드나 결과물을 이용하는 것, 환경 설정을 자동으로 해준다는 측면이 있는게 아니라, 기본적으로 오픈소스를 활발히 운영하기 위해 필요..