여행하는 코딩끄적끄적

목차 t 분포(t-distribution)란? 앞서 포스트에서 표본(Sample) 집단에서의 표본 평균, 표본 분산을 구하는 방법에 대해 알아보았습니다. 모(Population) 집단에서 표본 집단을 가지고 표준 정규 분포(Standard Normal Distribution)으로 만들면 아래와 같이 나옵니다. 수식1과 같이 X를 표준화하면 표준 정규 분포를 얻을 수 있습니다. 하지만 여기서 문제는 모집단의 표준편차(σ)를 구하기가 힘들다는 것입니다. 표본을 사용하는 이유가 모집단으로 데이터를 다 처리하기 힘들기 때문에 표본을 만든 것이기 때문에 수식1과 같이 모집단의 표준편차를 사용해서 정립하는 것이 현실에 맞지 않기 때문입니다. 그래서 모집단의 표준편차가 아닌 표본 집단의 표준편차(S)를 사용해서 표준..

목차 정규분포란(Normal Distribution)? 그림1과 같이 벨 모양과 같이 생긴 형태의 그래프를 정규분포 그래프라고 합니다. 정규분포는 평균값(μ)과 분산(σ^2)에 의해 그래프 특성이 결정 됩니다. 평균에 의해 벨의 중심점이 결정됩니다. 그리고 분산 값에 의해 퍼짐 정도가 결정 됩니다. 그래프의 수식은 위 수식1과 같이 결정 됩니다. 또는 간단하게 아래 수식2와 같이 표현합니다. 평균(Mean)과 분산(Variance)만 있으면 그래프를 그릴 수 있기 때문입니다. 정규분포를 사용하는 이유와 언제 사용 하나? 사실 고등학교때는 무턱대고 위 수식으로 문제를 푸는 것에 집중했지만 사회를 나와서 이과를 다니다 보니 산업의 많은 분야에서 정규분포를 사용함을 알았습니다. 제가 생각하는 정규분포의 이용은..

목차 모집단(Population)과 표본집단(Sample) 수식 정리 모집단/표본집단 평균(Population / Sample Mean) 모집단/표본집단 분산(Population / Sample Variance) 모집단/표본집단 표준편차(Population / Sample Standard Deviation) 모집단이란 실제 가지고 있는 모든 데이터 샘플을 의미 합니다. 표본 집단은 모집단 중에 일부를 샘플로 취해서 모집단의 평균, 분산, 표준 분산을 추정하는 목적으로 사용 됩니다. 표본집단(Sample) n-1 샘플로 나누는 이유 우선 수식을 떠나서 개념적으로 쉽게 이해해보도록 하겠습니다. 표본 집단을 사용하는 사용자가 N개의 모집단 데이터에서 n개의 샘플을 가져온다고 생각해보겠습니다. 여기서 우리는 평..

목차 해당 포스트(Machine Learning)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. Machine Learning 소프트 맥스 회귀란? 앞서 로지스틱 회귀 이론에 대해 알아보았습니다(https://scribblinganything.tistory.com/682). 로지스틱 회귀란 입력 값을 받고 이 값이 해당 라벨에 포함되는지를 확률적인 값으로 출력 해주었습니다. 예제로 여자 사람의 사진일 경우 1에 가까운 값을 출력 하고 그 외는 0에 가까운 값을 출력하는 로직이었습니다. 소프트 맥스 회기란 앞서 로지스틱이 하나의 출력만을 구분 지었다면 이번에는 출력을 벡터(Vector) 형식으로 보내서 여자 사람, 남자 사람, 고양이 등을 벡터에 값으..

목차 베이즈 이론(Bayes Theorem)이란? 베이즈 이론을 이해하기 위해서는 조건부 확률에 대해 이해하여야 합니다. 수식1을 조건부 확률(Conditional Probability)라고 합니다. A라는 사건이 발생했을 때의 조건에서의 B라는 사건이 발생할 확률입니다. 동일하게 B라는 사건이 발생했을 때의 조건에서 A라는 사건이 발생할 확률은 수식2와 같이 표현할 수 있습니다. 수식1과 수식2를 이용하면 아래와 같이 구할 수 있습니다. 수식3을 이용해서 아래와 같은 수식을 만들어 낼 수 있습니다. 위 수식4가 이번 포스터의 목적인 베이즈(Bayes) 이론의 수식 입니다. 여기서 수식4에 대한 명명을 아래와 같이 하고 있습니다. P(B|A) : 사후 확률(Posterior) P(B) : 사전 확률(Pr..

목차 파이썬으로 다항식 미분하기 미분식을 파이썬으로 구할 때 sympy 라는 라이브러리를 이용하면 쉽게 구할 수 있습니다. 아래 예제를 통해 쉽게 이해해보도록 하겠습니다. 수식1을 미분하는 코드는 아래와 같습니다. 예제 코드>> import sympy as sp x = sp.Symbol('x') y = (x-7)*(x+36.2) print(sp.diff(y,x)) 3번 라인: x라는 변수에 대해 미분을 하기위해 symbol 함수로 x를 설정합니다. 4번 라인: 전체 수식을 정의합니다. 6번 라인: 미분 함수 diff를 넣고 식과 미분할 변수를 입력값으로 넣어 줍니다. 결과>> 2*x + 29.2 이번 예제는 아래와 같이 다항식에 또다른 다항식을 나눠서 일반적으로 구하기 힘든 형태의 미분 식을 만들었습니다..

목차 마르코브(Markov Chain) 체인이란? 마르코브 체인은 통계적(Stochastic) 모델로 다음 상태의 사건이 발생할 확률에 대해 정의 합니다. 마르코브 체인을 설명할 때 중요한 요소는 아래의 두가지 입니다. 현재 상태(Current State) 다음 행동(Next Action) 마르코브 체인의 핵심은 각 이벤트의 확률은 이전 상태(State)에만 영향을 받는 다는 것입니다. 이것이 가능한 이유는 현재 상태가 과거의 확률적인 정보를 다 포함하고 있기 때문입니다. 예를 들어 위 그림1과 같이 음식을 먹을 확률이 정해져 있을 경우 현재 상황이 3월 20일인 상태(State)로 가정하고 20일에 한식을 먹고 3월 21일에 한식을 먹을 확률을 행렬로 표현하면 아래와 같습니다. 그림2의 행(Row)이 ..

목차 해당 포스트(Machine Learning)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. Machine Learning 로지스틱회귀란?(What is Logistic Regression?) 앞서 퍼셉트론(Perceptron)에 대해 살펴 보았습니다(https://scribblinganything.tistory.com/674). 퍼셉트론이란 활성화 함수에 스텝 함수를 넣어서 -1 아니면 1이 되게 출력을 하였습니다. 로지스틱 회귀는 퍼셉트론과 유사한데 활성화 함수에 넣는 값이 Step Function이 아닌 시그모이드 함수(Sigmoid Function)를 넣어서 출력을 처리 합니다. 위 그림과 같은 형태가 시그모이드 함수의 그래프 입니다. 그..

해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. [선형대수학] 행렬의 Rank란? (Matrix) 행렬에서 rank의 의미는 행렬이 가지는 독립적인 Column이나 Row의 수를 의미 합니다. 독립(Independent)의 의미는 https://scribblinganything.tistory.com/676 포스트를 통해 참조 하시면 됩니다. 독립적인 벡터가 결국 표현할 수 있는 차원의 수를 의미 했습니다. 그렇기 때문에 독립적인 Column의 수는 Rank이고 Rank의 개수가 Column Space를 표현하는 차원의 수를 의미 합니다. 예를 들어 알아보겠습니다. 위 수식1의 독립 Column 벡터의 수는 앞서..

목차 해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. 직교행렬(Orthogonal Matrix)이란? 위 벡터(Vector)들은 Orthonormal 벡터라고 불립니다. Orthonormal은 서로가 직각을 이뤄서 Orthogonal 하고 Normalized 되어서 크기가 1인 벡터를 의미 합니다. Orthogonal 행렬이란 이러한 Orthonormal 한 벡터를 모은 행렬을 의미합니다. 위 수식1로 직교행렬을 만들면 위 수식2와 같이 만들 수 있습니다. 역행렬(Orthogonal)과 항등행렬(Identity)이란? 수식3과 같이 어떤 함수에 항등행렬을 곱하면 자기 자신이 나오게 만들어 주는 행렬을 항등행렬이..

목차 파이썬 Tensorflow의 MNIST 이란? 앞서 포스트에서 데이터셋(Dataset)에 대해 알아보았습니다. MNIST는 텐서플로우(Tensorflow) 라이브러리에서 제공하는 데이터셋 입니다. 위와 같은 손으로 쓴 듯한 숫자 정보를 MNIST에서 가지고 있습니다. 그래서 해당 데이터를 이용해서 머신러닝(Machine Learning) 사용자들은 학습을 통해 해당 숫자를 구분하는 연습을 할 수 있습니다. 그리고 MNIST는 Modified National Institute of Standards and Technology 의 약자로 해당 기관에서 이미지 프로세싱(Image Processing) 학습을 위해 데이터를 제공 합니다. 위 그림과 같은 흑백의 경우 하나의 픽셀이 0~255의 값을 가지고 ..

목차 Machine Learning 데이터 세트(Dataset)란? 기계학습의 핵심은 데이터를 통해 학습을 하기 때문에 데이터란 기계학습의 근간이라고 할 수 있습니다. 머신러닝을 사용하는 사용자들 간에 데이터의 통일을 위해 암묵적인 합의에 대해 얘기할까 합니다. 데이터 셋은 아래의 2가지 요소로 크게 분류 할 수 있습니다. 행(Row) : Example 열(Column) : Features 아래의 간단한 예제를 통해 쉽게 이해할 수 있습니다. 녹색에 해당하는 행 부분이 예제(Example)이고 열로 표현되는 노란색 부분이 특징(Feature)을 의미합니다. 일반적인 데이터 셋이 그림1과 같이 구성됩니다. 그렇지 않은 경우도 가끔 있으니 데이터셋을 사용하실때 항상 데이터를 확인하셔야 합니다. 그림으로 표현..

목차 Machine Learning이란? 분류 하기 위키피디아에서는 위 그림과 같이 AI > ML > Deep Learning 으로 관계를 정의합니다. 머신 러닝이라 함은 1959년에 Samuel에 의해 아래와 같이 정의합니다. Machine Learning: field of study that gives computers the ability to learn without being explicitly programmed 즉, 프로그램된 동작이 아닌 스스로 학습해서 행동하는 것을 머신 러닝이라고 합니다. 그 뒤에 Tom Mitchell 이라는 분이 1988년에 3가지 요소로 머신러닝을 다시 정의하였습니다. Learn from Experience With respect to some class of Ta..

해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. [선형대수학]선형 독립이란? 직교와의 차이 수식1과 같이 선형 조합(Linear Combination)으로 표현한 벡터(Vector)의 합이 0이되지 않는 조합으로만 이루어 진다면 이는 선형 독립 벡터(Linearly Independent Vector)라고 합니다. 예를 들어 수식2와 같은 벡터는 스칼라를 1과 -1/3으로 곱해서 더하면 0이기 때문에 선형독립이 아닌 벡터 입니다. 수식3과 같은 경우는 스칼라(Scalar) 값을 바꿔도 0을 만들 수 없기 때문에 x, y 벡터(Vector)는 선형 독립입니다. 선형 독립과 직교의 차이와 특성 그림과 같이 a, c와..

해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. 행렬(Matrix) 곱셈의 의미 : 내적(Dot Product) X와 Y라는 행렬이 있습니다. X는 1 x n의 행벡터 x1~xn으로 구성되어 있습니다. Y는 n x 1의 열벡터 y1~yn으로 구성되어 있습니다. XY의 행렬곱은 수식1과 같이 정의 됩니다. 곱에 의한 수식을 보면 앞서 내적에서 공부한 내적 수식의 형태로 표현이 될 수 있음을 알 수 있습니다(https://scribblinganything.tistory.com/671). 즉, 행렬의 벡터들은 서로의 상관 관계를 알려주는 내적으로 곱이 표현됨을 알 수 있습니다. 행렬(Matrix) 곱셈의 의미 : R..

목차 해당 포스트(Machine Learning)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. Deep Learning 퍼셉트론(Perceptron)이란? 앞서 포스트에서 신경망(NN, Neural Network)에 대해 알아보았습니다(https://scribblinganything.tistory.com/672). 해당 도식은 단순히 입력의 합을 출력으로 보내주었습니다. 퍼셉트론(Perceptron)은 기존의 입력이 출력으로 가는 활성화 함수(Acitivation Function)에 Step 함수와 같은 값을 넣어서 입력이 음수이면 -1을 양수이면 +1을 출력 해줍니다. 퍼셉트론(Perceptron)을 사용하는 이유(목적)은 0, 1과 같이 Dis..

목차 해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. Norm(놈)이란? 저희가 벡터(Vector)의 길이를 잴 때 사용하는 Norm은 2-Norm, L2-Norm 이라고도 부릅니다. 위와 같이 x벡터의 Norm은 아래와 같이 구할 수 있습니다. 위 수식1과 같이 2의 제곱으로 표현되기 때문에 2-Norm 이라고도 불립니다. 그리고 일반적인 벡터의 크기는 2-Norm으로 구해집니다. 수식1과 같이 절대값 아래에 2를 넣거나 생략이 가능 합니다. 1-Norm, P-Norm, Infinity-Norn 이란? 1 Norm은 수식1에서 2를 단순히 1로 바꾸기만 하면 됩니다. 위 수식2를 참조하시면 됩니다. 동일한 방..

목차 해당 포스트(Machine Learning)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. 인공 신경망(ANN, Artificial Neural Network)이란? 위와 같이 몸무게 데이터와 수명과의 관계알려주는 데이터를 그림1과 같이 모았습니다. 이때 몸무게 데이터는 x값으로 그리고 수명 데이터는 y 데이터로 표기 해줍니다. 이를 선형대수학의 행렬(Matrix)과 벡터(Vector)로 표현하면 아래와 같습니다. 최종적으로 Loss 함수를 최소화(https://scribblinganything.tistory.com/670) 하는 x벡터 값을 찾는 것이 머신 러닝의 모델링 방법인 것입니다. 그리고 수식2와 같이 a, b 변수를 찾는 선형식이기 ..

목차 해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. 내적이란?(Dot product) 수식은 위와 같이 간단합니다. 예를 들어 [1 3], [2 4] 벡터의 내적은 위 수식에 따르면 2+12= 14가 됩니다. 내적의 의미에 대해 살펴 보겠습니다. 벡터의 크기를 알려 줄때는 위 수식2와 같이 || || 로 표기 합니다. 위 수식 2는 고등학교때 나오는 수식으로 좌표계에서 임의의 벡터에 대해 그려보면 수식2와 같이 증명이 됨을 알 수 있습니다. 수식2는 수식3으로 설명이 됩니다. x크기에 cosΘ를 곱한 것은 위 그림에서 노란선의 점선과 마주치는 곳까지의 y벡터 값이 됩니다. 즉 내적의 수식을 통해 의미를 살펴 ..

목차 해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. 선형 회기 Loss 함수 최소 값 찾기 앞서 포스트에서 선형회기(Linear Regression)에 대해 알아보았고(https://scribblinganything.tistory.com/668) 회기 모델을 만들기 위해 위 수식1을 최소화 하는 것이 데이터를 대표하는 모델이라는 것에 대해 확인하였습니다. 수식1은 Loss Function으로 2차 방정식입니다. f(x) 값이 작을 수록 loss 가 작아지는 것입니다. 찾고 싶은 값은 x 벡터(vector) 값입니다. 여기서 a는 기울기 b는 절편의 값입니다. 나머지 y벡터와 A 행렬은 이미 알고 있는 데이터 ..