여행하는 코딩끄적끄적

목차 해당 포스트(Reinforcement Learning)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다. Q-Learning이란? Q Learning 이란 강화 학습 알고리즘(Reinforcement Learning Algorithm)으로 보상을 받기 까지의 모델이 없는 상태에서 확률적인 동작으로 보상까지의 Quality를 찾는 과정입니다. 예를 들어 경로를 알려 주는 지도가 없는 경우에 부산에서 출발하는 사람이 있다고 생각하겠습니다. 서울에 도착하면 100원을 원주에 도착하면 80원을 보상을 준다고 가정하겠습니다. 여기서는 A10을 서울, A20을 원주로 가정하겠습니다. 위 테이블은 도시를 하나씩 이동할 때마다 State가 변하고(시간의 흐름),..

목차 해당 포스트는 유투브 혁펜하임을 참조해서 작성하였습니다. Z 변환(Z Transform)이란? 수식 풀이 Z변환이란 앞서 라플라스 변환을 연속이 아닌 이산/불연속(Discrete)에서 처리하는 변환 방식입니다. 앞서 포스트에서 라플라스(Laplace) 변환은 기본 함수에서 시그마 지수가 포함된 값을 넣어서 해당 전달함수가 수렴되는 영역(ROC, Regions of Convergence)을 찾았습니다. 이와 마찬가지로 Z변환도 일반 이산 주파수 변환에서 아래와 같이 r^(-n)을 넣어서 수렴 영역을 찾아 줍니다. Z변환은 위와 같이 기존의 이산 푸리에 변환에서 오메가 변수 이외에 r이라는 변수를 가지는 변환입니다. r과 Ω 를 아래와 같이 정의를 합니다. 수식2를 수식1에 정의해서 Z 변환 수식을 아..

목차 해당 포스트는 유투브 혁펜하임을 참조해서 작성하였습니다. 라플라스 변환(Laplace Transform)이란? 라플라스 변환은 간단하게 설명 드리면 푸리에 변환(Fourier Transform)의 확장 버전입니다. 위 수식1은 푸리에 변환 수식입니다. 라플라스는 위와 같이 기존의 푸리에 변환에서 시그마(sigma, σ)를 지수로 추가해서 오메가의 식만이 아닌 시그마와 오메가의 식으로 만든 것입니다. s= σ+jω 로 변환해서 우리가 잘알고 있는 라플라스 변환 식을 위와 같이 만들 수 있습니다. 역푸리에변환에 앞서처럼 시그마 지수를 곱하고 위와 같이 전개 하면 역라플라스(Inverse Laplace) 변환에 대한 식을 수식4와 같이 구할 수 있습니다. 라플라스 사용 이유와 ROC(Region of C..

목차 해당 포스트는 유투브 혁펜하임을 참조해서 작성하였습니다. DFT Matrix(이산 푸리에 변환 매트릭스) 앞서 포스트에서 DFT(Discrete Fourier Transform) 전개에 대해 알아보았습니다(https://scribblinganything.tistory.com/653). 위 수식(1)에서 3개의 포인트 입력 값을 넣고 3개의 출력 값을 받는 형식을 행렬(matrix)로 만들어 보겠습니다. 3개의 입출력은 k=0, 1, 2 로 생각할 수 있습니다. 수식(1)을 3개의 입출력으로 행렬로 표현하면 위와 같습니다. Orthogonal Matrix 는 Orthonormal 한 벡터(Vector) 값을 Column으로 가지는 행렬을 의미합니다. 즉, 크기는 1로 만들고 서로 직교성을 가지게 만들..

목차 해당 포스트는 유투브 혁펜하임을 참조해서 작성하였습니다. 이산 푸리에 변환(DFT, Discrete Fourier Transform)이란? 제가 사용하는 분석장치가 주파수 변환해서 분석하는 장치인데 공업 수학 신호처리를 공부하게 된 근본적인 이유가 이번 포스트의 DFT(이산 푸리에 변환)과 FFT(Fast Fourier Transform)을 이해하기 위해서 였습니다. 앞 시간에 공부한 연속 시간 푸리에 변환(CTFT, Continuous Fourier Transform)은 연속(Continous)한 측정 입력 값을 연속적(Continous)인 출력 주파수로 변환하였습니다(https://scribblinganything.tistory.com/644). 그리고 다음으로 이산 시간 푸리에 변환(DTFT,..

목차 해당 포스트는 유투브 혁펜하임을 참조해서 작성하였습니다. 이산 시간 푸리에 변환(DTFT) 수식 전개하기 앞장에서 이산 시간 푸리에 시리즈(Discrete Time Fourier Series, DTFS)의 수식 및 전개 방식에 대해 알아보았습니다. 이번에는 앞서 DTFS의 계수를 통해 DTFT를 구하는 방법에 대해 알아보겠습니다. 수식(1)은 푸리에 시리즈(Discrete Time Fourier Series, DTFS) 계수에서 1/N을 계수쪽으로 넘긴 수식입니다. 변환과 시리즈의 차이는 변환은 비주기(Non periodic, aperodic) 함수까지 신호를 처리할 수 있다는 점입니다. 즉, 수식(1)에서 N 값을 무한대로 보내 보겠습니다. 이때 발생하는 일과 조건을 아래와 같이 걸겠습니다. 1...

목차 해당 글은 유투브 혁펜하임을 참조해서 작성했습니다. 이산 시간 푸리에 시리즈란(Discrete Time Fourier Series, DTFS)? 앞서 연속 시간 푸리에 시리즈는 테일러 시리즈와 유사하게 사인 함수의 합으로 수식(1)과 같이 표현 됨을 알아보았습니다. 그리고 푸리에 시리즈의 계수(coefficient) 값은 오일러 함수가 서로 직교성(orthogonality)을 가지는 성질을 이용해서 내적을 통해 유도 해냈습니다https://scribblinganything.tistory.com/634. 이산 푸리에 시리즈(Discrete Time Fourier Series, DTFS)도 유사하게 구할 수 있습니다. 우선 DTFS를 표현하기 위해 주기를 표현 해야하는데 이산 도메인은 CTFS에서 ω를..

목차 해당 포스트는 유투브 혁펜하임을 참조해서 작성하였습니다. 미분식 dx(t)/dt 푸리에 변환(Fourier Transform)하기 미분식 dx(t)/dt를 푸리에 변환 수식으로 전개해서 푸는 방법 보다는 역푸리에변환(Inverse Fourier Transform)을 이용해서 쉽게 풀이할 수 있습니다. 수식(1)은 역푸리에 변환 수식입니다. 푸리에 변환은 1대1 변환이 가능하기 때문에 역푸리에 변환값을 구하면 변환 전 값을 알 수 있습니다. 수식(1)을 t에 대해 미분하겠습니다. 수식(1)의 우변은 오메가(ω)로 적분 되기 때문에 오일러 지수의 t 부분만 미분을 하면 됩니다. 수식(2)에서 빨간색 부분이 미분식에 1대1 매칭이므로 미분식에 대한 푸리에 변환 값은 jwX(w)가 됩니다. 미분식 dx(t..

목차 공분산(Covariance)이란? 두 개의 확률 변수 사이에 상관성을 방향과 크기로 표현하는 방식입니다. 수식(1)과 같이 각 i 포인트에서 x와 y 값이 평균에서 떨어진 정도를 곱한 값입니다. x, y의 편차 정도가 비슷할 수록 곱에 의한 값이 커집니다. 그리고 편차의 방향이 하나는 양수 하나는 음수일 경우 방향은 반대로 표기 되고 같은 방향으로 진행되면 양수로 표기 됩니다. 예를 들어 한 학급에서 학생의 키와 몸무게를 측정하고 키와 몸무게의 공분산을 확인할 경우 전체 키 평균은 170cm이고 몸무게가 68kg 일때 A학생의 키가 175cm이고 몸무게가 70kg이면 (175-170) x (70-68) 을 계산해서 다른 학생들과 합해 주는 것이 공분산입니다. 위 그림(1)과 그림(2)를 비교하면 그..

목차 해당 포스트는 유투브 혁펜하임을 참조해서 작성하였습니다. 이번 내용은 주로 사용하는 함수의 푸리에 변환 값을 확인해 보겠습니다. 푸리에 변환은 아래 수식(1)과 같습니다. 변환 방법은 링크를 참조하시면 됩니다(https://scribblinganything.tistory.com/635). 델타함수(Delta Function, Impulse Fuction) 푸리에 변환 δ(t) 함수는 위와 같이 0에서 임펄스(Impluse)인 신호 입니다. 이를 푸리에 변환(Fourier Transform)을 하게 되면 아래와 같습니다. 무한대 적분이라도 나머지 구간에서는 0이고 0에서 무한대 임펄스 적분이므로 해당 값은 1이 됩니다. 즉, 모든 주파영역에 1의 값을 가집니다. x(t-t0)함수 푸리에 변환 역푸리에..