반응형

파이썬 111

[Python] 정규표현식으로 파일(XML, txt, html) 내용 검색(필터)하기 (re, match, compile, finditer)

목차 이번 포스트에서는 정규표현식(Regex)을 사용해서 텍스트 파일이나 웹문서(html, xml) 파일을 검색(search)해서 필터링(filtering) 하는 방법에 대해 알아보겠습니다. 파일 검색에 필요한 정규표현식 함수 파일 검색에 사용할 정규표현식 함수는 아래와 같습니다. re.compile(정규표현식) re.finditer(compile 출력값, 문장) compile은 정규표현식을 입력으로 받습니다. 그리고 출력된 값을 변수에 저장하고 finditer 함수의 입력값으로 넣어주면 두번째 인자값인 문장에서 해당 정규표현식에 맞는 조건을 찾고 있으면 검색 결과를 출력 해줍니다. 실제 사용 방법은 아래 예제를 통해 쉽게 이해하실 수 있습니다. 미세먼지 데이터파일(XML) 검색하기 예제 예제를 실행하기..

[Python] RE 모듈로 미세먼지 데이터 필터링하기(정규표현, 특수문자)

목차 미세먼지(PM10, PM25) 정보 가져오기 앞서 포스트에서 미세먼지 정보를 공공 데이터 포털에서 API를 사용해서 가져오는 방법에 대해 알아보았습니다. (https://scribblinganything.tistory.com/530) 상세 내용은 링크를 통해 확인하시면 됩니다. 결과는 아래와 같이 나왔습니다. 이번 포스트는 아래 결과를 사용해서 파이썬에서 제공하는 정규표현 함수 re 함수를 사용해서 원하는 결과를 가져오는 방법에 대해 알아보겠습니다. 미세먼지 결과>> 00 NORMAL_CODE 1 72 0.003 0.4 2 27 2 24 서울 1 2 2022-05-30 08:00 1 0.019 중구 1 0.040 #####생략##### 100 1 40 정규표현라이브러리 RE 기본 사용법(REGEX)..

[Python] 공공데이터포털에서 미세먼지 데이터 가져오기(크롤링, fine dust, API, 파이썬)

목차 이번 시간에는 파이썬을 사용해서 공공데이터 포탈의 API에 접속해서 미세먼지 정보를 가져오는 방법에 대해 알아보겠습니다. API(Application Programming Interface) 란? API란 데이터회사나 웹서버(Web server) 회사에서 제공하는 리모콘과 같은 것입니다. 사용자는 리모콘의 동작 방법을 이해하지는 못하지만 리모콘을 통해서 웹 서버 회사가 제공하는 데이터를 손쉽게 접근할 수 있게 되는 것입니다. 여기서 공공데이터 포탈은 API를 통해 미세 먼지 정보를 손쉽게 제공 합니다. 공공데이터포탈에서 API 요청하기 우선 구글에서 공공데이터포털로 검색하거나 https://www.data.go.kr/ 에 접속합니다. 정부기관 홈페이지므로 go.kr로 끝나는지 꼭 확인하시길 바랍니다..

[Python]OpenCV 픽셀 처리 함수: add, subtract, multiply, divide

목차 앞서 이미지(image)나 동영상(video) 파일을 읽어서 불러온 이미지는 픽셀(pixel)의 BGR(Blue, Green, Red) 값으로 구성 됨을 확인하였습니다. (https://scribblinganything.tistory.com/493) 이번 포스트는 픽셀을 비교 (연산) 분석할때 사용하는 주요 함수에 대해 알아보겠습니다. 함수는 더하기, 빼기, 곱하기 나누기 입니다. 함수 사용에 앞서 race_car.jpg 라는 그림 파일을 불러서 동일 사이즈로 BGR이 100, 100, 100인 그림을 만들어서 해당 그림과 비교하는 형식으로 예제를 실행하겠습니다. 예제 코드>> import numpy as np import cv2 img = cv2.imread("race_car.jpg") base_..

[Python]OpenCV 픽셀 처리 함수:max,min,absdiff,compare

목차 앞서 이미지(image)나 동영상(video) 파일을 읽어서 불러온 이미지는 픽셀(pixel)의 BGR(Blue, Green, Red) 값으로 구성 됨을 확인하였습니다. (https://scribblinganything.tistory.com/493) 이번 포스트는 픽셀을 비교 (연산) 분석할때 사용하는 주요 함수에 대해 알아보겠습니다. 함수 사용에 앞서 race_car.jpg 라는 그림 파일을 불러서 동일 사이즈로 BGR이 100, 100, 100인 그림을 만들어서 해당 그림과 비교하는 형식으로 예제를 실행하겠습니다. 예제 코드>> import numpy as np import cv2 img = cv2.imread("race_car.jpg") base_pixel = np.full(img.shape,..

[Python] Numpy 배열 값 채우기(1차, 2차, 3차 ....)

목차 파이썬 넘파이 행렬 어레이 채우기 행렬(Matrix) array 값을 채우는 방법은 간단합니다. 주로 full 과 fill 함수를 사용해서 채웁니다. fill 함수의 경우 empty 함수를 사용해서 비우는 작업을 하기 때문에 간단한 full로 설명을 대체 하겠습니다. full 함수의 Syntax는 아래와 같습니다. matrix = np.full((행렬사이즈 정보),넣을 값,dtype=데이터 종류) 아래 예제 코드를 통해 쉽게 이해해 보겠습니다. 예제 코드>> import numpy as np matrix = np.full((4),7,dtype=np.uint16) print("1차 행렬") print(matrix) matrix = np.full((3,4),7,dtype=np.uint16) print(..

[Python] 키보드(keyboard) 이벤트(event) 값 읽기

목차 파이썬 키보드 값 클릭 확인 함수 is_pressed 파이썬(Python)의 키보드 값을 입력하면 입력에 대응해서 뭔가를 처리하고 싶을 때가 있습니다. 이러한 이벤트(event)를 감지하기 위해 필요한 라이브러리가 keyboard 입니다. 만일 keyboard 라이브러리가 없다면 pip install keyboard로 먼저 설치를 하시길 바랍니다. 키보드를 통해 입력한 값이 맞는지를 확인하는 함수는 is_pressed 입니다. 아래 예제 코드를 보시면 쉽게 이해할 수 있습니다. 예제 코드>> import keyboard while True: if keyboard.is_pressed("1"): print("hello") break 4번 라인: 키보드 1버튼을 클릭하면 if 문 실행 결과>> 코드 실행..

[Python]OpenCV imread함수 사용법, 옵션(Option), 예제

목차 OpenCV imread함수 사용법 파이썬의 cv2.imread 함수는 이미지(image)파일을 읽을 때 사용하는 함수 입니다. 이미지 파일은 Numpy arrary 형태로 숫자 값들이 넘어오고 이 숫자가 해당 위치에서의 색을 의미 합니다. cv2.imread 는 기본적인 기능은 이미지 파일을 읽는 것이지만 내부에 많은 Option 들이 있어서 사용 방법을 알아야 활용도를 높일 수 있습니다. 이번 포스트에서는 다양한 예제를 통해 이미지파일을 불러오는 것 이외에 다양한 기능에 대해 알아 보겠습니다. cv2.imread(파일명, 옵션 값) 파일명에는 이미지 파일의 경로와 파일명을 입력 합니다. 저는 코드와 동일 폴더에 이미지 파일을 넣을 예정으로 파일 경로를 입력하지 않습니다. 옵션 값으로는 아래와 같..

[Python]Pandas 인덱스, 행/열 이름 List로 출력하기(Index, Value, Name)

목차 [Python]Pandas 인덱스, 행/열 이름 출력하기(Index, Value, Name) loc를 통해서 Pandas의 dataframe, series의 값을 출력 했습니다. 이번 포스트에서는 index 명이나 Column 최상단의 값을 list로 추출하는 방법에 대해 알아 보겠습니다. 출력 방법은 간단합니다. 아래 함수를 사용해서 출력 하면 됩니다. index : 인덱스 값을 불러 옵니다. values : dataframe 값을 불러 옵니다. columns : 열의 헤더(Header)값을 불러 옵니다. to_list : 불러 온 값을 리스트로 바꿔줍니다. 예제 코드- Index값>> import pandas as pd df = pd.DataFrame({ "name" : ["James", "Ja..

[Python] Pandas CSV 파일 읽기 (에러 발생/해결)

목차 파이썬 판다스로 CSV 파일 읽기 문제 발생 이번 포스트는 어떤 프로그램을 통해서 데이터를 저장하였고 저장은 csv file로 하였습니다. 데이터 분석을 위해 pandas dataframe을 사용하려고 하는데 csv 를 불러 오는 과정에서 에러가 발생하였습니다. 해결 방법에는 2가지가 있는데 아래에서 소개하겠습니다.(CSV file to dataframe/series)) 우선 아래 예제 코드 처럼 pandas의 read_csv 함수를 사용해서 동일 폴더 안에 있는 csv file을 읽는 코드를 작성했습니다. 예제 코드>> import pandas as pd data = pd.read_csv('Driving_data_long.csv') print(data) 에러 코드>> Traceback (most ..

반응형