목록BeautifulSoup (7)

YOGYUI

공공데이터포털::대기오염정보 조회 (REST API)

공공데이터포털에서 전국의 대기오염정보를 가져와보자 공공데이터포털 관련 글을 많이 쓰다보니 서론 쓰는 것도 힘들다 1. API 활용신청 정식 데이터 타이틀은 "한국환경공단_에어코리아_대기오염정보" URL: https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk=15073861 2020년 12월에 공공데이터포털에 등록되었는데, 8000건이 넘게 활용신청된 아주 따끈따끈하고 핫한 API !! 미세먼지가 1년 내내 우리를 괴롭히니 어쩔 수가 없는건가 ㅠㅠ API 활용신청(방법은 링크 참고)하고 인증키 획득 인증키를 메모장에 복사해두자 2. API 명세 확인 API 명세서는 워드 문서로 제공되는데, 상세하게 기입되어 있어 문서 한장만으로도 충..
Data Analysis/Data Engineering 2022. 1. 12. 20:22
공공데이터포털::전기차 충전소 운영정보 조회 (REST API)

공공데이터포털 Open API 목록을 훑어보던 중, 한국전력공사에서 제공하는 '전기차 충전소 운영정보'가 있어서 한번 구현해봤다 내년에 새 집 입주할 때 잔금 다 치르고 자금상황이 좀 안정화되면 전기차 한 대 뽑을까 계획중인데, 충전소 관련된 어플을 직접 만들어볼까 고민중~ 1. 공공데이터포털 API 활용신청 데이터 타이틀은 "한국전력공사_전기차 충전소 운영정보", URL은 아래 링크 참고 https://www.data.go.kr/iim/api/selectAPIAcountView.do API 활용신청(방법은 링크 참고)하고 인증키 획득 서비스 URL: http://openapi.kepco.co.kr/service/EvInfoServiceV2/getEvSearchList 요청 변수는 다음과 같다 특정 주소..
Data Analysis/Data Engineering 2021. 6. 25. 10:06
공공데이터포털::공휴일 데이터 조회 (REST API)

회사에서 사원별 공수(Man Hour) 관리 프로그램을 하나 만들었는데, 공휴일에는 입력이 안되게 만드는 기능이 필요하게 됐다 파이썬 써드파티 라이브러리 종류도 몇 개 있어 찾아봤는데, 중국의 국경일을 기반으로 한국의 실정에 맞게 변환해야 하는 경우가 대부분이라 번거로울 뿐만 아니라 대통령 선거같은 이벤트나 임시공휴일은 유저가 따로 입력해야 하는 불편함이 있다 확실한 건 웹크롤링인데, (ex: 주식시장 개장일) 공공데이터포털에서도 API 몇 개가 공개되어 있어서 그 중 한개를 사용하도록 했다 1. 공공데이터포털 API 활용신청데이터 타이틀은 "특일 정보", URL은 아래 링크 참고https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk..
Data Analysis/Data Engineering 2021. 4. 3. 22:28
Python::folium - 빅데이터분석기사 필기시험 고사장 위치 지도시각화

1. Introduction 지난 2월 24일 빅데이터분석기사 필기시험 1회 응시 접수자를 대상으로 2회 시험 고사장 우선 변경 이벤트가 있었다 (1회 시험은 코로나19 확산때문에 취소됐었는데... 2회도 무사히 치러질지도 의문 ㅠ) www.dataq.or.kr/www/board/view.do?bbsKey=eyJiYnNhdHRyU2VxIjoxLCJiYnNTZXEiOjUwODA1MX0=&boardKind=notice 데이터자격시험 www.dataq.or.kr ※ 경기 지역 거주자들은 서울에서 치뤄야만 하는 슬픈 현실... 수원에서 제일 가까운 수험장을 찾아야하는데, 사이트가 제공하는 웹 UI는 한번에 하나의 고사장만, 그것도 아주 좁은 지역만 확대된 채로 보여줘서 (줌아웃도 안된다...뭔 API를 쓴거야...
Data Analysis/Data Engineering 2021. 2. 26. 22:44
공공데이터포털::코로나19 감염현황 데이터 조회 (REST API)

공공데이터포털에서 국내 코로나19 감염현황에 대한 데이터를 얻어보자 (OpenAPI 실습) 데이터 타이틀은 "보건복지부_코로나 19 감염_현황"이고 URL은 아래 링크를 참고 www.data.go.kr/data/15043376/openapi.do RESTful API로 호출하여 XML 포맷으로 데이터를 받아볼 수 있을 것 같다 1. 데이터 활용신청 로그인 후 페이지 내 "활용신청" 버튼을 클릭 후 개발계정 신청서를 작성하자 승인되면 다음과 같이 API가 활용가능한 것으로 디스플레이된다 (원래 사용하는 계정은 신청/활용건수가 너무 많아 포스팅을 위해 계정을 새로 하나 만들었다...) 개발계정 상세보기로 가면 실제 API에서 사용해야 할 Key (일반 인증키)를 얻을 수 있다 Key값 (일반인증키)는 API..
Data Analysis/Data Engineering 2021. 2. 22. 11:55
Python::BeautifulSoup - 동행복권 연금복권720+ 당첨번호 크롤링

[ Web Crawling (Python) ] 지난 포스트에서 동행복권 로또6/45 당첨번호를 웹크롤링해봤다 yogyui.tistory.com/entry/PythonBeautifulSoup-%EB%A1%9C%EB%98%90-645-%EB%8B%B9%EC%B2%A8%EB%B2%88%ED%98%B8-%ED%81%AC%EB%A1%A4%EB%A7%81 Python::BeautifulSoup - 동행복권 로또 6/45 당첨번호 크롤링 [ Web Crawling (Python) ] 동행복권 사이트에서 로또 6/45 역대 당첨번호들을 크롤링한 뒤 DB에 저장해보자 동행복권 메인 사이트 동행복권 당첨번호 3 4 15 22 28 40 보너스번호 10 1등 총 당첨금 263억원(8명 yogyui.tistory.com 메인..
Data Analysis/Data Engineering 2021. 2. 21. 22:28
Python::BeautifulSoup - 기상청 '도시별 현재날씨' 크롤링

[ Web Crawling (Python) ] 기상청 날씨누리 사이트의 '도시별 현재날씨' 정보를 pandas DataFrame 객체로 저장해보자 www.weather.go.kr/weather/observation/currentweather.jsp 도시별 현재날씨 > 지상관측자료 > 관측자료 > 날씨 > 기상청 홈 > 관측자료 > 지상관측자료 > 도시별 현재날씨 |날씨|관측자료|지상관측자료|도시별 현재날씨 기상실황표2021.02.07.16:00 기상실황표 강릉 6.6 7.1 1.9 4.7 70 북서 1018.9 강진군 4.0 12 www.weather.go.kr 1. HTML GET requests 라이브러리를 사용해 해당 url의 html을 가져온다 import requests from bs4 impo..
Data Analysis/Data Engineering 2021. 2. 7. 16:33
이전 Prev 1 Next 다음