목록JavaScript (6)

YOGYUI

웹크롤링 - 한국환경공단(에어코리아) 측정소 정보 가져오기

앞서 공공데이터포털에서 대기오염정보를 조회하는 예시를 작성해봤는데(링크), API의 서비스 중 "측정소별 실시간 측정정보"를 호출하기 위해서는 '측정소 이름'을 정확히 기재해야 결과가 제대로 나왔다 API 명세서에 측정소 이름에 대한 정보는 없으며, 에어코리아 홈페이지의 "측정소 정보"에서 지역별 측정소의 이름과 주소 정보를 확인할 수 있다 URL: https://airkorea.or.kr/web/stationInfo?pMENU_NO=93 전체 조회 후 엑셀로 저장하는 방법(a.k.a. 노가다)이 가장 보편적이겠지만, 간단한 자바스크립트 및 파이썬으로 스마트하게 자동화할 수 있다 1. 웹페이지 소스 확인 브라우저의 개발자 도구에서 제어하고자 하는 컨트롤들에 해당하는 태그들을 찾아보자 (구글 크롬: 단축키..
Data Analysis/Data Engineering 2022. 1. 13. 20:22
웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (Final)

Get Corporations List Classified by Sectors from DART(fss) [시리즈] 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (1) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (2) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (3) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (Final) 11. 기업 객체 정보 가져오도록 스크립트 수정 테이블에서 기업 이름 및 기업 고유 코드 (8자리 문자열), 섹터 id를 함께 가져오도록 javascript를 수정하도록 하자 [run_code.js] /* * 필요한 함수 선언 */ // jsTree 노드의 부모 노드들의 id와 text 어레이로 반환 function fnG..
Data Analysis/Data Engineering 2022. 1. 8. 21:15
웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (3)

Get Corporations List Classified by Sectors from DART(fss) [시리즈] 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (1) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (2) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (3) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (Final) 7. 업종에 기업이 존재하지 않을 경우에 대한 예외처리 전체 트리노드를 크롤링하다보니 미처 고려하지 못했던 문제를 발견했다 특정 업종의 경우 해당 업종에 속하는 기업이 아예 없는 경우가 있는데, 이 경우 테이블 아래의 페이지 탐색 태그 () 자체가 없어서 코드에 예외가 발생했다 앞서 javascript에서 함수 두 개를 다..
Data Analysis/Data Engineering 2022. 1. 8. 19:48
웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (2)

Get Corporations List Classified by Sectors from DART(fss) [시리즈] 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (1) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (2) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (3) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (Final) 4. 트리 노드 위계구조 파악 업종 정보 트리의 위계구조(hierarchy)를 함께 가져와야 나만의 서비스를 만들기 편하다 jsTree 노드 객체의 부모 노드의 정보는 객체 내부에 parents 속성으로 조회할 수 있다 예를 위해 '곡물 및 기타 식량작물 재배업' 최하위 노드에 접근해보자 var tree = $j("#bus..
Data Analysis/Data Engineering 2022. 1. 7. 20:22
웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (1)

Get Corporations List Classified by Sectors from DART(fss) [시리즈] 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (1) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (2) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (3) 웹크롤링 - DART 기업개황 업종별 기업 리스트 가져오기 (Final) 주식 투자할 때, 뉴스나 소셜미디어 혹은 입소문 등으로 유망한 업종(섹터)을 알게되면 해당 업종에서 활동하는 기업들을 리스트 업한 뒤에 성장가능성이 높은 종목을 택해서 투자하는게 아주 일반적인 프로세스다 업종별 기업 리스트는 각 증권사 HTS나 MTS 앱을 통해 쉽게 알아볼 수 있고, 포털사이트나 증권 정보 사이트 등에서도..
Data Analysis/Data Engineering 2022. 1. 6. 23:54
웹크롤링 - 금융감독원 전자공시시스템(DART) 특정일자 공시문서 전체 리스트 크롤링

금융감독원의 전자공시시스템(DART) 홈페이지(https://dart.fss.or.kr/)에서 '최근공시' 메뉴를 활용하면 최근에 전자공시된 모든 유형의 문서를 확인할 수 있다 (시간 - 회사명 - 제출인 정보 제공) 기능은 '최근공시'이지만 검색하고자 하는 날짜를 선택할 수 있기 때문에 특정 요일에 공시된 모든 문서를 리스트업할 수 있다 글을 쓰고 있는 2021년 10월 1일 현재까지는 OpenAPI인 OPENDART로는 제공되지 않는 기능이기 때문에 DART 웹페이지에서 Python을 활용해서 크롤링하는 코드를 작성해보자 1. 웹구조 분석 1.1. URL 특정 날짜를 선택하면 URL이 다음과 같이 변경된다 https://dart.fss.or.kr/dsac001/mainY.do?selectDate=20..
Data Analysis/Data Engineering 2021. 10. 1. 13:52
이전 Prev 1 Next 다음