xml파일을 json으로 변환하기

서울시 공공데이터의 '서울시 부동산 실거래가 정보' 데이터를 가지고 xml파일을 json파일 변환.

 

- 우선 라이브러리를 임포트하고 URL을 req에 전달

 

- json 파일 불러오기

- 크롤링의 목표는 데이터 프레임으로 변경하는 것

 

- 맨 앞에 문자열이 키 값이므로 tbLnOpendataRtmsV을 제거하고 반환

json파일은 손쉽게 데이터 프레임으로 반환이 가능한 것을 확인 할 수 있다.

 

xml파일은 동일한 URL에서 파일 형태만 xml로 변경하면 얻을 수 있다.

 

- xml 파일 불러오기

point💡html과 유사한 형태로 반환되어 soup 객체로 변환이 필요하다.

 

 

이제 soup 객체로 변환한 내용을 데이터 프레임으로 만들 수 있다.

01. 

 

02. 

 

위 코드들을 통해 확인 할 수 있듯이 xml URL을 데이터 프레임으로 만드는 것은 json URL보다 어려울 때가 존재한다.

그렇다면 이렇게 복잡한 xml URL을 어떻게 json URL로 변환할 수 있을까?

 

01. xmltodict을 이용하기

우선 xmltodict 라이브러리를 임포트 한다.

 

xmltodict.parse()를 사용 > 데이터 프레임 생성

 

xmltodict은 xml파일을 변환할 때도 사용 가능하다.

xml 파일을 열고

contents = xmltodict.parse(req.text)에서 contents = xmltodict.parse(xml_file.read())로 변경해 사용.