티스토리

XXIV :: Developer
검색하기

블로그 홈

XXIV :: Developer

xxiv.tistory.com/m

XXIV Developer

구독자
0
방명록 방문하기

주요 글 목록

  • N사 뉴스 스크래핑 - 유지보수(411 에러) 갑자기 스크랩이 안 되면서 HTTP 411 에러가 발생했다 스크랩은 잘 되다가도 어느날 실행해보면 4xx 에러가 자주 발생하는데, 이유는 보통 추가된 요청 데이터이다 무슨 말인지 싶겠지만 말 그대로 HTTP Request에 body부분 데이터가 추가된 것이다 우선 의심가는 부분에 중단점을 걸고 디버깅을 시도했다 200(정상)을 받아야 했으나 411 응답을 받은 것을 알 수 있다 보통 4xx번대 에러는 Client단에서의 요청 에러이기 때문에 요청에 문제가 있는지부터 확인하면 된다 그럼 상태코드 411이 무엇인지 알 필요가 있다 그렇다면 어떻게 알 수 있냐? 에러에 관련해서 검색하면 되죠 다 나오는데. 간단히 말하면 콘텐츠 길이(Content-Length) 헤더없이 요청을 보냈으니 서버는 수락하지 않는다는.. 공감수 2 댓글수 0 2022. 9. 29.
  • N사 뉴스 스크래핑 N사의 뉴스를 스크랩하여 원하는 결과를 추출해봤다 개발환경과 사용언어는 다음과 같다. 개발환경 사용 언어 및 도구 통합개발환경 인텔리제이 프레임워크 스프링부트 언어 및 라이브러리 자바, ojdbc8, json, selenium, thymeleaf, js, jquery 등 DBMS X 주 기능 소개 및 로직 설명 1. 입력 키워드를 통해 결과를 추출(콤마를 구분으로 여러단어 검색도 가능, 현재 키워드 검색 기준은 제목으로 세팅함) 2. 카테고리를 전체 또는 각 분야별로 설정해서 특정 분야만 스크랩도 가능 3. 제목 클릭 시 해당하는 뉴스 본문으로 사이트 이동 4. 게시일자를 오름차순, 내림차순 정렬 5. 파일 다운로드 : 결과물을 확장자 html로 내려받는다 (그냥 body 긁어오는거라 별 거 없음) 요즘.. 공감수 0 댓글수 0 2022. 9. 28.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.