데일리로그C:
article thumbnail
Published 2022. 6. 28. 20:04
22.06.28(화) Python/Web_log

Project 나홀로 메모장

  ㄴ> flask, pymongo(DB저장), requests(크롤링), bs4 패키지 설치

 

* API 구성 > 조각기능 구현(필요한 기능 검증) > 뼈대 만들기 > POST, GET 요청

 

1. API 설계 : 어떤 기능이 필요하고, 어떤 순서로 구현 할건지 계획!

 1) 포스팅박스 : URL과 코멘트를 서버에 보내서 서버에서 그 데이터 저장하는 것

 

 2) 포스팅 API -  카드 생성(Create)

    (1) 요청 정보 

        --> 요청 URL = /memo, 요청 방식 = POST(why? 데이터 생성이므로)

        --> 요청 데이터 : URL, 코멘트

 

    (2) 서버가 제공할 기능

        --> URL의 meta태그 정보를 바탕으로 제목, 설명, 이미지URL를 스크래핑

        --> 이미지, 제목, 링크, 요약, 코멘트 정보를 모두 DB에 저장

 

    (3) 응답 데이터

        --> API가 정상적으로 작동하는지 클라이언트에게 알려주기 위해 성공 메시지 보내기 

             (JSON 형식) 'result' = 'success'

 

 3)  리스팅 API - 카드 보여주기(Read)

    (1) 요청 정보

        --> 요청 URL = /memo, 요청 방식 =GET(why? 데이터 조회이므로)

        --> 요청 데이터 : NO

 

    (2) 서버가 제공할 기능

        --> DB에 저장되어있는 모든 정보 가져오기

 

    (3) 응답 데이터

        --> 아티클들의 정보를 카드 만들어서 붙이기

             (JSON 형식) 'articles' : 아티클 정보

 

2. 조각기능 구현 : 필요한 기능(크롤링)을 작게 검증하는 단계 - 'meta' 태그 스크래핑

    --> meta 태그 : <head> 부분에 들어가는 눈으로 보이는(body) 것 외의 사이트 속성을 설명해주는 태그

    --> 해당 사이트 개발자 도구에서 HTML 생김새 살펴보기

    --> ex) 카카오톡 링크 공유하면 이미지(og:image), 타이틀(og:title), 요약(og:description)

 

   --> 파이썬 파일 만들기(이름 : meta_prac.py)

 

 1) meta_prac.py 기본 뼈대

<bash />
import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') # 여기에 코딩을 해서 meta tag를 먼저 가져와보겠습니다.

 

 2) print(soup)

<bash />
import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') print(soup) ----RUN----> 링크 내용 잘 나옴

 

 3) print(title, image, desc)

   --> bs4 메타태그의 경우 : ' meta[ property="og:title" ]' 로 사용

<bash />
import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') title = soup.select_one('head > meta:nth-child(9)') print(title) ------RUN------> None

       ㄴ> 안나오는 이유 : 개발자 도구의 메타태그 순서와 파이썬 코드 접속 시 메타태그 순서가 다르기 때문!

  

<bash />
import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') # 여기에 코딩을 해서 meta tag를 먼저 가져와보겠습니다. title = soup.select_one('meta[property="og:title"]') print(title['content']) ----RUN------> 그린북

      ㄴ> print(title) -----RUN-----> <meta content="그린 북" property="og:title"/>

 

<bash />
import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') title = soup.select_one('meta[property="og:title"]')['content'] image = soup.select_one('meta[property="og:image"]')['content'] desc = soup.select_one('meta[property="og:description"]')['content'] print(title, image, desc) ----RUN-------> 그린북 이미지주소, 요약본 나옴

 

 

3. 뼈대 준비

 1) app.py

<bash />
from flask import Flask, render_template, jsonify, request app = Flask(__name__) import requests from bs4 import BeautifulSoup from pymongo import MongoClient client = MongoClient('localhost', 27017) db = client.dbsparta ## HTML을 주는 부분 @app.route('/') def home(): return render_template('index.html') @app.route('/memo', methods=['GET']) def listing(): sample_receive = request.args.get('sample_give') print(sample_receive) return jsonify({'msg':'GET 연결되었습니다!'}) ## API 역할을 하는 부분 @app.route('/memo', methods=['POST']) def saving(): sample_receive = request.form['sample_give'] print(sample_receive) return jsonify({'msg':'POST 연결되었습니다!'}) if __name__ == '__main__': app.run('0.0.0.0',port=5000,debug=True)

 

 2) index.html

<bash />
<!Doctype html> <html lang="ko"> <head> <!-- Required meta tags --> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no"> <!-- Bootstrap CSS --> <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0/css/bootstrap.min.css" integrity="sha384-Gn5384xqQ1aoWXA+058RXPxPg6fy4IWvTNh0E263XmFcJlSAwiGgFAW/dAiS6JXm" crossorigin="anonymous"> <!-- JS --> <script src="https://ajax.googleapis.com/ajax/libs/jquery/3.5.1/jquery.min.js"></script> <script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.12.9/umd/popper.min.js" integrity="sha384-ApNbgh9B+Y1QKtv3Rn7W3mgPxhU9K/ScQsAP7hUibX39j7fakFPskvXusvfa0b4Q" crossorigin="anonymous"></script> <!-- 구글폰트 --> <link href="https://fonts.googleapis.com/css?family=Stylish&display=swap" rel="stylesheet"> <title>스파르타코딩클럽 | 나홀로 메모장</title> <!-- style --> <style type="text/css"> * { font-family: "Stylish", sans-serif; } .wrap { width: 900px; margin: auto; } .comment { color: blue; font-weight: bold; } #post-box { width: 500px; margin: 20px auto; padding: 50px; border: black solid; border-radius: 5px; } </style> <script> $(document).ready(function () { showArticles(); }); function openClose() { if ($("#post-box").css("display") == "block") { $("#post-box").hide(); $("#btn-post-box").text("포스팅 박스 열기"); } else { $("#post-box").show(); $("#btn-post-box").text("포스팅 박스 닫기"); } } function postArticle() { $.ajax({ type: "POST", url: "/memo", data: {sample_give:'샘플데이터'}, success: function (response) { // 성공하면 alert(response["msg"]); } }) } function showArticles() { $.ajax({ type: "GET", url: "/memo?sample_give=샘플데이터", data: {}, success: function (response) { alert(response["msg"]); } }) } </script> </head> <body> <div class="wrap"> <div class="jumbotron"> <h1 class="display-4">나홀로 링크 메모장!</h1> <p class="lead">중요한 링크를 저장해두고, 나중에 볼 수 있는 공간입니다</p> <hr class="my-4"> <p class="lead"> <button onclick="openClose()" id="btn-post-box" type="button" class="btn btn-primary">포스팅 박스 열기 </button> </p> </div> <div id="post-box" class="form-post" style="display:none"> <div> <div class="form-group"> <label for="post-url">아티클 URL</label> <input id="post-url" class="form-control" placeholder=""> </div> <div class="form-group"> <label for="post-comment">간단 코멘트</label> <textarea id="post-comment" class="form-control" rows="2"></textarea> </div> <button type="button" class="btn btn-primary" onclick="postArticle()">기사저장</button> </div> </div> <div id="cards-box" class="card-columns"> <div class="card"> <img class="card-img-top" src="https://www.eurail.com/content/dam/images/eurail/Italy%20OCP%20Promo%20Block.adaptive.767.1535627244182.jpg" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="#" class="card-title">여기 기사 제목이 들어가죠</a> <p class="card-text">기사의 요약 내용이 들어갑니다. 동해물과 백두산이 마르고 닳도록 하느님이 보우하사 우리나라만세 무궁화 삼천리 화려강산...</p> <p class="card-text comment">여기에 코멘트가 들어갑니다.</p> </div> </div> <div class="card"> <img class="card-img-top" src="https://www.eurail.com/content/dam/images/eurail/Italy%20OCP%20Promo%20Block.adaptive.767.1535627244182.jpg" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="#" class="card-title">여기 기사 제목이 들어가죠</a> <p class="card-text">기사의 요약 내용이 들어갑니다. 동해물과 백두산이 마르고 닳도록 하느님이 보우하사 우리나라만세 무궁화 삼천리 화려강산...</p> <p class="card-text comment">여기에 코멘트가 들어갑니다.</p> </div> </div> <div class="card"> <img class="card-img-top" src="https://www.eurail.com/content/dam/images/eurail/Italy%20OCP%20Promo%20Block.adaptive.767.1535627244182.jpg" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="#" class="card-title">여기 기사 제목이 들어가죠</a> <p class="card-text">기사의 요약 내용이 들어갑니다. 동해물과 백두산이 마르고 닳도록 하느님이 보우하사 우리나라만세 무궁화 삼천리 화려강산...</p> <p class="card-text comment">여기에 코멘트가 들어갑니다.</p> </div> </div> <div class="card"> <img class="card-img-top" src="https://www.eurail.com/content/dam/images/eurail/Italy%20OCP%20Promo%20Block.adaptive.767.1535627244182.jpg" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="#" class="card-title">여기 기사 제목이 들어가죠</a> <p class="card-text">기사의 요약 내용이 들어갑니다. 동해물과 백두산이 마르고 닳도록 하느님이 보우하사 우리나라만세 무궁화 삼천리 화려강산...</p> <p class="card-text comment">여기에 코멘트가 들어갑니다.</p> </div> </div> <div class="card"> <img class="card-img-top" src="https://www.eurail.com/content/dam/images/eurail/Italy%20OCP%20Promo%20Block.adaptive.767.1535627244182.jpg" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="#" class="card-title">여기 기사 제목이 들어가죠</a> <p class="card-text">기사의 요약 내용이 들어갑니다. 동해물과 백두산이 마르고 닳도록 하느님이 보우하사 우리나라만세 무궁화 삼천리 화려강산...</p> <p class="card-text comment">여기에 코멘트가 들어갑니다.</p> </div> </div> <div class="card"> <img class="card-img-top" src="https://www.eurail.com/content/dam/images/eurail/Italy%20OCP%20Promo%20Block.adaptive.767.1535627244182.jpg" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="#" class="card-title">여기 기사 제목이 들어가죠</a> <p class="card-text">기사의 요약 내용이 들어갑니다. 동해물과 백두산이 마르고 닳도록 하느님이 보우하사 우리나라만세 무궁화 삼천리 화려강산...</p> <p class="card-text comment">여기에 코멘트가 들어갑니다.</p> </div> </div> </div> </div> </body> </html>

      ㄴ> [POST] 기사저장 버튼 > postArticle 함수 불림 > Ajax 콜 > 성공하면 app.py에서 받아온 MSG를 alert 해줌

      ㄴ> [GET] showArticles 함수에서 > 샘플데이터를 sample_give로 줌 > 성공하면 app.py에서 받아온 MSG alert 해줌

                       (로딩이 되면 실행하게 되어있음 .ready)

 

 

4. 포스팅API (메모하기)

 1) 서버 역할

    (1) url, 코멘트 받기

<bash />
def saving(): url_receive = request.form['url_give'] comment_receive = request.form['comment_give']

 

    (2) 받은 url 로 title, image, description 크롤링 가져오기

<bash />
def saving(): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url_receive, headers=headers) soup = BeautifulSoup(data.text, 'html.parser') title = soup.select_one('meta[property="og:title"]')['content'] image = soup.select_one('meta[property="og:image"]')['content'] desc = soup.select_one('meta[property="og:description"]')['content'] print(title, image, desc) return jsonify({'msg':'POST 연결되었습니다!'})

      ㄴ> url 은 따로 두지 말고 data = requests.get에 url_receive 넣기

 

    (3) insert 하기(print XX)

<bash />
doc = { 'title':title, 'image':image, 'desc':desc, 'url':url_receive, 'comment':comment_receive } db.articles.insert_one(doc) return jsonify({'msg':'저장이 완료되었습니다!'})

      ㄴ> 컬렉션 이름(user > articles) 반드시 수정할 것!!

 

 

 2) 클라이언트 역할 : url, 코멘트 가져가기

<bash />
function postArticle() { let url = $('#post-url').val() let comment = $('#post-comment').val() $.ajax({ type: "POST", url: "/memo", data: {url_give:url, comment_give:comment}, success: function (response) { // 성공하면 alert(response["msg"]); } }) }

      ㄴ> localhost:5000에 들어가보면 msg 잘뜸 B.U.T 새로고침이 안됨!!

 

<bash />
function postArticle() { let url = $('#post-url').val() let comment = $('#post-comment').val() $.ajax({ type: "POST", url: "/memo", data: {url_give:url, comment_give:comment}, success: function (response) { // 성공하면 alert(response["msg"]); window.location.reload() } }) }

      ㄴ> window.location.reload( ) : 새로고침 자동으로 됨

      ㄴ> URL, 코멘트 테스트 하고 기사 저장 누름 > robo 확인

 

 

5. 리스팅API (보여주기)

 1) 서버 역할 : 클라이언트한테 받을 데이터 X, DB에서 데이터 다 가져오기

<bash />
@app.route('/memo', methods=['GET']) def listing(): articles = list(db.articles.find({},{'_id':False})) return jsonify({'all_articles':articles})

      ㄴ> articles : 잠깐 값을 담기 위해 만든 변수 

 

 2) 클라이언트 역할

    (1) response에 articles가 잘 내려오는지 확인

<bash />
success: function (response) { let articles = response['all_articles'] console.log(articles)

      ㄴ> console에서 확인 : Array(2)  잘 뜸

 

    (2) 카드 반복문 확인

<bash />
success: function (response) { let articles = response['all_articles'] for(let i=0; i < articles.length; i++) { let title = articles[i]['title'] let image = articles[i]['image'] let url = articles[i]['url'] let desc = articles[i]['desc'] let comment = articles[i]['comment'] console.log(title, image, url, desc, comment) } }

 

    (3) 카드 반복문 실행해서 붙여주기

<bash />
for(let i=0; i < articles.length; i++) { let title = articles[i]['title'] let image = articles[i]['image'] let url = articles[i]['url'] let desc = articles[i]['desc'] let comment = articles[i]['comment'] let temp_html=`<div class="card"> <img class="card-img-top" src="${image}" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="${url}" class="card-title">${title}</a> <p class="card-text">${desc}</p> <p class="card-text comment">${comment}</p> </div> </div>` $('#cards-box').append(temp_html) }

        ㄴ> 5000 새로고침 후 확인 > 원래 작성되어있던 HTML 에 카드 없애주기

 

 

6. 완성본

 1) app.py

<bash />
from flask import Flask, render_template, jsonify, request app = Flask(__name__) import requests from bs4 import BeautifulSoup from pymongo import MongoClient client = MongoClient('localhost', 27017) db = client.dbsparta ## HTML을 주는 부분 @app.route('/') def home(): return render_template('index.html') @app.route('/memo', methods=['GET']) def listing(): articles = list(db.articles.find({},{'_id':False})) return jsonify({'all_articles':articles}) ## API 역할을 하는 부분 @app.route('/memo', methods=['POST']) def saving(): url_receive = request.form['url_give'] comment_receive = request.form['comment_give'] headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url_receive, headers=headers) soup = BeautifulSoup(data.text, 'html.parser') title = soup.select_one('meta[property="og:title"]')['content'] image = soup.select_one('meta[property="og:image"]')['content'] desc = soup.select_one('meta[property="og:description"]')['content'] doc = { 'title':title, 'image':image, 'desc':desc, 'url':url_receive, 'comment':comment_receive } db.articles.insert_one(doc) return jsonify({'msg':'저장이 완료되었습니다!'}) if __name__ == '__main__': app.run('0.0.0.0',port=5000,debug=True)

 

 

 2) index.html

<bash />
<!Doctype html> <html lang="ko"> <head> <!-- Required meta tags --> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no"> <!-- Bootstrap CSS --> <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0/css/bootstrap.min.css" integrity="sha384-Gn5384xqQ1aoWXA+058RXPxPg6fy4IWvTNh0E263XmFcJlSAwiGgFAW/dAiS6JXm" crossorigin="anonymous"> <!-- JS --> <script src="https://ajax.googleapis.com/ajax/libs/jquery/3.5.1/jquery.min.js"></script> <script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.12.9/umd/popper.min.js" integrity="sha384-ApNbgh9B+Y1QKtv3Rn7W3mgPxhU9K/ScQsAP7hUibX39j7fakFPskvXusvfa0b4Q" crossorigin="anonymous"></script> <!-- 구글폰트 --> <link href="https://fonts.googleapis.com/css?family=Stylish&display=swap" rel="stylesheet"> <title>스파르타코딩클럽 | 나홀로 메모장</title> <!-- style --> <style type="text/css"> * { font-family: "Stylish", sans-serif; } .wrap { width: 900px; margin: auto; } .comment { color: blue; font-weight: bold; } #post-box { width: 500px; margin: 20px auto; padding: 50px; border: black solid; border-radius: 5px; } </style> <script> $(document).ready(function () { showArticles(); }); function openClose() { if ($("#post-box").css("display") == "block") { $("#post-box").hide(); $("#btn-post-box").text("포스팅 박스 열기"); } else { $("#post-box").show(); $("#btn-post-box").text("포스팅 박스 닫기"); } } function postArticle() { let url = $('#post-url').val() let comment = $('#post-comment').val() $.ajax({ type: "POST", url: "/memo", data: {url_give:url, comment_give:comment}, success: function (response) { // 성공하면 alert(response["msg"]); window.location.reload() } }) } function showArticles() { $.ajax({ type: "GET", url: "/memo", data: {}, success: function (response) { let articles = response['all_articles'] for(let i=0; i < articles.length; i++) { let title = articles[i]['title'] let image = articles[i]['image'] let url = articles[i]['url'] let desc = articles[i]['desc'] let comment = articles[i]['comment'] let temp_html=`<div class="card"> <img class="card-img-top" src="${image}" alt="Card image cap"> <div class="card-body"> <a target="_blank" href="${url}" class="card-title">${title}</a> <p class="card-text">${desc}</p> <p class="card-text comment">${comment}</p> </div> </div>` $('#cards-box').append(temp_html) } } }) } </script> </head> <body> <div class="wrap"> <div class="jumbotron"> <h1 class="display-4">나홀로 링크 메모장!</h1> <p class="lead">중요한 링크를 저장해두고, 나중에 볼 수 있는 공간입니다</p> <hr class="my-4"> <p class="lead"> <button onclick="openClose()" id="btn-post-box" type="button" class="btn btn-primary">포스팅 박스 열기 </button> </p> </div> <div id="post-box" class="form-post" style="display:none"> <div> <div class="form-group"> <label for="post-url">아티클 URL</label> <input id="post-url" class="form-control" placeholder=""> </div> <div class="form-group"> <label for="post-comment">간단 코멘트</label> <textarea id="post-comment" class="form-control" rows="2"></textarea> </div> <button type="button" class="btn btn-primary" onclick="postArticle()">기사저장</button> </div> </div> <div id="cards-box" class="card-columns"> </div> </div> </body> </html>

 

프로젝트 2 나홀로 링크 메모장

 

 

'Python > Web_log' 카테고리의 다른 글

22.06.30(목)  (0) 2022.07.02
22.06.29(수)  (0) 2022.06.29
22.06.27(월)  (0) 2022.06.27
22.06.24(금)  (0) 2022.06.24
22.06.23(목)  (0) 2022.06.23
profile

데일리로그C:

@망밍

포스팅이 도움됐다면 "좋아요❤️" 또는 "구독👍🏻" 해주세요!