생활 속 NLP - 오전 편

cleanUrl: 'articles/2'

음성 어시스턴트Voice assistant

음성 어시스턴트의 원리는?

뉴스 요약 AI 모델

SK텔레콤의 KoBART를 활용한 뉴스 요약

Pororo를 활용한 주식 뉴스 요약

from bs4 import BeautifulSoup
import requests
import pandas as pd
import re
import os


class news_crawler:

    def __init__(self):
        self.company_code_table = pd.read_csv('company_list.txt', dtype=str, sep='\t')


    def crawler(self, company_code, num_article):

        done_page_num=0

        # page = 1
        num_per_page=20 # naver serves 20 articles per page
        num_page,remainder=divmod(num_article,20)
        num_page+=1

        article_result=[]

        for page in range(done_page_num+1, done_page_num+num_page+1):
            try:
                url = 'https://finance.naver.com/item/news_news.nhn?code=' + str(company_code) + '&page=' + str(page)
                source_code = requests.get(url).text
                html = BeautifulSoup(source_code, "lxml")


                # 뉴스 링크
                links = html.select('.title')

                link_result =[]
                if page == num_page:
                    links=links[:remainder]

                for link in links:
                    add = 'https://finance.naver.com' + link.find('a')['href']

                    link_result.append(add)

                print(f"{len(link_result)}개의 뉴스 크롤링..")
            except Exception:
                pass

            for article_url in link_result:
                try:
                    article_source_code = requests.get(article_url).text
                    article_html = BeautifulSoup(article_source_code, "lxml")
                    article_time = article_html.select('.tah')[0].get_text()

                    # 뉴스 내용
                    article_contents = article_html.select('.scr01')
                    article_contents=article_contents[0].get_text()
                    article_contents = re.sub('\n','',article_contents)
                    article_contents = re.sub('\t','',article_contents)

                    # cut extra text after Copyright mark
                    if "ⓒ" in article_contents:
                        article_contents=article_contents[:article_contents.index("ⓒ")]

                    # cut too long text to prevent CUDA OOM issue
                    if len(article_contents)>=1500:
                        article_contents=article_contents[:1500]

                    article_result.append([article_contents,article_time])

                    time.sleep(random.uniform(0.1,0.7))
                except Exception:
                    pass

            # print("다운 받고 있습니다------")

        return article_result


    def convert_company_to_code(self,company):

        # 종목코드 추출
        company_name = self.company_code_table['회사명']
        keys = [i for i in company_name]    #데이터프레임에서 리스트로 바꾸기

        company_code = self.company_code_table['종목코드']
        values = [j for j in company_code]

        dict_result = dict(zip(keys, values))  # 딕셔너리 형태로 회사이름과 종목코드 묶기

        pattern = '[a-zA-Z가-힣]+'

        if bool(re.match(pattern, company)) == True:
            company_code = dict_result.get(str(company))
            return company_code

        else:
            company_code = str(company)
            return company_code

    def crawl_news(self, company, max_num=5):
        print(f"{company} 종목 뉴스를 가져옵니다.")
        company_code=self.convert_company_to_code(company)

        if company_code:
                result=self.crawler(company_code, max_num)
                for i in range(len(result)):
                    result[i].append(company)
                return result

        else:
            print(f"{company} 종목이 존재하지 않습니다.")   
            return []

참고 문헌

1. 곽효원. (2018, 03, 29). 사람의 말을 기계언어로, 기계언어를 사람에게. https://www.bloter.net/newsView/blt201803290006

2. 김학수. (2017).인공지능 음성언어 비서 시스템의 자연언어처리 기술들.정보과학회지,35(8),9-18.

3. 이경님. (2017). 음성 언어 처리 기술, 어디까지 왔나. 새국어생활, 27(4)

4. LG CNS 미래신사업담당. (2018, 11, 12). 챗봇을 넘어 음성봇으로. https://blog.lgcns.com/1863

5. Kincaid, J. (2018, Jul 13). A brief History of ASR: Automatic Speech Recognition. descript. https://medium.com/descript/a-brief-history-of-asr-automatic-speech-recognition-b8f338d4c0e5

6. GitHub - seujung/KoBART-summarization: Summarization module based on KoBART

7. Mattias Lee, [NLP] 주식 뉴스 요약 메일링 프로그램, 2021.03.04.