본문 바로가기

코드

[데이터 리뷰] AIHUB(음성/자연어) - 논문자료 요약 데이터 데이터 리뷰 : 데이터 대신 읽어드립니다! #26 AIHUB(음성/자연어) - 논문자료 요약 데이터 한 번쯤 논문을 찾아서 읽어본 경험이 있다면 공감하시겠지만, 논문에 이미지보다 글씨가 빽빽하게 있고, 수준 높은 어려운 내용들이 들어가 있다 보니 조금은 어렵고 딱딱하게 느껴질 수 있습니다. 거기에다 또, 만약 읽어야 할 논문이 많다면 논문 읽는 것에 대해 부담이 될 수도 있습니다. 하지만 만약 논문의 핵심내용을 뽑아 요약을 해주는 인공지능이 있다면 어떠할까요? 분명 많은 시간이 절약될 수 있고, 핵심적인 요약 내용을 먼저 읽고 논문을 읽으면 한층 이해하기 쉬워질 수 있습니다. 이와 관련해서 AIHUB에서는 다양한 주제의 한국어로 이루어진 학술논문이나 특허명세서에서 요약문을 도출해낼 수 있는 인공지능을 훈.. 더보기
[데이터 리뷰] AIHUB(음성/자연어) - 기계독해 데이터(질의응답 데이터셋) 데이터 리뷰 : 데이터 대신 읽어드립니다! #24 AIHUB(음성/자연어) - 기계독해 데이터(질의응답 데이터셋) 만약 인공지능에게 한 뉴스 기사를 읽게 하고, 육하원칙과 같은 질문을 한다면 인공지능은 올바르게 대답을 할 수 있을까요~? 올바른 대답을 하기 위해선 한 문장에 대해 주어, 목적어, 동사가 어느 부분인지 미리 학습되어야 할 것인데요, 만약 주어진 지문이 몇 문장에 걸친 지문이라면 더욱더 그 정확도가 떨어질 수 있습니다. 이와 관련해서 AIHUB에서는 기계독해 개발에 활용될 수 있는 뉴스 본문 기반 학습 데이터셋을 구축한 '기계독해 데이터'를 제공하고 있는데요, 기계독해(Machine Reading Comprehension)이란 제시된 본문 안에서 질의에 대한 정답을 추론하는 딥러닝 기반 기술.. 더보기
[에어] InceptionV3으로 한국어(한글) 이미지 캡셔닝(Image Captioning) 모델 만들기 (파이썬/Colab) 에어 프로젝트 #6 InceptionV3으로 한국어(한글) 이미지 캡셔닝(Image Captioning) 모델 만들기 만약 인공지능이 경기장에서 축구를 하고 있는 사람의 이미지를 보고 '사람이 경기장에서 축구를 하고 있습니다' 또는 '경기장, 사람, 축구, 운동'과 같이 관련 단어나 문장을 자동으로 생성해준다면 어떠할까? 이러한 기능이 활성화된다면 시각장애인에게 도움을 줄 수도 있을뿐더러 데이터 검색, 스포츠 중계, 미술 치료 등 정말 많은 분야에서 활용될 수 있을 것이다. 이렇게 인공지능이 이미지를 보고 관련 단어나 문장을 만드는 것을 '이미지 캡셔닝(Image Captioning)' 이라고 하는데, 이 분야는 인공지능의 Text Generation의 한 분야이기도 하다. 또한, 이미지의 특징을 학습한.. 더보기
[에어] TextRank 로 크롤링한 뉴스 기사 요약 모델 만들기 (파이썬/Colab) 에어 프로젝트 #4 TextRank로 크롤링한 뉴스 기사 요약 모델 만들기 현재 온라인의 주요 플랫폼에서는 여러 분야의 다양한 정보들을 뉴스기사, 포스팅, 영상 등 다양한 형태로 제공하고 있다. 예를 들어, 금융 분야에 관심이 많아 평소에 뉴스 기사를 찾아서 읽는다고 한다면, 기사를 제공하는 플랫폼에 들어가서 '금융' 카테고리를 눌러 기사를 확인할 것이다. 하지만 매일 올라오는 기사는 한 분야에서도 수백건으로, 일일이 다 확인하는 데에는 분명 적지 않은 시간이 소요될 것이다. 이렇게 온라인 상에서 정보가 흘러넘치는 시대라도, 바쁜 삶을 살아가는 현대인들에게는 이마저도 일이 될 수 있다. 따라서 이번 에어 프로젝트에서는 네이버에서 제공하는 '금융-가장 많이 본 뉴스' 페이지에서 원하는 날짜의 기사를 크롤링.. 더보기
[에어] Transformer 모델로 오피스 챗봇 만들기 (파이썬/Colab) 에어 프로젝트 #3 Transformer 모델로 오피스 챗봇 만들기 요즘 여러 회사에서 인공지능 비서의 도입이 증가하고 있는데, 인공지능 비서는 주로 챗봇의 형태로 기본적인 대화부터 하루 일과, 해야 할 업무, 스케줄 등을 알려주곤 한다. 또는 특정 업무에 특화되어 단순 반복적인 업무를 대신하는 인공지능 비서가 있는데, 이러한 인공지능 비서는 사용자의 업무 효율을 높이곤 한다. 이번 에어 프로젝트에서는 트랜스포머(Transformer) 모델을 이용하여 간단한 대화가 가능한 인공지능 비서 챗봇을 만들어 보고자 한다. 그동안 지난 에어 프로젝트들에서 질문 텍스트가 어떠한 유형인지 구분하는 챗봇 모델을 만들었다면, 이번 에어 프로젝트에서는 회사생활과 관련된 질의에 대해 적절한 답변을 하는 챗봇 모델을 만들어 .. 더보기
[에어] 7가지 감정의 한국어 대화, 'KOBERT'로 다중 분류 모델 만들기 (파이썬/Colab) 에어 프로젝트 #2 7가지 감정의 한국어 대화, 'KOBERT'로 다중 분류 모델 만들기 사람에게는 다양한 감정이 있고, 얼굴 표정과 말로 그 사람의 감정을 추측할 수 있다. 또한 상대방의 얼굴 표정을 볼 수 없는 메세지 또는 SNS 채팅상에서도 문맥과 문장에 들어간 단어를 통해 어느정도 상대방의 감정을 예측할 수 있다. 그렇다면 컴퓨터와 같은 기계는 텍스트만 보고도 감정을 예측할 수 있을까? 요즘 심리 상담 챗봇 등 다양한 인공지능 대화 챗봇을 많이 접할 수 있는데, 사용해보면 인공지능이 텍스트 문장만 보고도 사람의 감정을 추측해 그에 따른 적절한 답변을 내놓는 것을 볼 수 있다. 이 인공지능은 어떻게 텍스트만 보고도 그 사람이 어떠한 감정인지 예측할 수 있는 것일까? 지난 에어 프로젝트에서는 'BER.. 더보기
AAE (Adversarial AE) 【8】최근 AutoEncoder 응용 모델 이해하고 사용하기 / AAE AAE (Adversarial AE) 이번에는 AAE(Adversarial AE)를 배워보자. AAE는 VAE와 GAN을 합친 모델이다. GAN은 다음시간에 배울 내용이며 GAN을 보고 오시면 이해가 쉽다. AAE는 GAN에 구조를 띄고 있고 제너레이터(generator)를 VAE로 바꾼 모델이다 try: %tensorflow_version 2.x" except Exception: pass import tensorflow as tf from tensorflow.keras import layers,models,datasets,losses import numpy as np import matplotlib.pyplot as plt 모델을 .. 더보기
CVAE (Convolution VAE) 【8】최근 AutoEncoder 응용 모델 이해하고 사용하기 / CVAE CVAE (Convolution VAE) Convolution VAE를 해보자 기존에 사용했더 VAE는 순환 신경망를 사용하였지만 이번 모델은 CNN으로 바꾼 모델이다. 패키지들은 VAE와 동일하게 때문에 생략을 한다. (x_train, _), (x_test,_) = datasets.mnist.load_data() x_train = x_train.astype('float32') / 255. x_train = x_train.reshape(-1,28,28,1) x_test = x_test.astype('float32') / 255. x_test = x_test.reshape(-1,28,28,1) CNN을 사용하기 때문에 차원은 2차원이.. 더보기
VAE(Variational Auto Encoder) _인코더, 평균 분산 【8】최근 AutoEncoder 응용 모델 이해하고 사용하기 / VAE VAE(Variational Auto Encoder) _인코더, 평균 분산 확률분포를 이용하는 모델인 VAE(Variational Auto Encoder)를 알아보자 try: %tensorflow_version 2.x" except Exception: pass import tensorflow as tf from tensorflow.keras import layers,models,datasets,losses from tensorflow.keras import backend as K import numpy as np import matplotlib.pyplot as plt VAE모델 만들기에 앞서 패키지들을 선언을 한다. 새롭게 추가된 .. 더보기
Convolutional AE 【8】최근 AutoEncoder 응용 모델 이해하고 사용하기 / Convolutional AE Convolutional AE 이번에는 CNN과 AE과 결합된 모델인 CAE를 실습해보자 이미지에서 강점을 보인 CNN이기 때문에 성능은 좋아졌다. 바로 CAE로 생성된 mnist 이미지부터 보겠습니다. 위에 있는 이미지는 원본이미지고 아래는 CAE로 나온 예측 이미지다. 손실이 거의 발생하지 않은 상태의 이미지인 것을 확인 할 수가 있다. 높은 성능을 보이기에 책에는 따로 실습을 담지 않았지만 실습파일에는 있으니 시간이 있다면 실습을 하는걸 추천한다. 실습은 노이즈가 섞인 이미지 데이터를 CAE로 학습하는 것을 할 것이다. try: %tensorflow_version 2.x" except Exception: .. 더보기

티스토리툴바