본문 바로가기

dataframe

[데이터분석] 데이터 프레임 : 두 개의 칼럼(열) 합치기 (문자열 데이터) - map() 데이터 프레임에서 문자열 데이터(텍스트)가 있는 두 열이 있을 때, 이 두 열을 합치고 싶다면 어떻게 해야 할까요? 바로, map() 함수를 사용하면 쉽게 열을 합칠 수 있는데요, 아래 코드를 보면서 설명드리도록 하겠습니다. 1. 두 개의 칼럼 합치기 먼저, 아래와 같이 'df' 라는 이름의 데이터 프레임이 있다고 가정해보겠습니다. tempitemcountpricerating 0hotcoffee130004.5 1icejuice540003.0 2iceade250004.0 3hotmilk420002.5 4hottea340003.0 5icewater210004.5 위 데이터프레임을 보면, 'temp' 칼럼과 'item' 칼럼에 문자열 데이터가 있음을 확인할 수 있습니다. 여기서 텍스트 데이터로 이루어진 열을 .. 더보기
[데이터 분석] 데이터 프레임 : 결측값(NaN) 있는 행/열 삭제하기 - dropna() 데이터분석을 하기 전 데이터 전처리를 할 때, 결측값(NaN)이 있는 항목은 다른 값을 넣어주던가 해당 행을 삭제하는 것이 좋은데요, 만약, 결측값이 들어있는 행 전체를 삭제하고 싶다면 dropna() 함수를 사용하면 됩니다. 1. dropna() : 결측값이 들어있는 행 삭제하기 pandas 라이브러리에서는 결측값이 들어있는 행을 삭제하는 함수를 제공하는데요, 바로 dropna() 함수입니다. 먼저, 다음과 같은 데이터프레임이 있다고 가정해보겠습니다. display(df) itemcountpricerating 0coffee1.030004.5 1juice5.040003.0 2ade2.05000NaN 3milk4.020002.5 4tea3.040003.0 5waterNaN10004.5 6coke4.0200.. 더보기
[데이터분석] 엑셀 파일, 원하는 칼럼(열) 선택적으로 불러와서 dataframe으로 나타내기 - usecols 이전 포스팅에서는 skipfooter를 이용하여 엑셀 파일에서 맨 마지막 행, 또는 하단 행을 제외한 행만 불러오거나, skiprows를 이용하여 선택적으로 특정 행만 불러서 가져오는 방법에 대해 살펴보았는데요, 이번에는 usecols를 사용하여 원하는 칼럼(열)만 선택해서 이를 dataframe으로 나타내는 방법에 대해 살펴보도록 하겠습니다. - usecols : 원하는 칼럼(열)만 불러오기 먼저, 아래와 같이 데이터가 있는 'sample.xlsx' 파일이 있다고 가정해보겠습니다. 위 파일을 보면, 1행에는 칼럼 이름이 있고, 2행부터 8행까진 항목들이 나열되어 있는 것을 볼 수 있습니다. 이제 이 엑셀 파일을 데이터프레임으로 나타내 보도록 하겠습니다. import pandas as pd file = .. 더보기
[데이터분석] 엑셀 파일, 원하는 행 선택적으로 불러와서 dataframe으로 나타내기 - skiprows 이전 포스팅에서는 skipfooter 를 이용하여 엑셀파일에서 맨 마지막 행, 또는 하단 행을 제외한 행만 불러와 dataframe으로 나타내는 방법에 대해 살펴보았는데요, 이번에는 skiprows를 사용하여 원하는 행만 선택적으로 골라서 이를 dataframe으로 나타내보도록 하겠습니다. - skiprows : 특정 행 제외하고 불러오기 = 원하는 행만 불러오기 먼저, 아래와 같이 데이터가 있는 'sample.xlsx' 파일이 있다고 가정해보겠습니다. 위 파일을 보면, 1행에는 칼럼 이름이 있고, 2행부터 8행까진 항목들이 나열되어 있는 것을 볼 수 있습니다. 이제 이 엑셀 파일을 데이터프레임으로 나타내 보도록 하겠습니다. import pandas as pd file = r"C:\Users\Dinola.. 더보기
[데이터분석] 엑셀 파일, 마지막 행 제외하고 데이터 프레임으로 불러오기 - skipfooter 엑셀 파일에 있는 데이터를 분석하기 위해 파일을 불러와 데이터 프레임으로 나타낼 때, 모든 데이터가 함께 출력됩니다. 이때 필요 없는 행이 있다면 전처리 과정에서 삭제를 해주어야 하는데요, 데이터 프레임으로 불러올 때 마지막 행 또는 아랫부분의 행을 빼고 가져오는 방법이 있습니다. 바로, read_excel() 함수에서 skipfooter 라는 모듈을 이용하는 것인데요, 말 그대로 하단 부분을 스킵하고 나머지 부분만을 불러오는 모듈입니다. 예를 들어, 아래와 같이 'sample.xlsx' 이라는 이름의 엑셀 파일이 있다고 가정해보겠습니다. 엑셀 파일에 있는 데이터를 살펴보자면 'item', 'count', 'price', 'rating' 이라는 칼럼이 있고, 해당 데이터가 2행부터 6행까지 나열되어 있으.. 더보기
[데이터분석] 엑셀을 데이터 프레임으로 불러올 때 Sheet 설정하는 방법 - sheet_name 엑셀 파일을 데이터 프레임으로 불러올 때 보통 다음과 같이 코드를 입력하는데요, import pandas as pd file = r"C:\Users\Dinolabs\Desktop\데이터분석\sample.xlsx" #해당 경로 df = pd.read_excel(file) 이때 기본 값 설정으로, 엑셀 파일에서 첫 번째 시트인 Sheet1을 불러옵니다. 하지만 데이터 분석을 할 데이터가 Sheet2, Sheet3 또는 특정 이름의 시트에 있을 수 있는데요, sheet를 선택하기 위해선 pd.read_excel() 함수에 인자를 추가해서 입력해주어야 합니다. 바로, sheet_name 이라는 인자를 넣어주면 되는데요, 예를 들어 'Sheet2' 를 열고 싶다면 sheet_name="Sheet2" 를 인자로 넣.. 더보기
[데이터분석] 엑셀(excel) 파일 dataframe으로 불러오기 - pd.read_excel() 지난 포스팅 중 하나가 csv 파일을 dataframe으로 불러오는 방법과 관련된 글이었는데요, 이번에는 엑셀 파일을 데이터 프레임으로 불러오는 방법에 대해 살펴보도록 하겠습니다. 엑셀 파일을 데이터프레임으로 불러오기 위해 먼저 pandas 라이브러리를 import 해줍니다. 그리고 나서 아래 코드처럼 file 경로를 변수로 설정해주고, pd.read_excel() 함수를 이용하여 데이터프레임으로 열어주면 되는데요, sheet_name 을 입력하여 sheet를 선택할 수 있습니다.(sheet1은 기본값이므로 생략 가능) import pandas as pd file = r"C:\Users\Dinolabs\Desktop\데이터분석\sample.xlsx" #해당 경로+파일 이름 df = pd.read_exce.. 더보기
[데이터분석] 데이터프레임 : 특정 칼럼의 데이터 종류별로 평균 / 합 구하는 방법 - groupby() 데이터프레임으로 데이터분석을 하다 보면, 특정 칼럼(열) 데이터 종류별로 평균이나 합을 구해야 하는 경우가 있을 수 있는데요, 이러한 경우 groupby() 함수를 사용하여 구할 수 있습니다. groupby() 함수는 말 그대로 그룹을 지어주는 함수로, 평균을 구하는 함수 mean()과 전체 합을 구하는 함수 sum() 을 함께 사용함으로써 그룹별 평균과 합을 구할 수 있습니다. 1. 특정 칼럼, 데이터 종류별로 합 구하기 코드를 보면서 살펴볼텐데요, 먼저 아래와 같은 데이터프레임이 있다고 가정해보겠습니다. import pandas as pd df = pd.DataFrame( {'name': ['coffee', 'tea', 'juice','milk', 'ade'], 'price': [3000, 4000,.. 더보기
[데이터분석] 데이터프레임 : 칼럼(열) 이름 변경하는 방법 - rename() 데이터프레임으로 데이터분석을 할 때, 전처리 과정으로 칼럼의 이름을 알아보기 쉽게 변경하는 경우가 있는데요, 칼럼의 이름을 어떻게 변경하는지 알아보도록 하겠습니다. - rename() : 칼럼(열) 이름 변경하기 rename() 함수는 칼럼의 이름을 변경하는 함수인데요, df.rename(columns = {'old_name' : 'new_name'), inplace=True) 와 같이 코드를 입력해서 사용하면 됩니다. 아래와 같은 데이터프레임이 있다고 가정해보겠습니다. import pandas as pd df = pd.DataFrame( {'name': ['coffee', 'tea', 'juice','milk', 'ade'], 'price': [3000, 4000, 5000, 2000, 5000], '.. 더보기
[데이터분석] 데이터프레임 : inplace = True 뜻 데이터프레임을 다루는 코드를 구글링 하다 보면, 해당 함수 안에 inplace = True 라는 코드가 입력되어 있는 것을 많이 볼 수 있는데요, inplace = True 란 무엇을 의미하는 걸까요? 먼저, 다음과 같은 데이터프레임이 있다고 가정해보겠습니다. import pandas as pd df = pd.DataFrame( {'name': ['coffee', 'tea', 'juice','milk', 'ade'], 'price': [3000, 4000, 5000, 2000, 5000], 'rating': [4, 3.5, 3.7, 3, 2], 'category': [1,2,3,4,4]}) display(df) namepriceratingcategory 0coffee30004.01 1tea40003.52.. 더보기