美文网首页
pandas库读取与存储外部数据

pandas库读取与存储外部数据

作者: 文嘉达_0da8 | 来源:发表于2020-06-18 20:37 被阅读0次

1. CSV文件的读取

read_csv:从文件中加载带分隔符的数据,默认分隔符为逗号
read_table:从文件中加载带分隔符的数据,默认分隔符为制表符

  • 指定分隔符号读取
df=pd.read_csv('catering_sale.csv',sep=' ')
  • 指定列作为索引
df=pd.read_csv('catering_sale.csv',index_col='id' )
  • 指定标题
df=pd.read_csv('catering_sale.csv', header=None)
df=pd.read_csv('catering_sale.csv',names=['id','name','grade'])
  • 指定读取行数量和通过usecols参数进行部分列的选取
df=pd.read_csv('catering_sale.csv',nrows=2,usecols=['Survived','Sex'])
  • 指定chunksize分块读取文件
table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000)
df_list=[]
for df in table:
   #1.对每一个分块df处理
   #2.添加每一个df(df_list.append(df))
   #print(type(df),df.shape)打印看一下信息
df = pd.concat(df_list, ignore_index=True)

2. json的读取

import json
f=open('C:Python对比excel基础\对比Excel,轻松学习Python\order-14.json')
obj=f.read()
result=json.loads(obj) #也可以通过json.dumps将字符串转化为json
df=pd.DataFrame(result)

也可以通过read_json来读取json数据

df=pd.read_json('C:Python对比excel基础\对比Excel,轻松学习Python\order-14.json')

3. Excel的读取

  • 指定读取的工作簿
pd.read_excel('C:Python对比excel基础\对比Excel,轻松学习Python\order-14.xlsx',sheet_name='out')

4. 连接数据库

import pymysql
conn=pymysql.connect(
   host='localhost',
   user='root',
   passwd='123',
   db='mydb',
   port=3306,
   charset='utf-8')
df=pd.read_sql('   ')
———————————————————
以上内容均来自书籍或网络,为个人的学习笔记,如有侵权,请联系删帖。

相关文章

网友评论

      本文标题:pandas库读取与存储外部数据

      本文链接:https://www.haomeiwen.com/subject/utvexktx.html