事情是这样的,最近优化一个数据导出程序,数据库是UTF-8,要求导出文件编码为GBK,在python中,传统的写法:
xxx.decode('utf-8').encode('gbk','ignore')
但decode和encode在一个几千万行的文件导出时,耗时太长,粗略测试不做decode的导出,至少性能提高三倍,可这时会有新的问题出现,假如数据中有中文或别的编码文字,编码会出错。
事情是这样的,最近优化一个数据导出程序,数据库是UTF-8,要求导出文件编码为GBK,在python中,传统的写法:
xxx.decode('utf-8').encode('gbk','ignore')
但decode和encode在一个几千万行的文件导出时,耗时太长,粗略测试不做decode的导出,至少性能提高三倍,可这时会有新的问题出现,假如数据中有中文或别的编码文字,编码会出错。
最近楼下的油条摊开始有豆腐脑售卖,勾起了豆腐脑馋虫,外面的豆腐脑始终不是太放心,于是尝试用豆浆机制作,我的豆浆机是1人份的,最大容量350ML,也就是一小瓶可乐差不多的量。
外围市场免费的股票财务数据接口难找,从雅虎财经提取财务数据可能是免费方案中最简单的方法,自从yahoo财经取消API支持后,只能自己爬取或使用第三方库,但是yahoo偶尔的页面变更和地区限制也给爬取数据造成很大困扰。
本文介绍我最近提交的yahoo_financials_stmt包获取股票财务数据 项目地址:https://github.com/luckfu/yahoo_financials_stmt
因为yahoo限制中国大陆地区使用,所以如果你在大陆地区,需要自行代理
等待了两年,github终于接受了我的测试申请,开通Codespace beta,老实说差不多都忘了这事儿,毕竟在github上VS Code编辑加action我都已经很满足了, 所以刚看到开通,还以为自己眼花,怎么在收费的项目还给免费beta测试。