dagster从mongo同步数据到hdf5

世界是高度不确定性的，但我们总需要“主动”做点事情。

先动起来，就打败了至少50%的对手。

回顾一年前，似乎生活与工作状态没有特别大的变化，但往前看三年，还是发生了不小的改变。

一件小事，专注先做它1000天试试。

逐步想清楚一些事情。比如阅读，受罗振宇、樊登影响，觉得多读书，历史典故信手拈来很酷，就开始读历史书。对金融的兴趣最早可以可以回溯到2008年左右，看到宋鸿兵的货币战争——尽管现在大家诟病。但作为金融小说，里面的故事还是很有吸引力的。万维刚尽管是物理学家出身，但现在写的精英日课，与物理、数理化基本没有关系，更偏向社会学、心理学的前沿研究成果。可能这样的话题更有市场吧，比如商业故事、成功学总是不缺读者。董宇辉横空出世，激发了全民读书热潮，一个多读书能够建立知识体系的人，可以有多酷。

然而读了一些历史书籍后，人类历史，偏向“王侯将相”历，看多了觉得很没意思。治乱循环，真没有新鲜事。而且充满斗争、血腥，阴谋，杀戮，无耻。。。但如果你翻开科学史，里面人性的光辉则完全不一样。即便像牛顿这样有打压对手的人，他做的事情，也只不过把胡克的画像从英国皇家学会给扔出来罢了。

科学的进化是积累的、指数级别的进化。

文明是科技进步的结果，而社会学科建立秩序和规则来分配这个结果。经济、金融研究资源分配，规则之后就是治理与战争。

刘慈欣在《三体》里充分表达了对科技的敬畏，与人类群体蒙昧的批判。

最近读的这本书——元素周期表可以解释一切。

很有意思，物理与化学世界的底层运行规律讲得一清二楚，风趣幽默，推荐给大家。

个人观点，物理学，微积分，化学， 人工智能，可能比社会学的很多东西确定得多，也有意思得多。

放弃无意义的社交，多读书，多思考。

今天继续我们的“AI量化平台”建设。

dagster从mongo同步数据到hdf5，需要分步进行。

四个步骤把可转债的全市场数据，从远程mongo下载，预计算，并存在本地hdf5里，同时合成一个大的dataframe保存在hdf5中，这里可以用于回测，当前数据实时查询等。每天在收盘之后，数据更新完成后触发计算。

读取转债因子数据——收盘价，用于时间序列的显示：

django版本的fastapi，体验相当顺滑。

from ninja import NinjaAPI
from logic.utils import mongo_utils

api = NinjaAPI()


@api.get('/bond_quotes')
def get_bond_quotes(request, code: str):
    items = mongo_utils.get_db()['cb_factors'].find({'code': code, 'factor': 'close'}, {'_id': 0, 'value': 1, 'date':1})
    items = list(items)
    return items

路虽远，行则将至——写句鸡汤鼓励自己。

用心做好一些事情，足矣。