基于dagster数据编排的量化系统

仔细想想，自己身上最强的技能，应该是这些年大厂的工作经历，对于企业级应用开发，高并发系统，爬虫系统，AI+大数据等等。对于企业需求的把握与问题的解决。其次才是量化，或者自媒体写作。

要拓展外延，应该从最核心能力入手，而不应该从零开始。

昨天的思考，最大的收获在于，把“被动收入”里的“被动”弱化了。只强调收入的话，视野会打开不少。你的价值，来自你能解决他人多少问题。

从多数企业的需求来看，高并发的企业级应用开发是一大块，前程工程化（前后端分离），专项领域像爬虫平台、大数据、AI、搜索、推荐系统等。

另外就是技术战略，这是构建在对技术本身的理解，对公司战略的理解，对行业发展的深度洞察的基础上。

国内企业级应用开发，springboot生态可能是占比最高的。当然从架构的角度，语言与框架倒不是最重要的。用户系统，权限系统，分布式、缓存系统，如何找高并发等等（这一套我打算基于fastapi来一次）。客观讲，近年来一个技术趋势是，后端相对更加聚焦了，前端工程化后，前后端严格分离，后端不必管模板啊、渲染之类的。另外容器化很大程度上解决了微服务相关的很多问题。

简言之：一套后端开发框架、k8s(docker容器化部署)，前端工程化（vu3、vite）当下大多数的企业级应用开发场景均能覆盖了。爬虫、算法多是python生态。

python企业级应用开发（fastapi, mysql, redis，vue3/vite, k8s/docker）

大数据相对独立，hadoop或者clickhouse，doris等，还加superset或metabase这样的bi平台。

另外还有一个场景，偏向“流式”数据驱动的，比如爬虫采集到一堆信息，信息要经过机器审核、人工审核而后入池，向各应用端去分发。一般使用kafka这样的消息队列作为中间件。kakfa的消费端，可以使用spark、flink这样的计算框架，也可以python直接消费，启动多进程来处理，或者springboot框架本身就有kafka的consumer。

与大数据类似，这里涉及一些“定时任务”的场景，可能还会有依赖，即所谓的DAG图（有向无环图）。这里就需要一个任务调度平台，我选用的是dagster，大数据栈里老牌的平台是airflow，但这个在我看来，是hadoop时代的产物了。

基于dagster的任务平台（量化里更新数据，计算指标，甚至是驱动回测等，都属于这种任务，比如每天计算一次等等）。作为量化平台，相当于是把一个个脚本函数变成可执行的任务。这个平台最基础的诉求就是定时任务，定期更新数据，执行计算之类的；另外能盯kafka最好，有新数据或事件进来了，做相应的动作。