如果是serverless yarn方式，还是通过yarn UI查看作业日志。 监控建议通过prometheus exportor对接k8s集群内的prometheus，实现监控数据的同一采集。 异常诊断需要首先通过作业日志定位作业失败的原因，如果涉及平台管理组件（比如RM或者NM），需要查看RM或者NM Pod的日志...

首先需要确保基础调度组件，如RM，NM的稳定性，同时具备高可用能力和异常情况下快速重启恢复能力。作业提交建议有2此重试机制，如果因为RM/NM偶发异常导致作业失败，可以通过重试恢复。这里说的离线大数据作业都是批量式的，flink这种长期运行的一般放在在线应用范围。...

混合部署后，计算部分肯定是完全容器化，存储如hdfs还需要使用传统的hdfs，也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式，也可以考虑spark on k8s。如果有存量yarn作业需要迁移，可以考虑用yarn on k8s，这样便于存量作业平滑迁移，出现问题也可以回切，也...

需要几个关键能力，包括serverless yarn，大数据作业专用调度器，内核级别的资源优先级控制能力，计算节点资源超卖能力，裸机计算节点，underlay容器网络。

针对：大数据容器化部署如何实现资源隔离，与非容器相比的优势在什么地方？我是这么思考的，你可以看看是否有解答你的问题：通过宿主机的linux kernel实现优先级控制，确保资源使用优先级低于在线服务。与传统方式相比，容器化的大数据作业可以运行在在线应用使用的集群，利用在线集群...

大数据平台容器化部署后，原有大数据平台产品还需要吗？其实这个问题是很多中小金融机构会面临遇到的问题，我是这样思考的希望能对你有帮助。存量的传统大数据集群产品还会保留，和容器化的大数据平台并行，但是不会再进行扩容了。新增作业都上容器化的大数据平台，可以和在线应用共...

个人理解hdfs在容器外，和原来一样，只是原来是直接访问，现在是容器化后挂载存储卷