Menglonq的个人博客

Glue Data Catalog 10 万+ 表规模元数据搜索实测:GetTables Expression 真实语义、并行策略与 Glue job vs 纯脚本成本对比

Glue Data Catalog 10 万+ 表规模元数据搜索实测:GetTables Expression 真实语义、并行策略与 Glue job vs 纯脚本成本对比 内容性质:基于公开 API 的黑盒行为实测(2026-07,cn-north-1,500 库 / 100,120 表模拟环境)

Administrator Administrator 发布于 2026-07-27

Glue Python Shell 升 3.9 后 import pg 报 ModuleNotFoundError:PyGreSQL 预装消失的解法与 C 扩展 wheel 编译配方

Glue Python Shell 升 3.9 后 import pg 报 ModuleNotFoundError:PyGreSQL 预装消失的解法与 C 扩展 wheel 编译配方 内容性质:解决方案(solution)。基于中国区真实 Glue Python Shell 2.0/Python 3

Administrator Administrator 发布于 2026-07-27

Python .egg 库转换为 .whl 的操作指南(Glue Python Shell 3.9 适用)

Python .egg 库转换为 .whl 的操作指南(Glue Python Shell 3.9 适用) 内容性质:操作方法(howto)。两种方式均经实测验证。可直接指导客户。 概述 Glue Python Shell 升级到 Python 3.9 后不再支持 .egg 格式的库(egg 不会被

Administrator Administrator 发布于 2026-07-27

DynamoDB 跨账号最小停机迁移 —— 演练完整记录

DynamoDB 跨账号最小停机迁移 —— 演练完整记录 演练日期:2026-06-22。目的:验证「S3 Export/Import + DynamoDB Streams + Lambda」跨账号最小停机迁移方案的可行性。 结论:全流程数据零丢失,源表与目标表精确对齐(1,562,087 == 1

Administrator Administrator 发布于 2026-07-12

在 Amazon Glue Job 中使用 Python 私有仓库的技术实践

概述 在使用 Amazon Glue 进行大数据处理时,我们经常需要安装额外的 Python 包。由于安全和网络限制,直接从公共 PyPI 安装可能不可行。或者即便配置了国内镜像源,也可能会因为镜像源的不稳定或网络波动导致安装失败从而导致Job失败。本文将介绍如何创建私有 Python 包仓库,并在

Administrator Administrator 发布于 2026-07-12
EMR

在EMR中实现 Running Solr on S3

前言:在工作中遇到的问题,由于网上几乎没有相关文章,所以记录下来。感谢 博客[1] 中的作者 @tcahill提供了宝贵经验。 环境: emr-6.3.0 solr-8.6.0 根据 [1] 中的描述得知 Solr 自带了 hadoop 相关 jar 包。由于 EMR 中的

Administrator Administrator 发布于 2026-07-12