本文共 1223 字，大约阅读时间需要 4 分钟。

在 TiDB Hackathon 2018 中，崔秋同学所在的 TiBoys 队开发了 TBSSQL（TiDB Batch and Streaming SQL），该项目以一等奖的成绩亮相。本文将详细讲述 TBSSQL 的开发过程、技术实现及其相关挑战。

项目背景

TiDB Batch and Streaming SQL（简称 TBSSQL）是一款扩展 TiDB SQL 引擎的项目，旨在将 Kafka、Pulsar 等流数据源与 TiDB 结合，支持流式 SQL 访问。本项目的核心目标是实现流式数据与 TiDB 普通表的联结，以及基于时间窗口的聚合计算。

技术实现

TBSSQL 的设计基于以下核心思路：

1. 数据源接口

• Kafka：作为最流行的开源消息队列系统，其流数据处理能力毋庸置疑。
• Pulsar：一种新兴的流数据源系统，具有较高的吞吐量。
• Binlog：支持 MySQL 和 TiDB 的日志复制，与现有数据同步工具同步。
• Log：一般的日志文件格式，适合单个消息处理。

2. Raymond - 数据采集与处理

Raymond 作为数据采集模块，主要负责对接多种数据源，并提供标准化的数据接口。具体实现包括：

• Restful API：为 TiSSQL 提供数据拉取接口。
• StreamReader：解析不同数据源的数据格式，例如 JSON、Avro 等，并生成 TiDB 可行的数据行。

3. TiDB 核心优化

• ** absorptionแหลseeker**：实现流式数据的高效存储与查询。
• Streaming SQL 语法：定义时间窗口，支持聚合、排序等流式算子。
• 命令执行优化：基于时间窗口调整优化器策略，确保窗口列信息不被裁剪。

遇到的挑战

未来计划

总结

TBSSQL 的开发历经了 Hackathon 中的激烈攻坚，虽然还有许多待完善之处，但其核心功能已基本实现。未来我们将继续深化 TBSSQL 的开发，同时期待与更多技术爱好者一起探索 TiDB 的无限可能！