使用 SQS FIFO 队列

发布日期:作者:

Using SQS FIFO Queues image

AWS 的简单队列服务 (SQS) 是一种出色的、高扩展性且极其廉价的方式来获得可靠的队列。

SQS 的一个小小缺陷是,您无法保证作业的处理顺序。

如果队列中有 10 个作业,您不知道队列工作者会获得哪个作业。

对于我们大多数人来说,这完全没问题。如果您需要按顺序完成某些作业,可以使用 Laravels 作业链接

但是,这并不适用于所有情况。

例如,在 Chipper CI 中,我们需要按接收顺序处理构建。我们必须等待任何时候可能出现的传入 Webhook,因此我们不能简单地添加到作业链接中。相反,我们依靠 SQS FIFO 队列

FIFO 队列

FIFO 代表先进先出。这意味着最旧的作业将始终是第一个被分配给队列工作者的作业。

最旧作业“后面”的作业只有在前面的作业完成之后才会被分配给队列工作者。

当您需要按顺序处理作业时,这非常有用,但这限制了扩展队列工作者的能力。

如果就这样,您永远无法使用多个队列工作者,也无法一次处理多个作业(除非创建并以某种方式管理多个 FIFO 队列)。

消息组 ID

幸运的是,FIFO 队列对此进行了考虑。事实证明,消息顺序仅在组 ID 内保证。

FIFO 队列中的每个作业(消息)都必须有一个组 ID。**任何具有相同组 ID 的作业都将按接收顺序处理**。

如果您为每个作业分配一个随机组 ID,那么由于没有共享的组 ID,将无法维护顺序。

在 Chipper CI 中,每个团队都可以有多个项目。每个项目都是一个 git 存储库,当有人将其 git 存储库更新推送到存储库时,该存储库就会被构建。

为了按顺序保持构建,我们使用 FIFO 队列,使用团队 ID 和项目 ID 创建组 ID。看起来像这样

$build = App\Build::createFromWebhook($payload);
 
$groupId = sprintf('build-%s-%s', $build->project->team_id, $build->project_id);
 
dispatch(
(new ProcessBuild($build))
->onMessageGroup($groupId)
);

SQS FIFO Laravel 软件包

为了帮助解决这个问题,我们可以使用 shiftonelabs/laravel-sqs-fifo-queue Composer 软件包。

这扩展了 SQS 队列消息类型并添加了一些功能。

最重要的是,它为我们提供了 onMessageGroup() 方法,该方法允许我们在将作业(消息)添加到 SQS FIFO 队列时添加消息组 ID。

Chris Fidao photo

CloudCastsServers for Hackers 教授编码和服务器。 Chipper CI 的联合创始人。

Cube

Laravel 时事通讯

加入 40,000 多名其他开发人员,永不错过新的提示、教程等。

Laravel Forge logo

Laravel Forge

轻松创建和管理您的服务器,并在几秒钟内部署您的 Laravel 应用程序。

Laravel Forge
Tinkerwell logo

Tinkerwell

Laravel 开发人员必备的代码运行器。使用 AI、自动完成和对本地和生产环境的即时反馈进行测试。

Tinkerwell
No Compromises logo

绝不妥协

Joel 和 Aaron,来自 No Compromises 播客的两位经验丰富的开发者,现在可以为您的 Laravel 项目提供服务。⬧ 固定费用 7500 美元/月。⬧ 没有冗长的销售流程。⬧ 没有合同。⬧ 100% 退款保证。

绝不妥协
Kirschbaum logo

Kirschbaum

提供创新和稳定性,以确保您的 Web 应用程序取得成功。

Kirschbaum
Shift logo

Shift

正在运行旧版本的 Laravel?立即进行自动化 Laravel 升级和代码现代化,以使您的应用程序保持新鲜。

Shift
Bacancy logo

Bacancy

使用经验丰富的 Laravel 开发人员(拥有 4-6 年经验)为您的项目增光添彩,每月仅需 2500 美元。获得 160 小时的专业知识和 15 天无风险试用。立即安排通话!

Bacancy
Lucky Media logo

Lucky Media

现在就来 Lucky - Laravel 开发的理想选择,拥有超过十年的经验!

Lucky Media
Lunar: Laravel E-Commerce logo

Lunar: Laravel 电子商务

Laravel 的电子商务。一个开源软件包,将现代无头电子商务功能的强大功能带到 Laravel。

Lunar: Laravel 电子商务
LaraJobs logo

LaraJobs

官方 Laravel 职位板

LaraJobs
SaaSykit: Laravel SaaS Starter Kit logo

SaaSykit: Laravel SaaS 启动工具包

SaaSykit 是一个 Laravel SaaS 启动工具包,包含运行现代 SaaS 所需的所有功能。付款、漂亮的结账、管理面板、用户仪表板、身份验证、现成的组件、统计信息、博客、文档等等。

SaaSykit: Laravel SaaS 启动工具包
Rector logo

Rector

您无缝升级 Laravel、降低成本和加速创新以帮助成功公司取得成功的合作伙伴

Rector
MongoDB logo

MongoDB

通过 MongoDB 和 Laravel 的强大集成来增强您的 PHP 应用程序,使开发人员能够轻松高效地构建应用程序。支持事务、搜索、分析和移动用例,同时使用熟悉的 Eloquent API。了解 MongoDB 的灵活、现代数据库如何改变您的 Laravel 应用程序。

MongoDB
Maska is a Simple Zero-dependency Input Mask Library image

Maska 是一个简单的无依赖输入掩码库

阅读文章
Add Swagger UI to Your Laravel Application image

将 Swagger UI 添加到您的 Laravel 应用程序

阅读文章
Assert the Exact JSON Structure of a Response in Laravel 11.19 image

在 Laravel 11.19 中断言响应的精确 JSON 结构

阅读文章
Build SSH Apps with PHP and Laravel Prompts image

使用 PHP 和 Laravel Prompts 构建 SSH 应用程序

阅读文章
Building fast, fuzzy site search with Laravel and Typesense image

使用 Laravel 和 Typesense 构建快速、模糊的网站搜索

阅读文章
Add Comments to your Laravel Application with the Commenter Package image

使用 Commenter 软件包在您的 Laravel 应用程序中添加评论

阅读文章