queue配置
首先說明一下我之前的項目中如何使用queue的。
我們現在的項目都是用的symfony,老一點的項目用的symfony1.4,新一點的項目用的都是symfony2。symfony用起來整體感覺還是很爽的,尤其symfony2,整體上來講使用了很多java裡面框架的設計思想。但是他不支持queue。在symfony,我們使用queue也經歷了幾個過程。最開始使用張堰同學的httpsqs。這個簡單使用,但是存在單點。畢竟我們的項目還是正式對外服務的,所以我們研究了Apache旗下的開源項目ActiveMQ,研究研究發現還有Apache旗下還有更新的MQ,那就是Apollo。最後我們決定使用的Apollo。
queue在我們的項目中主要的應用場景就是異步處理一些比較耗時的功能,比如同步第三方數據、數據有變動了同步通知到我們的第三方數據使用者等等。我們大致的思路是這樣的,在各個controller裡面如果需要異步處理的,就把一個json對象encode一下,塞到Apollo裡面。再寫一個work的Command,在這個Command中解析json對象,根據裡面的action和參數決定來調用不同的方法處理。根據業務需要同時在不同的機器上運行Command作為守護進程一直跑著,也算實現異步多任務處理應用的方案。就這麼一直使用著,直到發現了laravel。打算研究一下。如果可能替代一下也不是不可能。呵呵。
由於才開始學習,當然直接上laravel5。routes、controller、view都基本上和symfony差別不到,上手倒是不困難。最後研究一下queue。
1、安裝laravle,使用composer,倒是很簡單。
composer global require "laravel/installer=~1.1" vi ~/.bash_profile
把~/.composer/vendor/bin 加入到環境變量中。
source ~/.bash_profile
就可以直接在命令行中使用laravel了。試一下。
laravel -V
能夠看到下面的,就代表成功了。
Laravel Installer version 1.2.1
2、創建項目。
laravel new guagua
3、配置redis和queue。
4、創建controller,
php artisan make:controller DefaultController
在controller的action中push100個queue的任務。
for($i = 0; $i < 100; $i ++) { Queue::push(new SendEmail("ssss".$i)); }
5、創建queue的Command
php artisan make:command SendEmail --queued
修改app/Commands/SendEmail.php,添加一個私有變量。
protected $msg;
同時修改構造函數。
public function __construct($msg) { $this->msg = $msg; }
再修改的handle方法
public function handle() { sleep(4); echo $this->msg."\t".date("Y-m-d H:i:s")."\n"; $this->delete(); }
6、修改routes
Route::get('/', [ 'as' => 'index', 'uses' => 'DefaultController@index' ]);
7、監聽queue
php artisan queue:listen
為了驗證多任務處理,我們同時開三個窗口運行同樣的命令。
8、用laravel內建的server啟動服務
php artisan serve --port 8080
打開浏覽器,訪問http://localhost:8080/頁面。當然也可以用nginx,apache之類的。但是需要各種配置,還是內建的使用方便。
在控制台就能看到各個queue執行的情況了,如下圖。可以看到100個任務被三個work平分了。
到此,基本達到了我想要的效果。驗證了laravel可以簡單實現queue,並且可以多任務處理。
make command生成的代碼中use App\Commands\Command ,但是運行時提示沒有這個文件。 解決辦法,修改為 use Illuminate\Console\Command; 不知道為什麼會出現這個低級問題,難道是我mac系統問題,還是我的人品問題。
在controller的action中push隊列的時候,沒有異步執行,還是在action的腳本中執行的。 發現是配置問題,原來不僅僅要修改config中的queue.php,還要修改.evn中相關配置。 雖然問題解決了,但是還是覺得蛋疼,不能理解。還需要在學習學習laravel。
異步隊列使用方法
1.配置
關於隊列的定義,這裡就不作介紹了。我們要使用異步隊列就有兩個關鍵:
(1)存儲隊列的地方
(2)執行任務的服務
打開 config/queue.php ,這是Laravel5關於隊列的配置文件。首先我們可以通過 default 參數指定默認隊列驅動,默認配置是 sync , 這是同步隊列,我們要做異步隊列首先就要改變這裡。假設我們用 database 作為驅動,隊列任務將會存放在數據庫中,而我們後面會另外啟動一個後台服務來處理隊列任務,這就是異步方式了。
'default' => 'database'
修改完配置後,我們需要創建一個表來存放隊列任務,Laravel5已經在自帶artisan命令中內置了一個指令用來生成數據遷移,只需要兩條命令即可,當然你得實現配置好數據庫連接。
php artisan queue:table php artisan migrate
這樣就自動在數據庫中創建了 jobs 表。
2.啟動隊列監聽服務
通過下面這條指令啟動隊列監聽服務,它會自動處理 jobs 表中的隊列任務:
php artisan queue:listen
在linux中,如果想讓它在後台執行,可以這樣:
nohup php artisan queue:listen &
3.添加隊列任務
關於隊列任務的添加,手冊裡說的比較詳細,這裡就簡單舉個例子吧。
首先,通過artisan創建一個隊列命令:
php artisan make:command SendEmail --queued
這樣會生成 app/Commands/SendEmail.php 這個類文件,這個類會被標識為隊列命令,你可以在 handle 方法中寫自己的業務邏輯。
在控制器中,可以簡單通過 Bus::dispatch 分發任務:
Bus::dispatch(new \App\Commands\SendEmail());
你會發現任務不會立即執行,而是被放到 jobs 表中,由隊列監聽服務處理。
更詳細的用法建議參考 command bus 和 queue 相關的手冊章節。