学会这几个技巧,让 Redis 大 key 问题远离你

分享发现 · jack · Created at · Last by line0997520 Replied at · 883 hits
434 1549005614

个推作为国内第三方推送市场的早期进入者,专注于为开发者提供高效稳定的推送服务,经过9年的积累和发展,服务了包括新浪、滴滴在内的数十万APP。由于我们推送业务对并发量、速度要求很高,为此,我们选择了高性能的内存数据库Redis。然而,在实际业务场景中我们也遇到了一些Redis大key造成的服务阻塞问题,因此积累了一些应对经验。本文将对大key的发现、解决大key删除造成的阻塞做相应的介绍。

Redis大key的一些场景及问题

大key场景

Redis使用者应该都遇到过大key相关的场景,比如:
1、热门话题下评论、答案排序场景。
2、大V的粉丝列表。
3、使用不恰当,或者对业务预估不准确、不及时进行处理垃圾数据等。

大key问题

由于Redis主线程为单线程模型,大key也会带来一些问题,如:
1、集群模式在slot分片均匀情况下,会出现数据和查询倾斜情况,部分有大key的Redis节点占用内存多,QPS高。

2、大key相关的删除或者自动过期时,会出现qps突降或者突升的情况,极端情况下,会造成主从复制异常,Redis服务阻塞无法响应请求。大key的体积与删除耗时可参考下表:

key类型
field数量
耗时
Hash
~100万
~1000ms
List
~100万
~1000ms
Set
~100万
~1000ms
Sorted Set
~100万
~1000ms

Redis 4.0之前的大key的发现与删除方法
1、redis-rdb-tools工具。redis实例上执行bgsave,然后对dump出来的rdb文件进行分析,找到其中的大KEY。
2、redis-cli --bigkeys命令。可以找到某个实例5种数据类型(String、hash、list、set、zset)的最大key。
3、自定义的扫描脚本,以Python脚本居多,方法与redis-cli --bigkeys类似。
4、debug object key命令。可以查看某个key序列化后的长度,每次只能查找单个key的信息。官方不推荐。

redis-rdb-tools工具

关于rdb工具的详细介绍请查看链接https://github.com/sripathikrishnan/redis-rdb-tools,在此只介绍内存相关的使用方法。基本的命令为 rdb -c memory dump.rdb (其中dump.rdb为Redis实例的rdb文件,可通过bgsave生成)。

输出结果如下:
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
0,hash,hello1,1050,ziplist,86,22,
0,hash,hello2,2517,ziplist,222,8,
0,hash,hello3,2523,ziplist,156,12,
0,hash,hello4,62020,hashtable,776,32,
0,hash,hello5,71420,hashtable,1168,12,

可以看到输出的信息包括数据类型,key、内存大小、编码类型等。Rdb工具优点在于获取的key信息详细、可选参数多、支持定制化需求,结果信息可选择json或csv格式,后续处理方便,其缺点是需要离线操作,获取结果时间较长。

redis-cli --bigkeys命令

Redis-cli --bigkeys是redis-cli自带的一个命令。它对整个redis进行扫描,寻找较大的key,并打印统计结果。

例如redis-cli -p 6379 --bigkeys

Scanning the entire keyspace to find biggest keys as well as

average sizes per key type. You can use -i 0.1 to sleep 0.1 sec

per 100 SCAN commands (not usually needed).

[00.72%] Biggest hash found so far 'hello6' with 43 fields
[02.81%] Biggest string found so far 'hello7' with 31 bytes
[05.15%] Biggest string found so far 'hello8' with 32 bytes
[26.94%] Biggest hash found so far 'hello9' with 1795 fields
[32.00%] Biggest hash found so far 'hello10' with 4671 fields
[35.55%] Biggest string found so far 'hello11' with 36 bytes

-------- summary -------

Sampled 293070 keys in the keyspace!
Total key length in bytes is 8731143 (avg len 29.79)

Biggest string found 'hello11' has 36 bytes
Biggest hash found 'hello10' has 4671 fields

238027 strings with 2300436 bytes (81.22% of keys, avg size 9.66)
0 lists with 0 items (00.00% of keys, avg size 0.00)
0 sets with 0 members (00.00% of keys, avg size 0.00)
55043 hashs with 289965 fields (18.78% of keys, avg size 5.27)
0 zsets with 0 members (00.00% of keys, avg size 0.00)

我们可以看到打印结果分为两部分,扫描过程部分,只显示了扫描到当前阶段里最大的key。summary部分给出了每种数据结构中最大的Key以及统计信息。

redis-cli --bigkeys的优点是可以在线扫描,不阻塞服务;缺点是信息较少,内容不够精确。扫描结果中只有string类型是以字节长度为衡量标准的。List、set、zset等都是以元素个数作为衡量标准,元素个数多不能说明占用内存就一定多。

自定义Python扫描脚本

通过strlen、hlen、scard等命令获取字节大小或者元素个数,扫描结果比redis-cli --keys更精细,但是缺点和redis-cli --keys一样,不赘述。

总之,之前的方法要么是用时较长离线解析,或者是不够详细的抽样扫描,离理想的以内存为维度的在线扫描获取详细信息有一定距离。由于在redis4.0前,没有lazy free机制;针对扫描出来的大key,DBA只能通过hscan、sscan、zscan方式渐进删除若干个元素;但面对过期删除键的场景,这种取巧的删除就无能为力。我们只能祈祷自动清理过期key刚好在系统低峰时,降低对业务的影响。

Redis 4.0之后的大key的发现与删除方法
Redis 4.0引入了memory usage命令和lazyfree机制,不管是对大key的发现,还是解决大key删除或者过期造成的阻塞问题都有明显的提升。

下面我们从源码(摘自Redis 5.0.4版本)来理解memory usage和lazyfree的特点。

memory usage

{"memory",memoryCommand,-2,"rR",0,NULL,0,0,0,0,0}
(server.c 285⾏)

void memoryCommand(client c) {
/
.../
/
计算key大小是通过抽样部分field来估算总大小。/
else if (!strcasecmp(c->argv[1]->ptr,"usage") && c->argc >= 3) {
size_t usage = objectComputeSize(dictGetVal(de),samples);
/
...*/
}
}
(object.c 1299⾏)

从上述源码看到memory usage是通过调用objectComputeSize来计算key的大小。我们来看objectComputeSize函数的逻辑。

define OBJ_COMPUTE_SIZE_DEF_SAMPLES 5 /* Default sample size. */

size_t objectComputeSize(robj o, size_t sample_size) {
/
...代码对数据类型进行了分类,此处只取hash类型说明/
/
.../
/
循环抽样个field,累加获取抽样样本内存值,默认抽样样本为5*/
while((de = dictNext(di)) != NULL && samples < sample_size) {
ele = dictGetKey(de);
ele2 = dictGetVal(de);
elesize += sdsAllocSize(ele) + sdsAllocSize(ele2);
elesize += sizeof(struct dictEntry);
samples++;
}
dictReleaseIterator(di);
/根据上一步计算的抽样样本内存值除以样本量,再乘以总的filed个数计算总内存值/
if (samples) asize += (double)elesize/samples*dictSize(d);
/.../
}
(object.c 779⾏)

由此,我们发现memory usage默认抽样5个field来循环累加计算整个key的内存大小,样本的数量决定了key的内存大小的准确性和计算成本,样本越大,循环次数越多,计算结果更精确,性能消耗也越多。

我们可以通过Python脚本在集群低峰时扫描Redis,用较小的代价去获取所有key的内存大小。以下为部分伪代码,可根据实际情况设置大key阈值进行预警。

for key in r.scan_iter(count=1000):
redis-cli = '/usr/bin/redis-cli'
configcmd = '%s -h %s -p %s memory usage %s' % (redis-cli, rip,rport,key)
keymemory = commands.getoutput(configcmd)

lazyfree机制

Lazyfree的原理是在删除的时候只进行逻辑删除,把key释放操作放在bio(Background I/O)单独的子线程处理中,减少删除大key对redis主线程的阻塞,有效地避免因删除大key带来的性能问题。在此提一下bio线程,很多人把Redis通常理解为单线程内存数据库, 其实不然。Redis将最主要的网络收发和执行命令等操作都放在了主工作线程,然而除此之外还有几个bio后台线程,从源码中可以看到有处理关闭文件和刷盘的后台线程,以及Redis4.0新增加的lazyfree线程。

/* Background job opcodes */

define BIO_LAZY_FREE 2 /* Deferred objects freeing. */

(bio.h 38⾏)

下面我们以unlink命令为例,来理解lazyfree的实现原理。

{"unlink",unlinkCommand,-2,"wF",0,NULL,1,-1,1,0,0},
(server.c 137⾏)

void unlinkCommand(client *c) {
delGenericCommand(c,1);
}
(db.c 490⾏)

通过这几段源码可以看出del命令和unlink命令都是调用delGenericCommand,唯一的差别在于第二个参数不一样。这个参数就是异步删除参数。

/* This command implements DEL and LAZYDEL. /
void delGenericCommand(client *c, int lazy) {
/
.../
int deleted = lazy ? dbAsyncDelete(c->db,c->argv[j]) :
dbSyncDelete(c->db,c->argv[j]);
/
...*/
}
(db.c 468⾏)

可以看到delGenericCommand函数根据lazy参数来决定是同步删除还是异步删除。当执行unlink命令时,传入lazy参数值1,调用异步删除函数dbAsyncDelete。否则执行del命令传入参数值0,调用同步删除函数dbSyncDelete。我们重点来看异步删除dbAsyncDelete的实现逻辑:

define LAZYFREE_THRESHOLD 64

/定义后台删除的阈值,key的元素大于该阈值时才真正丢给后台线程去删除/
int dbAsyncDelete(redisDb db, robj *key) {
/
.../
/*lazyfreeGetFreeEffort来获取val对象所包含的元素个数
/
size_t free_effort = lazyfreeGetFreeEffort(val);

/* 对删除key进行判断,满足阈值条件时进行后台删除 /
if (free_effort > LAZYFREE_THRESHOLD && val->refcount == 1) {
atomicIncr(lazyfree_objects,1);
bioCreateBackgroundJob(BIO_LAZY_FREE,val,NULL,NULL);
/
将删除对象放入BIO_LAZY_FREE后台线程任务队列/
dictSetVal(db->dict,de,NULL);
/
将第一步获取到的val值设置为null*/
}
/.../
}
(lazyfree.c 53⾏)

上面提到了当删除key满足阈值条件时,会将key放入BIO_LAZY_FREE后台线程任务队列。接下来我们来看BIO_LAZY_FREE后台线程。

/.../
else if (type == BIO_LAZY_FREE) {
if (job->arg1)
/* 后台删除对象函数,调用decrRefCount减少key的引用计数,引用计数为0时会真正的释放资源 /
lazyfreeFreeObjectFromBioThread(job->arg1);
else if (job->arg2 && job->arg3)
/
后台清空数据库字典,调用dictRelease循环遍历数据库字典删除所有key /
lazyfreeFreeDatabaseFromBioThread(job->arg2,job->arg3);
else if (job->arg3)
/
后台删除key-slots映射表,在Redis集群模式下会用*/
lazyfreeFreeSlotsMapFromBioThread(job->arg3);
}
(bio.c 197⾏)

unlink命令的逻辑可以总结为:执行unlink调用delGenericCommand函数传入lazy参数值1,来调用异步删除函数dbAsyncDelete,将满足阈值的大key放入BIO_LAZY_FREE后台线程任务队列进行异步删除。类似的后台删除命令还有flushdb async、flushall async。它们的原理都是获取删除标识进行判断,然后调用异步删除函数emptyDbAsnyc来清空数据库。这些命令具体的实现逻辑可自行查看flushdbCommand部分源码,在此不做赘述。

除了主动的大key删除和数据库清空操作外,过期key驱逐引发的删除操作也会阻塞Redis服务。因此Redis4.0除了增加上述三个后台删除的命令外,还增加了4个后台删除配置项,分别为slave-lazy-flush、lazyfree-lazy-eviction、lazyfree-lazy-expire和lazyfree-lazy-server-del。

slave-lazy-flush:slave接收完RDB文件后清空数据选项。建议大家开启slave-lazy-flush,这样可减少slave节点flush操作时间,从而降低主从全量同步耗时的可能性。
lazyfree-lazy-eviction:内存用满逐出选项。若开启此选项可能导致淘汰key的内存释放不够及时,内存超用。
lazyfree-lazy-expire:过期key删除选项。建议开启。
lazyfree-lazy-server-del:内部删除选项,比如rename命令将oldkey修改为一个已存在的newkey时,会先将newkey删除掉。如果newkey是一个大key,可能会引起阻塞删除。建议开启。

上述四个后台删除相关的参数实现逻辑差异不大,都是通过参数选项进行判断,从而选择是否采用dbAsyncDelete或者emptyDbAsync进行异步删除。

总结
在某些业务场景下,Redis大key的问题是难以避免的,但是,memory usage命令和lazyfree机制分别提供了内存维度的抽样算法和异步删除优化功能,这些特性有助于我们在实际业务中更好的预防大key的产生和解决大key造成的阻塞。关于Redis内核的优化思路也可从Redis作者Antirez的博客中窥测一二,他提出"Lazy Redis is better Redis"、"Slow commands threading"(允许在不同的线程中执行慢操作命令),异步化应该是Redis优化的主要方向。

Redis作为个推消息推送的一项重要的基础服务,性能的好坏至关重要。个推将Redis版本从2.8升级到5.0后,有效地解决了部分大key删除或过期造成的阻塞问题。未来,个推将会持续关注Redis 5.0及后续的Redis 6.0,与大家共同探讨如何更好地使用Redis。

参考文档:
1、http://antirez.com/news/93
2、http://antirez.com/news/126

共收到 11 条回复
1Floor Deleted
2Floor Deleted
3Floor Deleted
4Floor Deleted
5Floor Deleted
6Floor Deleted
8076 1574092471
line21971 · #7 ·

台北一夜情新莊外送茶賴21971新竹秘密花園汽車旅館叫小姐賴21971新竹鐘點情人新竹夜店一夜情外約打炮新竹全套外約新竹魚訊新竹茶訊新竹援交妹賴21971台北住家叫小姐台北外送茶台南外送茶LINE:21971台南旅館叫小姐台南外約台南舒壓按摩.台南一夜情雲林外約外送茶莊賴21971 雲林摩鐵/斗六辣妹外約虎尾雲林外送茶汽車旅館叫小姐高雄外送茶賴21971高雄全套,高雄外約,高雄叫小姐,高雄援交,高雄魚訊,高雄一夜情彰化埔心鄉叫小姐line:21971鹿港外送茶/秀水鄉找小姐賴21971台中約妹LINE:21971台中茶訊.台中汽車旅館叫小姐.喝茶論壇推薦https://line21971.weebly.com

8076 1574092471
line21971 · #8 ·

台南叫小姐LINE:21971外約|全套| 舒壓按摩|一夜情|台南外送茶
台南外送茶LINE:21971台南全套外約.台南按摩舒壓.台南叫小姐.台南茶訊
台南叫小姐LINE:21971 旅館叫小姐,台南外約.台南一夜情.台南酒店叫小姐
台南叫小姐LINE:21971南區外約.台南援交妹茶莊.北區全套油壓按摩服務
台南外送茶LINE:21971中西區外約.按摩全套.東區叫小姐.台南找女人打砲
台南外送茶LINE:21971台南仁德叫小姐.看照約妹.南區叫小姐.永康叫小姐
台南叫小姐LINE:21971台南魚訊.台南茶訊.永康按摩.永康叫小姐.東區外約
台南外送茶LINE:21971台南按摩全套服務.酒店上門叫小姐.永康外送茶
台南外送茶LINE:21971台南一夜情.台南茶訊.出差叫小姐服務.台南按摩
台南外送茶LINE:21971台南外約.台南茶訊.東區外約.台南鐘點情人推薦
台南外送茶LINE:21971台南全套外約.台南按摩.台南叫小姐.台南茶訊.台南舒壓
台南外送茶LINE:21971台南旅館叫小姐,台南外約,台南舒壓按摩.台南一夜情
永康外送茶LINE:21971永康找正妹.永康叫小姐.永康按摩,永康舒壓,永康全套
台南外送茶LINE:21971台南酒店叫小姐.台南外約.台南找女人.台南旅館叫小姐.
台南叫小姐LINE:21971台南南區外約.台南學生妹茶莊.台南北區全套指油壓按摩
台南外送茶LINE:21971台南中西區外約按摩全套.台南東區叫小姐.台南找女人打砲
台南外送茶LINE:21971台南仁德叫小姐.台南看照約妹.台南旅館叫小姐.飯店叫小姐
台南外送茶LINE:21971台南酒店找小姐.台南按摩服務.台南全套服務.汽車旅館叫小姐
台南外送茶LINE:21971台南一夜情.台南叫小姐.台南全套出差叫小姐服務.台南按摩
台南外送茶LINE:21971台南外約.台南出差找按摩.台南茶訊.台南東區外約.台南指油壓
台南外送茶LINE:21971台南叫小姐.台南茶訊.台南外約.台南酒店上門服務.永康叫小姐
台南外送茶LINE:21971高雄外送茶高雄按摩.高雄出差叫小姐.高雄魚訊
台南外送茶賴21971台南旅館叫小姐,台南外約,台南舒壓按摩.台南一夜情
永康外送茶LINE:21971永康找援交妹.永康叫小姐.永康按摩,永康舒壓,永康全套
台南外送茶LINE:21971台南酒店叫小姐.台南外約.台南找女人.台南旅館叫小姐.
台南叫小姐LINE:21971台南南區外約.台南援交妹茶莊.台南北區全套指油壓按摩
台南外送茶LINE:21971台南中西區外約按摩全套.台南東區叫小姐台南找女人打砲
台南外送茶LINE:21971台南仁德叫小姐.台南看照約妹.
台南中西區旅館飯店叫小姐LINE:21971台南酒店找小姐.
台南西區外約賴21971按摩服務.台南全套服務.汽車旅館叫小姐
台南外送茶LINE:21971台南一夜情.台南叫小姐.台南全套.
台南南區出差叫小姐服務.台南按摩LINE:21971
台南北區外送茶LINE:21971台南外約.台南出差找按摩.台南茶訊.
台南東區外約LINE:21971台南指油壓台南酒店上門服務
台南外送茶LINE:21971台南叫小姐.台南茶訊.台南外約..
台南永康叫小姐賴21971台南魚訊.台南按摩.台南茶訊.台南叫小姐.
激點 台南市北區和緯三段210號6 3500070鐵道 臺南市北區成功路2號06 221 3200高玉 台南市北區成功路2號3樓6 220 1006上賓 台南市北區北門路二段35號 06 221 6097華都 台南市北區文賢路1192號 06 259 8822欣悅 台南市北區西門路三段138號06 222 0118荷蘭村台南市北區中華北路二段194巷57號6 252 0505 富第 台南市北區北忠街75號6 211 0011 欲望城市 台南市北區育德路505號6 252 5158家新 台南市北區海安路三段287號 06 358 2188夏閣 台南市北區育德二路290號 062813456綠驛 台南市北區海安路3段399號 06 250 300紜閣 台南市永康區五福街89號6 303 8588媜13台南市永康區東橋一路8號 6 303 5985 華南 台南市永康區中華路152之1號6 313 3622 億峰 台南市永康區中正北路347之1號6 254 1450歐悅 台南市永康區中正北路159號06 242 2255龍升 臺南市永康區中正南路與123號6 282 3836 康爵 台南市永康區中正南路248號062548425夏卡爾 台南市仁德區文山路21號6 279 8666溫莎堡 台南市仁德區文華路三段585號6 249 2345 假日 臺南市仁德區文忠路69號 06 279 8555 富士都 台南市仁德區文化路三段500號 062709678納多利 台南市東區崇德八街1號06 290 6199長榮興 台南市東區裕義路226號6 3310777百威 台南市東區崇德路928號6 290 4702 花嫁 台南市東區裕誠街375號06 331 1538 水緹 台南市東區裕信500號06331 5378凱渥 台南市東區裕農路869號6 275 1888亞帝 台南市東區東門路三段31號0 6 289 7360永華春 台南市東區裕信路338號6 331 0277 國妃鷹堡 台南市南區健康路二段500號06 263 5588威尼斯 台南市安南區北安路三段308號06-2554785楓華沐月 台南市南區建南路158號6 2618 156 揚悅 台南市南區健康路二段487號 06 264 0999湖水岸 台南市中西區中華西路二段598號 6 280 6000太子 台南市中西區友愛街349號6 228 9171 湖美 台南市中西區頂美三街246號6 259 3456御宿 台南市中西區中華路二段581號6 358 8811 富德來台南市中西區康樂街243號6 221 6846 漢宮 台南市中西區中山路199號06 226 9115 國光 台南市中西區尊玉路18號 06 222 1105富德來 台南市中西區康樂街243號6 221 6846 晶英 台南市中西區合意路1號6 213 6290 光華光觀 台南市中西區北門路一段155號 06 226 3171湖美 台南市中西區頂美三街246號 06 259 3456英王 台南市中西區忠義路二段233巷26號 06 226 315兩個小時380華心 台南市中西區錦華路三段175號 062203380

96
mm0089 · #9 ·

臺灣約妹找妓女做愛打炮賴mm0089 堅持讓你花得值得 讓你一次就滿意
薇薇外送茶優質正妹網站:http://www.kiss69lg.com/forum.php?forumlist=1&mobile=2
堅持讓你花得值得 讓你一次就滿意
保證咩咩 熟練多變的技巧 讓你三度回味
堅持誠信經營 絕不會說的天花亂墬 浪費彼此寶貴的時間
精心安排 保證約好的時間 20分鐘內火速到達
絕無強迫消費‧購買點數‧匯款‧ATM轉帳‧都是見到本人 滿意在消費
優咩咩都是經過篩選 絕無地雷 請放心光臨體驗享受
㊣平價錢又安心 熟客 新客都享有優惠
薇薇茶坊營業時間:中午12點-凌晨四點

外送地區:臺北新北林口龜山新竹臺中彰化南投高雄臺南
妹妹類型:學生 OL 巨乳 蘿莉 人妻 技術茶 空姐小模 AV女優 婚紗助理等
服務內容:全套服務
約妹流程:賴上先預約然後準時給房號在房間等妹到
約會地點:你自己選擇的旅館or熟客可送住家
消費方式:看到妹喜歡在當場現金交易 不喜歡可換三次

北部:一節6000內立減500送1000優惠券
一節7000 -8000第二節半價 買三節送一節
一節9000-10000 立減1000-2000送2次半價
一節11000-15000 立減3000-5000送3次半價
一節15000-30000 立減5000-8000 送一年半價

中南部:一節4000-5000 二節半價
一節6000-7000 買兩節送一節
一節7000-10000 買兩節送兩節
一節11000-15000 立減3000-5000送2次半價
一節15000-30000立減5000-8000送一年半價
約小姐部落格看照網址:https://www.cssanyu.org/bbs2/forum.php?mod=viewthread&tid=333726&extra=
約小姐部落格看照https://www.photostore.me/mm0089/?list=images&sort=date_desc&page=4&seek=ursjV
雙北桃園林口龜山新竹看照約妹網址:http://www.kiss69lg.com/forum.php?mod=forumdisplay&fid=143
臺中彰化南投看照約妹網址:http://www.kiss69lg.com/forum.php?mod=forumdisplay&fid=145
高雄臺南看照約妹網址:http://www.kiss69lg.com/forum.php?mod=forumdisplay&fid=147
安全旅館便宜經濟實惠旅館推薦:http://www.kiss69lg.com/forum.php?mod=forumdisplay&fid=182
色情圖片露點照片網址:http://www.kiss69lg.com/forum.php?mod=forumdisplay&fid=177
成人小說網址http://www.kiss69lg.com/forum.php?mod=forumdisplay&fid=163
台中台北外送茶莊、茶坊推薦|優質台北、高雄外約茶妹任你選南投外送茶/全套叫小姐彰化外送茶
草屯外送茶大台中外送茶,外約美女,薇薇外送茶賴mm0089外約服務網,台中一夜情 .台灣出差旅館叫小姐line:mm0089
台北外送茶/台中外送茶/高雄外送茶/台南外送茶/新竹外送茶/彰化外送茶/南投外送茶/薇薇外送茶賴mm0089大台灣台北台中高雄台南新竹地區喝茶服務外送茶薇薇外送茶賴mm0089/鼓山區看照約妹薇薇外送茶賴mm0089前鎮區美腿茶/三民區火辣茶/新興區惹火嫵媚茶/左營區MT外送... 外送/台北清涼茶莊/更多優質妹妹/台北外送茶莊/高雄外送茶/新竹外送茶/洗澡/愛愛薇薇外送茶賴mm0089/口交旅館酒店外送小姐/上門服務/薇薇外送茶賴mm0089茶魚分享/大台北外送茶坊/大台中外送茶坊/高雄外送茶/援交妹網站台灣叫小姐俱樂部,薇薇外送茶賴mm0089台北叫小姐,薇薇外送茶賴mm0089西門町外送服務 板橋外送茶高雄約妹外約茶莊薇薇外送茶賴mm0089/夜市附近叫小姐,85大樓叫小姐 高雄叫小姐按摩外送茶西?町找小姐薇薇外送茶賴mm0089林森北找茶喝/台北?正妹/台?援交找薇薇外送茶賴mm0089台北叫小姐台中旅館叫小姐高雄旅遊找妹兼職美女茶外送看照約妹好茶外送到家西?町找小姐|林森北找茶喝/台北?正妹/台?援交找薇薇外送茶賴mm0089
#台灣汽車旅館找小姐 #商旅找小姐薇薇外送茶賴mm0089 #星級酒店找小姐
#旅館找小姐 #商旅找小姐薇薇外送茶賴mm0089 #星級酒店找小姐 #旅館找小姐
#飯店找小姐 #住家找小姐薇薇外送茶賴mm0089 #賓館找小姐 #台灣出差旅遊外約 #台灣出差旅遊找小姐
#酒店外約叫茶 #台灣汽車旅館外約叫茶 薇薇外送茶賴mm0089#商旅外約叫茶 #星級酒店外約叫茶 #旅館外約叫茶 #飯店外約叫茶
#住家外約叫茶 #賓館外約叫茶 #台灣出差旅遊外約叫茶 薇薇外送茶賴mm0089#台灣出差旅遊外約叫茶 +薇薇外送茶賴mm0089#
台中外送茶 #台北外送茶 #新竹外送茶薇薇外送茶賴mm0089 #高雄外送茶 #台南外送茶 #彰化外送茶 #南投外送茶 #台中外約
#台北外約 #高雄外約薇薇外送茶賴mm0089 #新竹外約 #台南外約 #彰化外約 #南投外約 #台灣外送茶 #外送茶 #情愛全台外送茶看照約妹叫小姐
#外送茶不戴套 +薇薇外送茶賴mm0089#板橋外約 #三重外約 #永和外約 #中和外約 #汐止外約 #新莊外約 #土城外約
#新店外約 #蘆洲外約 #五股外約 #泰山外約 #淡水外約薇薇外送茶賴mm0089 #八里外約 #林口外約 #龜山外約 #台中外約 #高雄外約
#台北外約薇薇外送茶賴mm0089 #本土外約 #外約台妹 #中正外約 #大同外約 #松山外約+薇薇外送茶賴mm0089 #板橋外送茶 #板橋外約
#大安外約 #萬華外約 #信義外約薇薇外送茶賴mm0089 #士林外約 #北投外約 #內湖外約 #南港外約 #文山外約 #新竹外約 #台南外約
#西屯外約 #南屯外約 薇薇外送茶賴mm0089#北屯外約 #逢甲外約 #大里外約 #大雅外約 #七其外約 #東海外約 #烏日外約 #太平外約
#豐原外約薇薇外送茶賴mm0089 #沙鹿外約 薇薇外送茶賴mm0089#逢甲茶莊 #逢甲全套
#薇薇外送茶賴mm0089逢甲外約 #逢甲外送茶 #逢甲叫小姐 #逢甲打砲 屏東汽車旅館叫小姐.薇薇外送茶賴mm0089屏東找茶,屏東外送舒壓按摩.屏東護膚全套外約.屏東找妹薇薇外送茶賴mm0089.屏東找小姐.屏東汽車旅館叫妹妹服務薇薇外送茶賴mm0089.屏東叫小姐.妹妹服務找歡樂.薇薇外送茶賴mm0089屏東優質外送茶莊.屏東出差旅遊約妹 .薇薇外送茶賴mm0089屏東正妹論壇.屏東約情人.薇薇外送茶賴mm0089屏東找女人兼職妹.推薦屏東茶莊##屏東外約妹妹價位#屏東找小姐.薇薇外送茶賴mm0089屏東全套外送.屏東辣妹薇薇外送茶賴mm0089.屏東找學生妹.人妻
#逢甲茶訊 #逢甲援交 #逢甲找女人薇薇外送茶賴mm0089 #逢甲魚訊 #逢甲炮神器 #逢甲紓壓 #逢甲性愛服務 #逢甲鐘點情人 #
太平全套 #薇薇外送茶賴mm0089大里全套 #沙鹿全套 #豐原全套 #大雅全套 #烏日全套薇薇外送茶賴mm0089 #台中車站應召 #台中南屯約妹
#台中西屯叫小姐 #台中逢甲外送 #台中勤美約妹薇薇外送茶賴mm0089 #台中車站叫小姐 #台中北屯應召 #台中南屯叫雞 #台中車站叫妹
#台中北區叫小姐薇薇外送茶賴mm0089 #台中應召 #台中車站叫雞 #台中車站茶莊 #台中西屯外送薇薇外送茶賴mm0089 #台中逢甲約砲 #台中北屯叫妹 #台中市區應召桃園半套店薇薇外送茶賴mm0089 ,#桃園半套價錢 #桃園找援,#桃園聯天室找援,#桃園西門找援桃園半套店薇薇外送茶賴mm0089 ,#桃園半套價錢 台中一夜情,台中??,台中全套基隆叫小姐電話 #基隆叫小姐 #基隆飯店叫小姐 #基隆旅館叫小姐薇薇外送茶賴mm0089 #基隆找女人 #基隆找妹 #基隆出差叫小姐 #基隆打炮薇薇外送茶賴mm0089 #基隆看照約妹#桃園茶莊心得,#桃園茶莊ptt,#桃園桑拿薇薇外送茶賴mm0089 ,#桃園桑拿浴,#桃園桑拿網
#桃園桑拿論壇薇薇外送茶賴mm0089 ,#桃園桑拿澳門,#桃園桑拿168,#桃園半套店薇薇外送茶賴mm0089 ,#桃園半套價錢
台北外送茶/高雄鐘點情人外約,台北旅館叫小姐,台北鐘點情人,台灣一夜情,高雄一夜情,台中一夜情,台北一夜情,台北美女外約,台中美女外約,高雄美女外約,高雄茶莊,台中茶莊,台北茶莊,台北叫小姐,台中叫小姐,高雄叫小姐,高雄外約/外約/援交妹,吃魚喝茶論壇,大家來找茶,PLUS,伊利,微克成人網/女優GoGoGo/淘A片/一刀未剪/免費成人影音薇薇外送茶賴mm0089 /交換網站/交友網站/性愛成人網/一葉晴成人貼片/成人極品情色站/癡漢線上免費A片/台灣明星淫片流出露比線上免費A片/伊莉成人論壇/◆免費線上A片◆/寶貝一夜情聊天室/免費A片頻道/無名成人網/成人網/台北情色聯盟/天天幹貼圖/洪爺色情網/台灣噴精成人網/十八小妹自拍美少女自拍貼圖老婆自拍貼圖/色色女孩情色總站/A圖情色交流/666人氣貼圖/插插穴排行/69Kiss電影排行/薇薇外送茶賴mm0089 彩虹頻道/后宮電影院/中文搜性網/酷站排行入口/上我人妻/成人龍虎豹/干爹情色排行/十七歲少女/台灣1歲/104寫真銀行/插插穴排行/熱酷美眉網/台灣性樂園/只有貼圖/波波美女網/交換連結eyny,玩美情人,男人幫,高雄女外約,高雄外送,高雄賓館叫小姐,高雄飯店叫小姐,高雄鐘點情人外約,台北旅館叫小姐,彰化外送茶,台灣兼職美女外送,薇薇外送茶賴mm0089 台北兼職美女外約,台中外送茶坊,高雄外送茶坊,台北外送茶坊陸妹價格,檳榔西施清涼秀,台功援學生兼差 msn,援交妹,24h 台北私兼,CLUB,台南指壓 3k,高雄酒店經紀,台中學生兼差msn,台北 夜店 舞廳 酒吧 制服便服,中年夫妻聯誼,高雄媛交,台南茶妹,台北指油壓留言板,情趣精品,大台南一夜情人外約\俱樂部,台北賓館叫小姐,高雄原味貼身衣物買賣,夢時代購物中心,台北推拿中醫,0204一夜崤◆隆f聊天室,熟女圖,討論區,台南喝茶的店哪好,網路購物,台中理容按摩,台南陪唱,台北下\午茶 blog,高雄 砲友,台中好茶討論區,高雄茶店news,高雄按摩個人工作室,旅遊,台南24h台南24h餐廳,台北茶訊交流msn,卡債,台中旅館外叫服務,台中 spa油壓男按摩小姐服務/漁會玩美情人遊戲成人論壇 台北吃魚喝茶留言板外送/台北一夜情重點情/台北旅館飯店找服務叫小姐/找女人全套服務加按摩指油壓成人夜遊魚訊交流論壇區/台北應召站/伊莉喝茶/第一手論壇/外約愛愛/外約電話/外約高檔茶到府服務/伊莉plus28/成人性愛慾茶園 性交易/正妹外送服務/找茶論壇薇薇外送茶賴mm0089 /找茶討論區/台灣外送GTO/台灣樂緣外送茶/兩性論妹板橋外送酒店 北投泡溫泉三溫暖趙小姐/援交妹網站論壇/FB交友網站/UT天室交友一夜情炮友/台北喝茶買三送一接多買多送純情動感兼職妹/華僑台北旅遊出差消伴遊找女人茶/薇薇外送茶賴mm0089 極品俱樂部嚴選絕色經典,第一手娛樂論壇/卡提諾/玩美情人/吃魚喝茶網 薇薇外送茶賴mm0089 伊漁網/Plus論壇/台灣樂緣/小女人論壇/台灣論壇/微風論壇/伊莉論壇/禁地論壇/維克斯論壇/捷克論/男人幫論壇/大眾論壇/竹北旅館飯店找女人按摩舒壓叫小姐3p服務 愛情公寓論壇 交友/ 愛情/戀愛/貓都論壇/賽斯論壇/104論壇/九州娛樂論壇/櫻雪論壇/2B級/台灣、送茶坊台北外送茶坊,台中外送茶,高雄外送茶,美女外約服務/台中/高雄/新竹/彰化/莊極品俱樂部嚴選絕色經典,成人性愛慾茶園,找茶討論區,催情藥,唯美貼圖,成人論壇,網絡報稅,線上遊戲,高檔平價好茶,淫照聊天是尋夢園美女外送,情趣用品八大行業指油壓全套,暑假打工,網站設計,中國合夥人,鋼鐵俠3,HTC,蝴蝶機,變裝遊戲,茶,motel,hotel,性感絲襪,A片下載,AV女優,第一手論壇,貓都,卡提諾,喝茶,完美情人,BJ論壇,小女人論壇,卡提諾論壇,台灣論壇三溫暖中陪酒ktv,台北全套護膚個人工作室,尋找台南援交auty 美容美體 SPA沙龍,台北外約茶棧,台中越南餐廳,台南應召站,台北外送 3k,高雄下午茶外,台中三溫暖全套,台南全套油壓泰國,台南半套店1600元,高雄推拿指壓,小姐,台北夜生活 pub,台北單身聯誼,兼差,台北交換伴侶,台北一夜情,高雄聊天網,高雄美女兼職,台南車站美食,8000mile,台北一夜情緣俱樂部,高雄應徵\酒店酒店上班,高雄成人視訊聊天室,台南兼職找利菁,高雄24h到府指油壓,女兼職,酒店兼職\,壽山,台南茶訊茶資薇薇外送茶賴mm0089 ,台南陪酒小姐,高雄絲襪美腿高跟鞋,夫妻聯誼部落格,薇薇外送茶賴mm0089 台南小野貓檳榔西施外送時被下藥拍照,自拍女老師,找台中援妹地點,台北大陸妹價格,檳榔西施清涼秀,台功援學生兼差 msn,援交妹,24h 台北私兼,CLUB,台南指壓 3k,高雄酒店經紀,台中學生兼差msn,台北 夜店 舞廳 酒吧 制服便服,中年夫妻聯誼,高雄媛交,台南茶妹,台北指油壓留言板,情趣精品,大台南一夜情人外約\俱樂部,台北賓館叫小姐,高雄原味貼身衣物買賣,夢時代購物中心,台北推拿中醫,0204一夜崤◆隆f聊天室,熟女圖,討論區,台南喝茶的店哪好,網福祿猴林千又 吳宗憲 2015 黑豹旗 王大陸 徐太宇 登革熱 波多野結衣 金鐘獎 蔡英文 洪秀柱 蛇精男 靈異 鬼故事 柯文哲 柯P 大家來說鬼 綜藝玩很大 時尚脈動 賈靜雯 陳佩琪 氣象 反課綱 2015星光大賞 宅男女神 愛爾麗 泛舟哥 張吉吟 ET看電影 八仙 塵爆 楊子晴 范冰冰 安心亞 陳泱瑾 Grace ISIS 林書豪

96
txr7892 · #10 ·

KTV招聘男公关酒吧兼职招聘小车司机155同性恋2798高薪7892
{酒店招聘服务员}155%2798%7892[娱乐城直招保安](公司诚聘小车司机)〈KTV高薪招聘男女公关〉〔夜店鸭子日薪招聘男妓〕
一想泡妞免費 二想強奸無罪
三想做愛不累 四想長命百歲
五想無所不會 六想猜獎總對
七想香煙不貴 八想喝酒不醉
九想夜夜美女陪睡 奈何美夢總是令人心碎
不如找個姐姐安慰 加入15527987892給你实惠
本酒店以接待大型国际商务会议、住宿、娱乐为主要功能。以得天独厚的地理位置和一如既往的人性化管理模式,成为行业先锋╉现因业务发展,面向社会招聘以下职位;

【一】:男女公關 ━可兼职,工资日结━
①:800元-8000/天以上,男女不限,18-35岁,无经验可培/训。
②:时尚前卫,充满活力、敢于挑战自我。
③:主要为客人提供喝酒、聊天、唱歌、休闲等全方位服务。

【二】:普通服务生
①:200元/天以上,男女不限,18-28岁,无经验可培/训。
②:形象好,有一定服务意识,有亲和力。
③:主要在包房给客人开酒、点歌,签单等一般服务。  

【三】:高级内保
①: 月薪6000元+奖金,18-35岁,无经验可培/训。
②: 有良好的仪表形象,反应灵敏,洞察力强。
③:有较强的工作责任心,主要为前来入住的旅客提供贴身保护有酒店相關工作经验优先。

【四】:桑拿技师
①: 500元/天以上,18-32岁。
②: 形象良好,全套服务╉无经验可培/训。
③:思想开放,身高不限,有自信。

【五】:内保18名:
①: 月薪8000元以上,要求:18-30岁。
②: 有良好的仪表形象,反应灵敏,洞察力强,有较强的工作责任心,退伍军人优先。

【六】:按~~摩技师20名
①: 月薪5万元以上,18-30岁,形象良好,全套服务无经验可培/训。
②: 包吃住。

【七】:情感陪护司机15名:
①: 情感陪护司机,20-45岁男士,2年以上驾驶经验,为单身成功女性提供贴心周到全方位服务。
②: 上班时间:(不定)全职。
〔哪里招聘男公关〕155罓2798艹7892「什么地方招聘服务生」╞有没有招聘保安╡┠小车驾驶员哪里有招聘┨
娱乐城招聘服务员兼职15527987892夜店男女公关招聘信息

96

大台灣啵比舒壓茶坊+賴:0997520
外送地區:北部【台北市區/新北市區/竹北市區】
中部【台中市區/彰化市區/南投市】
南部【高雄市區/台南市區】
營業時間:為下午13:00—凌晨04:00
交易方式:不刷卡~不轉賬~不買點數~不匯款~一律現金~無定金
約會地點:住家~飯店~汽旅~外約~商旅~酒店~
加入啵比+賴:0997520 賬號即可享受2000現金優惠券唷....
妹妹類型:台灣各行各業純本土正妹兼職(提前預約會比較準確)
特別類型:中(日.巴.荷.韓.俄)網紅/混血/空姐/麻豆/二線/三線藝人.....

啵比外約活動大優惠+賴:0997520

1.消費一次不管金額不小免費+免車資送絲襪
2.消費金額5k送絲襪+免車資+3000 優惠券+9折會員
3.消費金額8k送絲襪+原味內褲消費第二次直接半價
4.消費金額10k送超級VIP(永久7折)免費試車10k小模+免費進入約炮群
5.消費金額15k送黃金VIP(永久半價)免費試車15k小模2個小時無限次數

【包夜套餐】+賴:0997520
1.買六節【6小時+免費送2小時】+送3000優惠券
2.買九節【9小時+免費送3小時】+送5000優惠券+半價2次
3.買十二節【12小時+免費4小時】+一次免費試車小姐+永久半價+VIP

【加時套餐】+賴:0997520
1.兩節送一節/兩節送兩節/三節送一節/三節送兩節
2.喝茶連一杯半價
3.還可約3p妹妹
【北中南套餐都可以挑選.詳情咨詢我喲】
外送茶這個行業在台灣真的超多的
很多人會問我好不好做 是不是賺很多
就像你們知道的 我的工作是網路貼貼廣告
跟客人聊聊天 再介紹推薦一下小姐 足不出戶
就會有客人來約來消費 看起來很簡單很輕鬆

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up