在使用MS opentech开发的redis 2.6 windows版本时,会出现在连接数过多(在我的机器上是超过800)时,会出现如下错误

"Error registering fd event for the new client: Result too large (fd=xxxxx)"

在网上却收不到任何结果.在看过代码之后,发现windows版本的redis的实现是有问题的.

原版的redis是使用accept来获取一个新的连接的fd,然后使用这个fd作为aeEventLoop->events的index来存储并获取events的值,从而处理事件.而MS OpenTech使用IOCP模型实现了一个aeWinAccept来获取fd.关键代码如下:

int aeWinQueueAccept(SOCKET listensock) {    aeSockState *sockstate;    aeSockState *accsockstate;    DWORD result, bytes;    SOCKET acceptsock;    aacceptreq * areq;    if ((sockstate = aeGetSockState(iocpState, (int)listensock)) == NULL) {        errno = WSAEINVAL;        return -1;    }    //这里使用了socket的返回值来初始化aeEventLoop中的fd值    acceptsock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);    if (acceptsock == INVALID_SOCKET) {        errno = WSAEINVAL;        return -1;    }    accsockstate = aeGetSockState(iocpState, (int)acceptsock);    if (accsockstate == NULL) {        errno = WSAEINVAL;        return -1;    }    ...

int aeWinAccept(int fd, struct sockaddr *sa, socklen_t *len) {    aeSockState *sockstate;    int acceptsock;    int result;    SOCKADDR *plocalsa;    SOCKADDR *premotesa;    int locallen, remotelen;    aacceptreq * areq;    SOCKET listenSock = (SOCKET)fd;    if ((sockstate = aeGetSockState(iocpState, fd)) == NULL) {        errno = WSAEINVAL;        return SOCKET_ERROR;    }   //在这里取回之前存在aeEventLoop中的socket句柄作为fd    areq = sockstate->reqs;    if (areq == NULL) {        errno = WSAEINVAL;        return SOCKET_ERROR;    }    sockstate->reqs = areq->next;    acceptsock = (int)areq->accept;    ...

int aeCreateFileEvent(aeEventLoop *eventLoop, int fd, int mask,        aeFileProc *proc, void *clientData){    aeFileEvent *fe;    if (fd >= eventLoop->setsize) {        errno = ERANGE;        return AE_ERR;    }    //在这里判断fd是否超过pool的size,并通过fd的值来取得事件    fe = &eventLoop->events[fd];    ...

Windows版本的redis和原版的redis的实现是一样的,重要的是accept的返回值和aeWinAccept所返回的socket句柄逻辑不一样导致windows版本的redis出现了bug.在Linux中,accept的返回是递增的,因此linux版本的redis是可以处理eventLoop->setsize个连接的,而在windows上socket返回的句柄会以大概12的步进增长,所以windows版本的redis就只能处理约eventLoop->setsize/12个连接了.

 

解决方法:

我的解决方法比较hack,我在aeEventLoop中添加一个fd_map的数组,用于把fd映射到0到eventLoop->setsize的值,这样每次从events中存取数据就通过查询fd_map来获取index,从而达到让redis能处理eventLoop->setsize个连接的效果.

 不过由于这个方法比较猥琐,我就没有提交patch了,而是提交了一个issue,不知道下一个版本会不会解决这个问题.