Tornado Web и потоки

Я новичок в Tornado и Python Threads. Я хотел бы добиться следующего: у меня есть веб-сервер Tornado, который принимает запросы от пользователей. Я хочу хранить некоторые данные локально и периодически записывать их в базу данных в виде массовых вставок.

import tornado.ioloop
import tornado.web
import threading

# Keep userData locally in memory
UserData = {}

def background(f):
    """
    a threading decorator
    use @background above the function you want to thread
    (run in the background)
    """
    def bg_f(*a, **kw):
        threading.Thread(target=f, args=a, kwargs=kw).start()
    return bg_f

@background
def PostRecentDataToDBThread(iter = -1):
    i = 0
    while iter == -1 or i < iter: 
        #send data to DB
        UserData = {}
        time.sleep(5*60)
        i = i + 1

class AddHandler(tornado.web.RequestHandler):
    def post(self):
        userID = self.get_argument('ui')
        Data = self.get_argument('data')

        UserData[userID] = Data 


if __name__ == "__main__":
    tornado.options.parse_command_line()

    print("start PostRecentDataToDBThread")
    ### Here we start a thread that periodically sends data to the data base.
    ### The thread is called every 5min. 
    PostRecentDataToDBThread(-1)

    print("Started tornado on port: %d" % options.port)

    application = tornado.web.Application([
        (r"/", MainHandler),
        (r"/add", AddHandler)
    ])
    application.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

Это хороший способ достичь моей цели? Я хотел бы минимизировать время блокировки сервера. Или мне лучше использовать gevent или что-то еще? Могу ли я столкнуться с проблемами при доступе к UserData как из Tornado, так и из потока? Согласованность данных здесь не так важна, пока не происходит сбой сервера.


python tornado
person Mjdgard    schedule 21.10.2011    source источник

Ответы (1)


arrow_upward
7
arrow_downward

Tornado не предназначен для использования с многопоточностью. Он основан на epoll для переключения контекста между различными частями кода.

В общем, я бы рекомендовал отправлять данные в отдельный рабочий процесс через очередь сообщений (например, pika+RabbitMQ, он очень хорошо интегрируется с Tornado) . Рабочие процессы могут накапливать сообщения с данными и записывать их в базу данных в пакетном режиме, или вы можете реализовать любую другую логику обработки данных с этой настройкой.

В качестве альтернативы вы можете использовать, например, Redis с brukva, чтобы просто асинхронно записывать входящие данные в базу данных в памяти, которая, в свою очередь, будет асинхронно сбросить его на диск в зависимости от конфигурации Redis.

person Ivan Blinkov    schedule 06.11.2011