Прямая трансляция аудио с Python и Flask

В настоящее время я борюсь с реализацией простого веб-приложения для потоковой передачи в реальном времени с использованием Python и Flask. Кажется, что я не могу транслировать записанный звук в реальном времени с микрофонного входа сервера на веб-страницу.

server.py

from flask import Flask, render_template, Response
import cv2
import framework
import pyaudio
import audio_processing as audioRec

FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 44100
CHUNK = 1024

audio = pyaudio.PyAudio()


app = Flask(__name__)


@app.route('/')
def index():
    """Video streaming home page."""
    return render_template('index.html')


# Stream routing
@app.route('/video_feed')
def video_feed():
    """Video streaming route. Put this in the src attribute of an img tag."""
    return Response(generateVideo(),
                    mimetype='multipart/x-mixed-replace; boundary=frame')


@app.route("/audio_feed")
def audio_feed():
    """Audio streaming route. Put this in the src attribute of an audio tag."""
    return Response(generateAudio(),
                    mimetype="audio/x-wav")


# Stream generating
def generateVideo():
    """Video streaming generator function."""
    cap = cv2.VideoCapture(0)
    while (cap.isOpened()):
        ret, frame = cap.read()
        output = framework.streamer(frame, 'final')
        cv2.imwrite('signals/currFrame.jpg', output)
        yield (b'--frame\r\n'
               b'Content-Type: image/jpeg\r\n\r\n' + open('signals/currFrame.jpg', 'rb').read() + b'\r\n')


def generateAudio():
    """Audio streaming generator function."""
    currChunk = audioRec.record()
    data_to_stream = genHeader(44100, 32, 1, 200000) + currChunk
    yield data_to_stream

    # with open("signals/audio.wav", "rb") as fwav:
    #     data = fwav.read(1024)
    #     while data:
    #         yield data
    #         data = fwav.read(1024)


def genHeader(sampleRate, bitsPerSample, channels, samples):
    datasize = samples * channels * bitsPerSample // 8
    o = bytes("RIFF",'ascii')                                               # (4byte) Marks file as RIFF
    o += (datasize + 36).to_bytes(4,'little')                               # (4byte) File size in bytes excluding this and RIFF marker
    o += bytes("WAVE",'ascii')                                              # (4byte) File type
    o += bytes("fmt ",'ascii')                                              # (4byte) Format Chunk Marker
    o += (16).to_bytes(4,'little')                                          # (4byte) Length of above format data
    o += (1).to_bytes(2,'little')                                           # (2byte) Format type (1 - PCM)
    o += (channels).to_bytes(2,'little')                                    # (2byte)
    o += (sampleRate).to_bytes(4,'little')                                  # (4byte)
    o += (sampleRate * channels * bitsPerSample // 8).to_bytes(4,'little')  # (4byte)
    o += (channels * bitsPerSample // 8).to_bytes(2,'little')               # (2byte)
    o += (bitsPerSample).to_bytes(2,'little')                               # (2byte)
    o += bytes("data",'ascii')                                              # (4byte) Data Chunk Marker
    o += (datasize).to_bytes(4,'little')                                    # (4byte) Data size in bytes
    return o




if __name__ == '__main__':
    app.run(host='0.0.0.0', debug=True, threaded=True)

audio_processing.py

import pyaudio

FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 44100
CHUNK = 1024

audio = pyaudio.PyAudio()


def record():
    # start Recording
    stream = audio.open(format=FORMAT, channels=CHANNELS,
                    rate=RATE, input=True,
                    frames_per_buffer=CHUNK)
    # print "recording..."
    data = stream.read(CHUNK)
    return data

Я пытаюсь получить текущий фрагмент микрофона, используя audio_processing.py и используя yield, чтобы ответить пользователю на текущие образцы. Видеопоток работает неплохо. Кто-нибудь знает, что я здесь делаю не так?

С уважением, Феликс


person F. Geißler    schedule 28.06.2018    source источник
comment
Просто небольшое примечание: вы не должны постоянно открывать поток PyAudio; т.е. настроить его в вызове функции инициализации или в чем-то подобном до начала потоковой передачи. Затем обращайтесь к объекту потока, чтобы читать из него, когда вам нужно, с помощью метода record(). Или, по крайней мере, закройте его, если хотите и дальше открывать.   -  person WoodyDev    schedule 28.06.2018
comment
Да, вы правы, я немного изменил код. Недавно я добавил процедуру записи pyAudio в server.py в generateAudio (). Функция должна работать правильно прямо сейчас. Единственная проблема в том, что функция byte () не поддерживается в Python2.7, который я сейчас использую. Есть идеи, как написать аналогичную функцию в 2.7? Не удалось найти готовое решение: /   -  person F. Geißler    schedule 28.06.2018
comment
Привет, @ F.Geißler, я хотел посмотреть, как вы вызываете конечную точку @ app.route (/ audio_feed) в своем html-файле. Впервые в этой настройке. Будет большим подспорьем.   -  person Rajesh Rajamani    schedule 21.04.2021


Ответы (1)


вот рабочий пример со встроенным микрофоном вашего устройства: извините за то, что не могу многое объяснить, но вот что я понял для своего приложения!

app.py

from flask import Flask, Response,render_template
import pyaudio

app = Flask(__name__)


FORMAT = pyaudio.paInt16
CHANNELS = 2
RATE = 44100
CHUNK = 1024
RECORD_SECONDS = 5


audio1 = pyaudio.PyAudio()



def genHeader(sampleRate, bitsPerSample, channels):
    datasize = 2000*10**6
    o = bytes("RIFF",'ascii')                                               # (4byte) Marks file as RIFF
    o += (datasize + 36).to_bytes(4,'little')                               # (4byte) File size in bytes excluding this and RIFF marker
    o += bytes("WAVE",'ascii')                                              # (4byte) File type
    o += bytes("fmt ",'ascii')                                              # (4byte) Format Chunk Marker
    o += (16).to_bytes(4,'little')                                          # (4byte) Length of above format data
    o += (1).to_bytes(2,'little')                                           # (2byte) Format type (1 - PCM)
    o += (channels).to_bytes(2,'little')                                    # (2byte)
    o += (sampleRate).to_bytes(4,'little')                                  # (4byte)
    o += (sampleRate * channels * bitsPerSample // 8).to_bytes(4,'little')  # (4byte)
    o += (channels * bitsPerSample // 8).to_bytes(2,'little')               # (2byte)
    o += (bitsPerSample).to_bytes(2,'little')                               # (2byte)
    o += bytes("data",'ascii')                                              # (4byte) Data Chunk Marker
    o += (datasize).to_bytes(4,'little')                                    # (4byte) Data size in bytes
    return o

@app.route('/audio')
def audio():
    # start Recording
    def sound():

        CHUNK = 1024
        sampleRate = 44100
        bitsPerSample = 16
        channels = 2
        wav_header = genHeader(sampleRate, bitsPerSample, channels)

        stream = audio1.open(format=FORMAT, channels=CHANNELS,
                        rate=RATE, input=True,input_device_index=1,
                        frames_per_buffer=CHUNK)
        print("recording...")
        #frames = []
        first_run = True
        while True:
           if first_run:
               data = wav_header + stream.read(CHUNK)
               first_run = False
           else:
               data = stream.read(CHUNK)
           yield(data)

    return Response(sound())

@app.route('/')
def index():
    """Video streaming home page."""
    return render_template('index.html')


if __name__ == "__main__":
    app.run(host='0.0.0.0', debug=True, threaded=True,port=5000)

index.html - в папке шаблонов в текущем каталоге

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>Document</title>
</head>
<body>
    <audio controls>
        <source src="{{ url_for('audio') }}" type="audio/x-wav;codec=pcm">
        Your browser does not support the audio element.
    </audio>
</body>
</html>
person Pytholabs    schedule 08.05.2019
comment
Постарайтесь не публиковать только код ответа, но также объясните OP, что не так с его кодом - person dWinder; 08.05.2019
comment
Конечно ! буду помнить дружище! немного отредактировал - person Pytholabs; 08.05.2019
comment
Привет, я пытаюсь настроить это, и мне удалось заставить его играть, но есть громкий прямоугольный звук, перекрывающий звук. Запись Pyaudio в файл с той же кодировкой, похоже, не имеет эффекта, поэтому я думаю, что с потоковой пост-записью что-то не так. Любая информация о том, что это может быть, будет полезно. Я попытался изменить количество каналов и перепробовал все устройства ввода на своей машине. - person Mr. Negi; 16.01.2020
comment
Вы должны отправить заголовок только один раз; этот код отправляет заголовок с каждым фрагментом. Это вызвало громкий прямоугольный звук, который заметил @ Mr.Negi. - person zzxx53; 03.02.2020
comment
Я применил предложенное вами изменение и убедился, что оно работает. Я отправил запрос на редактирование с изменением ответа, так как у меня недостаточно репутации для редактирования без подтверждения. Спасибо за ваше понимание здесь, как неспециалист по потоковому аудио, я понятия не имел, что это была проблема. - person Mr. Negi; 05.02.2020