Асинхронная версия библиотеки

[MarshalX]

Очень хотелось бы иметь общую кодовую базу в репозитории с sync/async версией библиотеки.

Подходы, которые видел в других библиотеках:

• Разные ветки в одном репозитории с sync и async версией.
• Два разных класса клиентов и запросов в них. У нас сейчас есть Client, можно написать AsyncClient. В нем будет использоваться класс AsyncRequest и выполнять запросы через aiohttp. Это покроет большую часть проекта, но, к сожалению, остаётся проблема в шорткатами в классах объектов. Хоть они и используют экземляр класса client.request, а сам client пробрасывается в каждый объект, но сами шорткаты объявлены без ключевого слова async, а запрос вызывается без await.
• Использовать декораторы для методов, для запуска в async/sync.

Если у вас свое видение или опыт в подобном – поделитесь, пожалуйста ✨

[MarshalX]

Пример декоратора со стака:

def wrapper(*args, **kwargs):
        if not asyncio.iscoroutinefunction(func):
            with wrapping_logic():
                return func(*args, **kwargs)
        else:
            async def tmp():
                with wrapping_logic():
                    return (await func(*args, **kwargs))
            return tmp()
    return wrapper

Какие подводные камни вы видите в этом?

[ZhymabekRoman]

Я думаю лучше создать две ветки с синхронной и асинхронной версии библиотеки, легче будет код поддерживать

[MarshalX]

Я топлю просто за создание AsyncClient рядом с Client. И создание асинхронного Request класса на aiohttp.

Сделать два варианта установки через extras require. Будет так:
pip install yandex-music[sync] - это установит requests
pip install yandex-music[async] - это установит aiohttp

Что касается сокращений у моделей, которые дергают классы Client, тооо... Создать каждому текущему сокращению по асинхронной альтернативе. Аля track.fetch_track() и await track.fetch_track_async()

Максимально просто и дешево

[glebliutsko]

Так как все модели вызывают методы клиента максимум один раз, модели можно не трогать совсем. Они могут спокойно возвращать корутину при использовании AsyncClient'а. Нужно будеть только в typehint добавить возвращаемое значение typing.Coroutine.

Было:

class Artist:
    ...
    def get_albums(...) -> Optional['ArtistAlbums']:
        ...

Стало:

from typing import Coroutine, Union

class Artist:
    ...
    def get_albums(...) -> Union[Coroutine, Optional['ArtistAlbums']]:
        ...

Выглядеть это все будет примерно так:

Клик

import asyncio
import time
from typing import Coroutine, Union


class Client():
    def test_method(self) -> str:
        print('Method')
        time.sleep(5)
        return 'Return'


class ClientAsync():
    async def test_method(self) -> str:
        print('Async method')
        await asyncio.sleep(5)
        return 'Async retrun'



class TestModel:
    def __init__(self, client: Client):
        self.client = client

    def short(self) -> Union[Coroutine, str]:
        return self.client.test_method()


# Test sync
bar = TestModel(Client())
bar_result = bar.short()
print(bar_result)

# Test async
foo = TestModel(ClientAsync())
foo_result = asyncio.run(foo.short())
print(foo_result)

[MarshalX]

Асинхронная версия библиотеки была добавлена тут 62741be

Финальное решение общими словами в 3 шага:

• Берем request.py, копируем как request_async.py. Приводим к работе с aiohttp, благо API у них весьма похожие с requests. Добавляем async в сигнатуры, где надо делаем await. Метод download реализовываем через aiofiles с минимальными изменениями.
• Берем наш client.py и копируем как client_async.py. Меняем импорт Request на асинхронный. Меняем сигнатуры методов добавляя async, добавляем await к вызовам методов класса Request.
• Берем все наши сокращения у моделей и создаём им альтернативный async версии с суффиксом "async".

Все копирования и применения патчей работают автоматически через str.replace :) Добавление асинхронности заняло ~5 часов таким макаром