From mboxrd@z Thu Jan  1 00:00:00 1970
Return-Path: <dev-bounces@dpdk.org>
Received: from dpdk.org (dpdk.org [92.243.14.124])
	by inbox.dpdk.org (Postfix) with ESMTP id C5D5DA04AF;
	Thu, 20 Aug 2020 23:06:02 +0200 (CEST)
Received: from [92.243.14.124] (localhost [127.0.0.1])
	by dpdk.org (Postfix) with ESMTP id 980C31BEC4;
	Thu, 20 Aug 2020 23:06:01 +0200 (CEST)
Received: from mga04.intel.com (mga04.intel.com [192.55.52.120])
 by dpdk.org (Postfix) with ESMTP id 064E55F69
 for <dev@dpdk.org>; Thu, 20 Aug 2020 23:05:58 +0200 (CEST)
IronPort-SDR: RI7N88iXlE43kOU5dhHwrEiYKyKuebSBnx1EQ/xG9n+rd3yMx2gusHbhjqZQluVDhMb5P83fWs
 FSjZkzGEjbNg==
X-IronPort-AV: E=McAfee;i="6000,8403,9719"; a="152820384"
X-IronPort-AV: E=Sophos;i="5.76,334,1592895600"; d="scan'208";a="152820384"
X-Amp-Result: SKIPPED(no attachment in message)
X-Amp-File-Uploaded: False
Received: from orsmga003.jf.intel.com ([10.7.209.27])
 by fmsmga104.fm.intel.com with ESMTP/TLS/ECDHE-RSA-AES256-GCM-SHA384;
 20 Aug 2020 14:05:57 -0700
IronPort-SDR: 54hu9Enz6t0ZvnCo5yvHn5GTG+Bobj9FTvbArdAwrebc/0OAe1Bkx/uEcOdvfzbvM5o66WGQ08
 Wom0miGcMcCQ==
X-ExtLoop1: 1
X-IronPort-AV: E=Sophos;i="5.76,334,1592895600"; d="scan'208";a="293618475"
Received: from fmsmsx603-2.cps.intel.com (HELO fmsmsx603.amr.corp.intel.com)
 ([10.18.84.213])
 by orsmga003.jf.intel.com with ESMTP; 20 Aug 2020 14:05:57 -0700
Received: from fmsmsx607.amr.corp.intel.com (10.18.126.87) by
 fmsmsx603.amr.corp.intel.com (10.18.126.83) with Microsoft SMTP Server
 (version=TLS1_2, cipher=TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256) id
 15.1.1713.5; Thu, 20 Aug 2020 14:05:56 -0700
Received: from FMSEDG002.ED.cps.intel.com (10.1.192.134) by
 fmsmsx607.amr.corp.intel.com (10.18.126.87) with Microsoft SMTP Server
 (version=TLS1_2, cipher=TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256) id 15.1.1713.5
 via Frontend Transport; Thu, 20 Aug 2020 14:05:56 -0700
Received: from NAM02-BL2-obe.outbound.protection.outlook.com (104.47.38.54) by
 edgegateway.intel.com (192.55.55.69) with Microsoft SMTP Server
 (TLS) id 14.3.439.0; Thu, 20 Aug 2020 14:05:56 -0700
ARC-Seal: i=1; a=rsa-sha256; s=arcselector9901; d=microsoft.com; cv=none;
 b=ix2rWp1CR2sKkOeOsbAyXoNcGE1A9rj/mqtsNuoJ7LToaTbZVudLECh2k8EbvWaOF9L4CguWxn1Oc3Yc8kksv6QV/VCeYjjofbZuMq4tJt1+rFM7MorRL35I2tHzKgbmzXgj7IQDvkTJmu5JlCeygC1G37x9x/0xAeR9JjPWX5M4uKiTaWP14027nloh/m4m06IJnfdVf1aFkfvKJqBVXN6jE/LqUsV7/pjhxQh7iMnk7uYj/34St+3LEFnY6fmoX1BDLhT7VsKD8Q0x363Tf43UXBtl8yUcr0hXkMxJAXED72r8hzEjrVEtkb+6rY0i6WQNfpc4UhpopwAjupHfeg==
ARC-Message-Signature: i=1; a=rsa-sha256; c=relaxed/relaxed; d=microsoft.com; 
 s=arcselector9901;
 h=From:Date:Subject:Message-ID:Content-Type:MIME-Version:X-MS-Exchange-SenderADCheck;
 bh=1BfKIySJZigx//mdZE0EIJG+SCe2OgHdBl5lf7fjsBg=;
 b=O1brarLJ6qR7kqQ8DjUUGm8zygvxm3bnGsKRAyHIa9W7LUjTc6vjoI48uravyAUZ4N/PyYO99mahqGdXBzdC2fq1kcmkLKOVcc6BAbuOmJ2cwSKUK/6eEU9Woudv46J+ZjGdz5XISzHyTfc2iNm6rSg3KLiXrCLNdLeyr3I0Zk3lY7pRqVs11QROUU1TgthbkzFRyznK5SIeA3xS12utbapP/E1aHxF+Vse0k1nRwmTnvAeLotRpJ+u2Np0mKvAsPcENtyOTO4jqjHPqDMJz5tMNbirWGqydH71yd65v7y2Ei0QFfr5OTvQXHgncE75SJmrrfqnM0pYzD/RJ2nkebw==
ARC-Authentication-Results: i=1; mx.microsoft.com 1; spf=pass
 smtp.mailfrom=intel.com; dmarc=pass action=none header.from=intel.com;
 dkim=pass header.d=intel.com; arc=none
DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=intel.onmicrosoft.com; 
 s=selector2-intel-onmicrosoft-com;
 h=From:Date:Subject:Message-ID:Content-Type:MIME-Version:X-MS-Exchange-SenderADCheck;
 bh=1BfKIySJZigx//mdZE0EIJG+SCe2OgHdBl5lf7fjsBg=;
 b=oMwBzt+5SCuyMbUohIhLWeYQDYhkmA6YZxbbNWyhRz+bXO00b08/4ID7Va+m2uSGp46bUXVICYrctiLjyIqJlLHBXv5pLGHpV0IuBDcwldc6UEGK/c7qaGrp7Gr4R9xcGDGi0y7Hrjnj7TfgCd6KBHZRoVVlZq9eGT00EYVytu4=
Received: from BY5PR11MB4451.namprd11.prod.outlook.com (2603:10b6:a03:1cb::30)
 by BYAPR11MB3511.namprd11.prod.outlook.com (2603:10b6:a03:84::30)
 with Microsoft SMTP Server (version=TLS1_2,
 cipher=TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384) id 15.20.3305.26; Thu, 20 Aug
 2020 21:05:53 +0000
Received: from BY5PR11MB4451.namprd11.prod.outlook.com
 ([fe80::4162:97e1:7d04:a508]) by BY5PR11MB4451.namprd11.prod.outlook.com
 ([fe80::4162:97e1:7d04:a508%7]) with mapi id 15.20.3305.025; Thu, 20 Aug 2020
 21:05:53 +0000
From: "Chautru, Nicolas" <nicolas.chautru@intel.com>
To: Dave Burley <dave.burley@accelercomm.com>, "dev@dpdk.org" <dev@dpdk.org>
CC: "Richardson, Bruce" <bruce.richardson@intel.com>
Thread-Topic: [dpdk-dev] [PATCH v3 05/11] baseband/acc100: add LDPC processing
 functions
Thread-Index: AQHWdv+jjCtfwQxcIUqXzTyIVBLYtKlBFMBggAABzgCAAGWgMA==
Date: Thu, 20 Aug 2020 21:05:53 +0000
Message-ID: <BY5PR11MB44516B108871A3CA653408C4F85A0@BY5PR11MB4451.namprd11.prod.outlook.com>
References: <1597796731-57841-1-git-send-email-nicolas.chautru@intel.com>,
 <1597796731-57841-6-git-send-email-nicolas.chautru@intel.com>
 <LOYP265MB217410714FE31461B1E23B55EB5A0@LOYP265MB2174.GBRP265.PROD.OUTLOOK.COM>,
 <BY5PR11MB4451E2B64A4F4A0F70E0DBEEF85A0@BY5PR11MB4451.namprd11.prod.outlook.com>
 <LOYP265MB217494F86B41F29776C3F8CDEB5A0@LOYP265MB2174.GBRP265.PROD.OUTLOOK.COM>
In-Reply-To: <LOYP265MB217494F86B41F29776C3F8CDEB5A0@LOYP265MB2174.GBRP265.PROD.OUTLOOK.COM>
Accept-Language: en-US
Content-Language: en-US
X-MS-Has-Attach: 
X-MS-TNEF-Correlator: 
dlp-product: dlpe-windows
dlp-reaction: no-action
dlp-version: 11.5.1.3
authentication-results: accelercomm.com; dkim=none (message not signed)
 header.d=none;accelercomm.com; dmarc=none action=none header.from=intel.com;
x-originating-ip: [45.28.143.88]
x-ms-publictraffictype: Email
x-ms-office365-filtering-correlation-id: 385f8fe1-1159-429f-78b0-08d8454cd320
x-ms-traffictypediagnostic: BYAPR11MB3511:
x-ld-processed: 46c98d88-e344-4ed4-8496-4ed7712e255d,ExtAddr
x-ms-exchange-transport-forked: True
x-microsoft-antispam-prvs: <BYAPR11MB351133D0FBDC0C8C770D1D2AF85A0@BYAPR11MB3511.namprd11.prod.outlook.com>
x-ms-oob-tlc-oobclassifiers: OLM:2043;
x-ms-exchange-senderadcheck: 1
x-microsoft-antispam: BCL:0;
x-microsoft-antispam-message-info: dYcjweYknzisOpJmPDUNuWmAhO+IgMf8gzdNoptypItpwAHjWc9frMc+XxDZAIl7g4Tx70JG4lbfHEMpXn06SgSsEzClvbE+A6AAYhIjIKIhYwObksVaU0tB+a54TFhS4SCnEZUksz5rWv8RtoLHr8gdrjYKAgybwAgYY9KyMSwsPQGRpvbglWWnCpAuY0ojiyyQIEhZdp5IMPKs2+MTBDLpwHOYEo/RL858D0VhlG4GYtdjO1XTCdVo1G9YNjYntbZ83QYOvdDVRqADe5jr+a1ciRImznU7BLSM+5z1bVLt/w2KTNHNiQTP/RC2XdXyQTW/5vZcJvWy+l3g7unxFypw03CbSGdXrzoqN3joJtoBw8ssb1iFc8g+ITGVxdouHHL76MxGIJlvwqkms1qhENMBk+imbYptONeLeX0JYvJcGELiBEyny/sfCw3LgbhSAl7T6hvGDsQJ3t44u4G5Mg==
x-forefront-antispam-report: CIP:255.255.255.255; CTRY:; LANG:en; SCL:1; SRV:;
 IPV:NLI; SFV:NSPM; H:BY5PR11MB4451.namprd11.prod.outlook.com; PTR:; CAT:NONE;
 SFS:(4636009)(136003)(39860400002)(396003)(376002)(346002)(366004)(316002)(110136005)(7696005)(8936002)(4326008)(6506007)(5660300002)(30864003)(966005)(53546011)(71200400001)(76116006)(107886003)(33656002)(86362001)(64756008)(52536014)(55016002)(9686003)(83380400001)(66446008)(66476007)(66556008)(186003)(26005)(2906002)(66946007)(478600001)(461764006)(559001)(579004);
 DIR:OUT; SFP:1102; 
x-ms-exchange-antispam-messagedata: N1X2hVGjpUdRqwDlh9wF0Ae0rHxj/I/quSiMdv2gjBW3riWJkdFc2tVbtqNEL5WJt6eHNlqwQyytyH/uebXG8QrqCib5agn8mlD6KQXj75mcEg8mPkmQ/bhH0+uHEbmxe3DK+dmPn9EjyjTfPA4TSc+OcfXPJVCW2JoBnRevUJJaGkfAuOf7+sLblL+D2MWZhYiPvU27ZOMNxsM0X3cycGICjU9prOTrrkTwxUwoqa6/1zUX7J21qanxCddPepYR4hGIzlCCFRzMCzgpP+MaZDlJIu0XnOBPX6iQwM4XPFKpOuODzmAX7n4upuhzd9q6VAvfKS3ncH0z6zF/MM/pSuCxFR+I/Wzu1iScJzeGmGOmsy/kCPIq39rLn4qDTCZW+m6Fh9LKhiKN7DuSiVcohIiawSXEddl0af5tO6qx/Yt36GiggPWZXkfBSDVCCig2Z6eVgv82toMdILIUo52H3tR2QXukGjwfHgL83aDu5jeVkrkLNn/wzKk9P3o3Q5R16c1syazsrv/fOZbNuz1ZpGeAQ6HKWE9bv94UCGxWr+3B0f0tEOZ3ZJGEz6HHpDcQKCstX8zjMMq9FRKazNe9F8zqhEfHgMHBh2xWOjeMGSkwL0ARvvMtbJc+HtgcQX0jBNoDZtAYYPAHUDtS6kupaQ==
Content-Type: text/plain; charset="iso-8859-1"
Content-Transfer-Encoding: quoted-printable
MIME-Version: 1.0
X-MS-Exchange-CrossTenant-AuthAs: Internal
X-MS-Exchange-CrossTenant-AuthSource: BY5PR11MB4451.namprd11.prod.outlook.com
X-MS-Exchange-CrossTenant-Network-Message-Id: 385f8fe1-1159-429f-78b0-08d8454cd320
X-MS-Exchange-CrossTenant-originalarrivaltime: 20 Aug 2020 21:05:53.2748 (UTC)
X-MS-Exchange-CrossTenant-fromentityheader: Hosted
X-MS-Exchange-CrossTenant-id: 46c98d88-e344-4ed4-8496-4ed7712e255d
X-MS-Exchange-CrossTenant-mailboxtype: HOSTED
X-MS-Exchange-CrossTenant-userprincipalname: Uk/KmHAGzMqQjXw4rae1cgYHw8+8KyoGyLf7kGsWeu1S9MT0C+LEH1zCT6uvbF/MB3XVRQCQ8eCHOTvO8Mx4n8sWLXLhtTLijrOyJbn4TBI=
X-MS-Exchange-Transport-CrossTenantHeadersStamped: BYAPR11MB3511
X-OriginatorOrg: intel.com
Subject: Re: [dpdk-dev] [PATCH v3 05/11] baseband/acc100: add LDPC
	processing	functions
X-BeenThere: dev@dpdk.org
X-Mailman-Version: 2.1.15
Precedence: list
List-Id: DPDK patches and discussions <dev.dpdk.org>
List-Unsubscribe: <https://mails.dpdk.org/options/dev>,
 <mailto:dev-request@dpdk.org?subject=unsubscribe>
List-Archive: <http://mails.dpdk.org/archives/dev/>
List-Post: <mailto:dev@dpdk.org>
List-Help: <mailto:dev-request@dpdk.org?subject=help>
List-Subscribe: <https://mails.dpdk.org/listinfo/dev>,
 <mailto:dev-request@dpdk.org?subject=subscribe>
Errors-To: dev-bounces@dpdk.org
Sender: "dev" <dev-bounces@dpdk.org>


> From: Dave Burley <dave.burley@accelercomm.com>>=20
> Hi Nic
>=20
> Thank you - it would be useful to have further documentation for clarific=
ation
> as the data format isn't explicitly documented in BBDEV.

Thanks Dave. Just updated on this other patch -> https://patches.dpdk.org/p=
atch/75793/
Feel free to ack or let me know if you need more details.=20

> Best Regards
>=20
> Dave
>=20
>=20
> From: Chautru, Nicolas <nicolas.chautru@intel.com>
> Sent: 20 August 2020 15:52
> To: Dave Burley <dave.burley@accelercomm.com>; dev@dpdk.org
> <dev@dpdk.org>
> Cc: Richardson, Bruce <bruce.richardson@intel.com>
> Subject: RE: [dpdk-dev] [PATCH v3 05/11] baseband/acc100: add LDPC
> processing functions
>=20
> Hi Dave,
> This is assuming 6 bits LLR compression packing (ie. first 2 MSB dropped)=
.
> Similar to HARQ compression.
> Let me know if unclear, I can clarify further in documentation if not exp=
licit
> enough.
> Thanks
> Nic
>=20
> > -----Original Message-----
> > From: Dave Burley <dave.burley@accelercomm.com>
> > Sent: Thursday, August 20, 2020 7:39 AM
> > To: Chautru, Nicolas <nicolas.chautru@intel.com>; dev@dpdk.org
> > Cc: Richardson, Bruce <bruce.richardson@intel.com>
> > Subject: Re: [dpdk-dev] [PATCH v3 05/11] baseband/acc100: add LDPC
> > processing functions
> >
> > Hi Nic,
> >
> > As you've now specified the use of RTE_BBDEV_LDPC_LLR_COMPRESSION for
> > this PMB, please could you confirm what the packed format of the LLRs i=
n
> > memory looks like?
> >
> > Best Regards
> >
> > Dave Burley
> >
> >
> > From: dev <dev-bounces@dpdk.org> on behalf of Nicolas Chautru
> > <nicolas.chautru@intel.com>
> > Sent: 19 August 2020 01:25
> > To: dev@dpdk.org <dev@dpdk.org>; akhil.goyal@nxp.com
> > <akhil.goyal@nxp.com>
> > Cc: bruce.richardson@intel.com <bruce.richardson@intel.com>; Nicolas
> > Chautru <nicolas.chautru@intel.com>
> > Subject: [dpdk-dev] [PATCH v3 05/11] baseband/acc100: add LDPC processi=
ng
> > functions
> >
> > Adding LDPC decode and encode processing operations
> >
> > Signed-off-by: Nicolas Chautru <nicolas.chautru@intel.com>
> > ---
> > =A0drivers/baseband/acc100/rte_acc100_pmd.c | 1625
> > +++++++++++++++++++++++++++++-
> > =A0drivers/baseband/acc100/rte_acc100_pmd.h |=A0=A0=A0 3 +
> > =A02 files changed, 1626 insertions(+), 2 deletions(-)
> >
> > diff --git a/drivers/baseband/acc100/rte_acc100_pmd.c
> > b/drivers/baseband/acc100/rte_acc100_pmd.c
> > index 7a21c57..5f32813 100644
> > --- a/drivers/baseband/acc100/rte_acc100_pmd.c
> > +++ b/drivers/baseband/acc100/rte_acc100_pmd.c
> > @@ -15,6 +15,9 @@
> > =A0#include <rte_hexdump.h>
> > =A0#include <rte_pci.h>
> > =A0#include <rte_bus_pci.h>
> > +#ifdef RTE_BBDEV_OFFLOAD_COST
> > +#include <rte_cycles.h>
> > +#endif
> >
> > =A0#include <rte_bbdev.h>
> > =A0#include <rte_bbdev_pmd.h>
> > @@ -449,7 +452,6 @@
> > =A0=A0=A0=A0=A0=A0=A0=A0 return 0;
> > =A0}
> >
> > -
> > =A0/**
> > =A0 * Report a ACC100 queue index which is free
> > =A0 * Return 0 to 16k for a valid queue_idx or -1 when no queue is avai=
lable
> > @@ -634,6 +636,46 @@
> > =A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_device *d =3D dev->data->dev_pri=
vate;
> >
> > =A0=A0=A0=A0=A0=A0=A0=A0 static const struct rte_bbdev_op_cap bbdev_cap=
abilities[] =3D {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .ty=
pe=A0=A0 =3D RTE_BBDEV_OP_LDPC_ENC,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .ca=
p.ldpc_enc =3D {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 .capability_flags =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_RATE_MATCH |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_CRC_24B_ATTACH=
 |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_INTERLEAVER_BY=
PASS,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 .num_buffers_src =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_B=
BDEV_LDPC_MAX_CODE_BLOCKS,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 .num_buffers_dst =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_B=
BDEV_LDPC_MAX_CODE_BLOCKS,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 },
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .ty=
pe=A0=A0 =3D RTE_BBDEV_OP_LDPC_DEC,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .ca=
p.ldpc_dec =3D {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .ca=
pability_flags =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_CRC_TYPE_24B_CHECK |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_CRC_TYPE_24B_DROP |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_HQ_COMBINE_IN_ENABLE |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_HQ_COMBINE_OUT_ENABLE |
> > +#ifdef ACC100_EXT_MEM
> >
> +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_INTERNAL_HARQ_MEMORY_IN_ENABL
> > E |
> >
> +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_INTERNAL_HARQ_MEMORY_OUT_ENA
> > BLE |
> > +#endif
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_ITERATION_STOP_ENABLE |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_DEINTERLEAVER_BYPASS |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_DECODE_BYPASS |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_DEC_SCATTER_GATHER |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_HARQ_6BIT_COMPRESSION |
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_LLR_COMPRESSION,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .ll=
r_size =3D 8,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .ll=
r_decimals =3D 1,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .nu=
m_buffers_src =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_MAX_CODE_BLOCK=
S,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .nu=
m_buffers_hard_out =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_MAX_CODE_BLOCK=
S,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 .nu=
m_buffers_soft_out =3D 0,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 },
> > =A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_END_OF_CAPAB=
ILITIES_LIST()
> > =A0=A0=A0=A0=A0=A0=A0=A0 };
> >
> > @@ -669,9 +711,14 @@
> > =A0=A0=A0=A0=A0=A0=A0=A0 dev_info->cpu_flag_reqs =3D NULL;
> > =A0=A0=A0=A0=A0=A0=A0=A0 dev_info->min_alignment =3D 64;
> > =A0=A0=A0=A0=A0=A0=A0=A0 dev_info->capabilities =3D bbdev_capabilities;
> > +#ifdef ACC100_EXT_MEM
> > =A0=A0=A0=A0=A0=A0=A0=A0 dev_info->harq_buffer_size =3D d->ddr_size;
> > +#else
> > +=A0=A0=A0=A0=A0=A0 dev_info->harq_buffer_size =3D 0;
> > +#endif
> > =A0}
> >
> > +
> > =A0static const struct rte_bbdev_ops acc100_bbdev_ops =3D {
> > =A0=A0=A0=A0=A0=A0=A0=A0 .setup_queues =3D acc100_setup_queues,
> > =A0=A0=A0=A0=A0=A0=A0=A0 .close =3D acc100_dev_close,
> > @@ -696,6 +743,1577 @@
> > =A0=A0=A0=A0=A0=A0=A0=A0 {.device_id =3D 0},
> > =A0};
> >
> > +/* Read flag value 0/1 from bitmap */
> > +static inline bool
> > +check_bit(uint32_t bitmap, uint32_t bitmask)
> > +{
> > +=A0=A0=A0=A0=A0=A0 return bitmap & bitmask;
> > +}
> > +
> > +static inline char *
> > +mbuf_append(struct rte_mbuf *m_head, struct rte_mbuf *m, uint16_t len)
> > +{
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(len > rte_pktmbuf_tailroom(m)))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return NULL;
> > +
> > +=A0=A0=A0=A0=A0=A0 char *tail =3D (char *)m->buf_addr + m->data_off + =
m->data_len;
> > +=A0=A0=A0=A0=A0=A0 m->data_len =3D (uint16_t)(m->data_len + len);
> > +=A0=A0=A0=A0=A0=A0 m_head->pkt_len=A0 =3D (m_head->pkt_len + len);
> > +=A0=A0=A0=A0=A0=A0 return tail;
> > +}
> > +
> > +/* Compute value of k0.
> > + * Based on 3GPP 38.212 Table 5.4.2.1-2
> > + * Starting position of different redundancy versions, k0
> > + */
> > +static inline uint16_t
> > +get_k0(uint16_t n_cb, uint16_t z_c, uint8_t bg, uint8_t rv_index)
> > +{
> > +=A0=A0=A0=A0=A0=A0 if (rv_index =3D=3D 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return 0;
> > +=A0=A0=A0=A0=A0=A0 uint16_t n =3D (bg =3D=3D 1 ? N_ZC_1 : N_ZC_2) * z_=
c;
> > +=A0=A0=A0=A0=A0=A0 if (n_cb =3D=3D n) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (rv_index =3D=3D 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
urn (bg =3D=3D 1 ? K0_1_1 : K0_1_2) * z_c;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 else if (rv_index =3D=3D 2)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
urn (bg =3D=3D 1 ? K0_2_1 : K0_2_2) * z_c;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 else
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
urn (bg =3D=3D 1 ? K0_3_1 : K0_3_2) * z_c;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 /* LBRM case - includes a division by N */
> > +=A0=A0=A0=A0=A0=A0 if (rv_index =3D=3D 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return (((bg =3D=3D 1 ? K0_=
1_1 : K0_1_2) * n_cb)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 / n) * z_c;
> > +=A0=A0=A0=A0=A0=A0 else if (rv_index =3D=3D 2)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return (((bg =3D=3D 1 ? K0_=
2_1 : K0_2_2) * n_cb)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 / n) * z_c;
> > +=A0=A0=A0=A0=A0=A0 else
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return (((bg =3D=3D 1 ? K0_=
3_1 : K0_3_2) * n_cb)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 / n) * z_c;
> > +}
> > +
> > +/* Fill in a frame control word for LDPC encoding. */
> > +static inline void
> > +acc100_fcw_le_fill(const struct rte_bbdev_enc_op *op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_fcw_le *fcw, =
int num_cb)
> > +{
> > +=A0=A0=A0=A0=A0=A0 fcw->qm =3D op->ldpc_enc.q_m;
> > +=A0=A0=A0=A0=A0=A0 fcw->nfiller =3D op->ldpc_enc.n_filler;
> > +=A0=A0=A0=A0=A0=A0 fcw->BG =3D (op->ldpc_enc.basegraph - 1);
> > +=A0=A0=A0=A0=A0=A0 fcw->Zc =3D op->ldpc_enc.z_c;
> > +=A0=A0=A0=A0=A0=A0 fcw->ncb =3D op->ldpc_enc.n_cb;
> > +=A0=A0=A0=A0=A0=A0 fcw->k0 =3D get_k0(fcw->ncb, fcw->Zc, op->ldpc_enc.=
basegraph,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op-=
>ldpc_enc.rv_index);
> > +=A0=A0=A0=A0=A0=A0 fcw->rm_e =3D op->ldpc_enc.cb_params.e;
> > +=A0=A0=A0=A0=A0=A0 fcw->crc_select =3D check_bit(op->ldpc_enc.op_flags=
,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_CRC_24B_ATTACH);
> > +=A0=A0=A0=A0=A0=A0 fcw->bypass_intlv =3D check_bit(op->ldpc_enc.op_fla=
gs,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_INTERLEAVER_BYPASS);
> > +=A0=A0=A0=A0=A0=A0 fcw->mcb_count =3D num_cb;
> > +}
> > +
> > +/* Fill in a frame control word for LDPC decoding. */
> > +static inline void
> > +acc100_fcw_ld_fill(const struct rte_bbdev_dec_op *op, struct
> acc100_fcw_ld
> > *fcw,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 union acc100_harq_layout_da=
ta *harq_layout)
> > +{
> > +=A0=A0=A0=A0=A0=A0 uint16_t harq_out_length, harq_in_length, ncb_p, k0=
_p, parity_offset;
> > +=A0=A0=A0=A0=A0=A0 uint16_t harq_index;
> > +=A0=A0=A0=A0=A0=A0 uint32_t l;
> > +=A0=A0=A0=A0=A0=A0 bool harq_prun =3D false;
> > +
> > +=A0=A0=A0=A0=A0=A0 fcw->qm =3D op->ldpc_dec.q_m;
> > +=A0=A0=A0=A0=A0=A0 fcw->nfiller =3D op->ldpc_dec.n_filler;
> > +=A0=A0=A0=A0=A0=A0 fcw->BG =3D (op->ldpc_dec.basegraph - 1);
> > +=A0=A0=A0=A0=A0=A0 fcw->Zc =3D op->ldpc_dec.z_c;
> > +=A0=A0=A0=A0=A0=A0 fcw->ncb =3D op->ldpc_dec.n_cb;
> > +=A0=A0=A0=A0=A0=A0 fcw->k0 =3D get_k0(fcw->ncb, fcw->Zc, op->ldpc_dec.=
basegraph,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op-=
>ldpc_dec.rv_index);
> > +=A0=A0=A0=A0=A0=A0 if (op->ldpc_dec.code_block_mode =3D=3D 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->rm_e =3D op->ldpc_dec.=
cb_params.e;
> > +=A0=A0=A0=A0=A0=A0 else
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->rm_e =3D (op->ldpc_dec=
.tb_params.r <
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op->ldpc_dec.tb_params.cab) ?
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->l=
dpc_dec.tb_params.ea :
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->l=
dpc_dec.tb_params.eb;
> > +
> > +=A0=A0=A0=A0=A0=A0 fcw->hcin_en =3D check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_HQ_COMBINE_IN_ENABLE);
> > +=A0=A0=A0=A0=A0=A0 fcw->hcout_en =3D check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_HQ_COMBINE_OUT_ENABLE);
> > +=A0=A0=A0=A0=A0=A0 fcw->crc_select =3D check_bit(op->ldpc_dec.op_flags=
,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_CRC_TYPE_24B_CHECK);
> > +=A0=A0=A0=A0=A0=A0 fcw->bypass_dec =3D check_bit(op->ldpc_dec.op_flags=
,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_DECODE_BYPASS);
> > +=A0=A0=A0=A0=A0=A0 fcw->bypass_intlv =3D check_bit(op->ldpc_dec.op_fla=
gs,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_DEINTERLEAVER_BYPASS);
> > +=A0=A0=A0=A0=A0=A0 if (op->ldpc_dec.q_m =3D=3D 1) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->bypass_intlv =3D 1;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->qm =3D 2;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 fcw->hcin_decomp_mode =3D check_bit(op->ldpc_dec.op=
_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_HARQ_6BIT_COMPRESSION);
> > +=A0=A0=A0=A0=A0=A0 fcw->hcout_comp_mode =3D check_bit(op->ldpc_dec.op_=
flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_HARQ_6BIT_COMPRESSION);
> > +=A0=A0=A0=A0=A0=A0 fcw->llr_pack_mode =3D check_bit(op->ldpc_dec.op_fl=
ags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_LLR_COMPRESSION);
> > +=A0=A0=A0=A0=A0=A0 harq_index =3D op->ldpc_dec.harq_combined_output.of=
fset /
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ACC=
100_HARQ_OFFSET;
> > +#ifdef ACC100_EXT_MEM
> > +=A0=A0=A0=A0=A0=A0 /* Limit cases when HARQ pruning is valid */
> > +=A0=A0=A0=A0=A0=A0 harq_prun =3D ((op->ldpc_dec.harq_combined_output.o=
ffset %
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ACC=
100_HARQ_OFFSET) =3D=3D 0) &&
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (op=
->ldpc_dec.harq_combined_output.offset <=3D UINT16_MAX
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 * A=
CC100_HARQ_OFFSET);
> > +#endif
> > +=A0=A0=A0=A0=A0=A0 if (fcw->hcin_en > 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_in_length =3D op->ldpc=
_dec.harq_combined_input.length;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (fcw->hcin_decomp_mode >=
 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 har=
q_in_length =3D harq_in_length * 8 / 6;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_in_length =3D RTE_ALIG=
N(harq_in_length, 64);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if ((harq_layout[harq_index=
].offset > 0) & harq_prun) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte=
_bbdev_log_debug("HARQ IN offset unexpected for
> now\n");
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcin_size0 =3D harq_layout[harq_index].size0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcin_offset =3D harq_layout[harq_index].offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcin_size1 =3D harq_in_length -
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_layout[harq_index].offse=
t;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 } else {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcin_size0 =3D harq_in_length;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcin_offset =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcin_size1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 } else {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->hcin_size0 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->hcin_offset =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->hcin_size1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 fcw->itmax =3D op->ldpc_dec.iter_max;
> > +=A0=A0=A0=A0=A0=A0 fcw->itstop =3D check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_ITERATION_STOP_ENABLE);
> > +=A0=A0=A0=A0=A0=A0 fcw->synd_precoder =3D fcw->itstop;
> > +=A0=A0=A0=A0=A0=A0 /*
> > +=A0=A0=A0=A0=A0=A0=A0 * These are all implicitly set
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->synd_post =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->so_en =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->so_bypass_rm =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->so_bypass_intlv =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->dec_convllr =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->hcout_convllr =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->hcout_size1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->so_it =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->hcout_offset =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->negstop_th =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->negstop_it =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->negstop_en =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->gain_i =3D 1;
> > +=A0=A0=A0=A0=A0=A0=A0 * fcw->gain_h =3D 1;
> > +=A0=A0=A0=A0=A0=A0=A0 */
> > +=A0=A0=A0=A0=A0=A0 if (fcw->hcout_en > 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 parity_offset =3D (op->ldpc=
_dec.basegraph =3D=3D 1 ? 20 : 8)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 * o=
p->ldpc_dec.z_c - op->ldpc_dec.n_filler;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 k0_p =3D (fcw->k0 > parity_=
offset) ?
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 fcw->k0 - op->ldpc_dec.n_filler : fcw->k0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ncb_p =3D fcw->ncb - op->ld=
pc_dec.n_filler;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 l =3D k0_p + fcw->rm_e;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_out_length =3D (uint16=
_t) fcw->hcin_size0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_out_length =3D RTE_MIN=
(RTE_MAX(harq_out_length, l),
> ncb_p);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_out_length =3D (harq_o=
ut_length + 0x3F) & 0xFFC0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if ((k0_p > fcw->hcin_size0=
 + ACC100_HARQ_OFFSET_THRESHOLD)
> > &&
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 harq_prun) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcout_size0 =3D (uint16_t) fcw->hcin_size0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcout_offset =3D k0_p & 0xFFC0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcout_size1 =3D harq_out_length - fcw->hcout_offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 } else {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcout_size0 =3D harq_out_length;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcout_size1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw=
->hcout_offset =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_layout[harq_index].off=
set =3D fcw->hcout_offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_layout[harq_index].siz=
e0 =3D fcw->hcout_size0;
> > +=A0=A0=A0=A0=A0=A0 } else {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->hcout_size0 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->hcout_size1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw->hcout_offset =3D 0;
> > +=A0=A0=A0=A0=A0=A0 }
> > +}
> > +
> > +/**
> > + * Fills descriptor with data pointers of one block type.
> > + *
> > + * @param desc
> > + *=A0=A0 Pointer to DMA descriptor.
> > + * @param input
> > + *=A0=A0 Pointer to pointer to input data which will be encoded. It ca=
n be changed
> > + *=A0=A0 and points to next segment in scatter-gather case.
> > + * @param offset
> > + *=A0=A0 Input offset in rte_mbuf structure. It is used for calculatin=
g the point
> > + *=A0=A0 where data is starting.
> > + * @param cb_len
> > + *=A0=A0 Length of currently processed Code Block
> > + * @param seg_total_left
> > + *=A0=A0 It indicates how many bytes still left in segment (mbuf) for =
further
> > + *=A0=A0 processing.
> > + * @param op_flags
> > + *=A0=A0 Store information about device capabilities
> > + * @param next_triplet
> > + *=A0=A0 Index for ACC100 DMA Descriptor triplet
> > + *
> > + * @return
> > + *=A0=A0 Returns index of next triplet on success, other value if leng=
ths of
> > + *=A0=A0 pkt and processed cb do not match.
> > + *
> > + */
> > +static inline int
> > +acc100_dma_fill_blk_type_in(struct acc100_dma_req_desc *desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_mbuf **input, ui=
nt32_t *offset, uint32_t cb_len,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *seg_total_left, i=
nt next_triplet)
> > +{
> > +=A0=A0=A0=A0=A0=A0 uint32_t part_len;
> > +=A0=A0=A0=A0=A0=A0 struct rte_mbuf *m =3D *input;
> > +
> > +=A0=A0=A0=A0=A0=A0 part_len =3D (*seg_total_left < cb_len) ? *seg_tota=
l_left : cb_len;
> > +=A0=A0=A0=A0=A0=A0 cb_len -=3D part_len;
> > +=A0=A0=A0=A0=A0=A0 *seg_total_left -=3D part_len;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte=
_pktmbuf_iova_offset(m, *offset);
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].blen =3D part_len;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].blkid =3D ACC100_DMA_=
BLKID_IN;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].last =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].dma_ext =3D 0;
> > +=A0=A0=A0=A0=A0=A0 *offset +=3D part_len;
> > +=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +
> > +=A0=A0=A0=A0=A0=A0 while (cb_len > 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (next_triplet < ACC100_D=
MA_MAX_NUM_POINTERS &&
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 m->next !=3D NULL) {
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 m =
=3D m->next;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 *se=
g_total_left =3D rte_pktmbuf_data_len(m);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 par=
t_len =3D (*seg_total_left < cb_len) ?
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 *seg_total_left :
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 cb_len;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 des=
c->data_ptrs[next_triplet].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_pktmbuf_mtophys(m);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 des=
c->data_ptrs[next_triplet].blen =3D part_len;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 des=
c->data_ptrs[next_triplet].blkid =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ACC100_DMA_BLKID_IN;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 des=
c->data_ptrs[next_triplet].last =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 des=
c->data_ptrs[next_triplet].dma_ext =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 cb_=
len -=3D part_len;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 *se=
g_total_left -=3D part_len;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* =
Initializing offset for next segment (mbuf) */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 *of=
fset =3D part_len;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 nex=
t_triplet++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 } else {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte=
_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Some data still left for processing: "
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "data_left: %u, next_triplet: %u, next_mbuf: %p",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 cb_len, next_triplet, m->next);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
urn -EINVAL;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 /* Storing new mbuf as it could be changed in scatt=
er-gather case*/
> > +=A0=A0=A0=A0=A0=A0 *input =3D m;
> > +
> > +=A0=A0=A0=A0=A0=A0 return next_triplet;
> > +}
> > +
> > +/* Fills descriptor with data pointers of one block type.
> > + * Returns index of next triplet on success, other value if lengths of
> > + * output data and processed mbuf do not match.
> > + */
> > +static inline int
> > +acc100_dma_fill_blk_type_out(struct acc100_dma_req_desc *desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_mbuf *output, ui=
nt32_t out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t output_len, int ne=
xt_triplet, int blk_id)
> > +{
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte=
_pktmbuf_iova_offset(output, out_offset);
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].blen =3D output_len;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].blkid =3D blk_id;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].last =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].dma_ext =3D 0;
> > +=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +
> > +=A0=A0=A0=A0=A0=A0 return next_triplet;
> > +}
> > +
> > +static inline int
> > +acc100_dma_desc_le_fill(struct rte_bbdev_enc_op *op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_dma_req_desc =
*desc, struct rte_mbuf **input,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_mbuf *output, ui=
nt32_t *in_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *out_offset, uint3=
2_t *out_length,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *mbuf_total_left, =
uint32_t *seg_total_left)
> > +{
> > +=A0=A0=A0=A0=A0=A0 int next_triplet =3D 1; /* FCW already done */
> > +=A0=A0=A0=A0=A0=A0 uint16_t K, in_length_in_bits, in_length_in_bytes;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_op_ldpc_enc *enc =3D &op->ldpc_enc=
;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->word0 =3D ACC100_DMA_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0 desc->word1 =3D 0; /**< Timestamp could be disabled=
 */
> > +=A0=A0=A0=A0=A0=A0 desc->word2 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->word3 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->numCBs =3D 1;
> > +
> > +=A0=A0=A0=A0=A0=A0 K =3D (enc->basegraph =3D=3D 1 ? 22 : 10) * enc->z_=
c;
> > +=A0=A0=A0=A0=A0=A0 in_length_in_bits =3D K - enc->n_filler;
> > +=A0=A0=A0=A0=A0=A0 if ((enc->op_flags & RTE_BBDEV_LDPC_CRC_24A_ATTACH)=
 ||
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (en=
c->op_flags & RTE_BBDEV_LDPC_CRC_24B_ATTACH))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 in_length_in_bits -=3D 24;
> > +=A0=A0=A0=A0=A0=A0 in_length_in_bytes =3D in_length_in_bits >> 3;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely((*mbuf_total_left =3D=3D 0) ||
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (*m=
buf_total_left < in_length_in_bytes))) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Mismatch between mbuf length and included CB sizes:
> > mbuf len %u, cb len %u",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 *mbuf_total_left, in_length_in_bytes);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 next_triplet =3D acc100_dma_fill_blk_type_in(desc, =
input, in_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 in_=
length_in_bytes,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 seg=
_total_left, next_triplet);
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(next_triplet < 0)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Mismatch between data to process and mbuf data
> length
> > in bbdev_op: %p",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet - 1].last =3D 1;
> > +=A0=A0=A0=A0=A0=A0 desc->m2dlen =3D next_triplet;
> > +=A0=A0=A0=A0=A0=A0 *mbuf_total_left -=3D in_length_in_bytes;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Set output length */
> > +=A0=A0=A0=A0=A0=A0 /* Integer round up division by 8 */
> > +=A0=A0=A0=A0=A0=A0 *out_length =3D (enc->cb_params.e + 7) >> 3;
> > +
> > +=A0=A0=A0=A0=A0=A0 next_triplet =3D acc100_dma_fill_blk_type_out(desc,=
 output, *out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 *ou=
t_length, next_triplet, ACC100_DMA_BLKID_OUT_ENC);
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(next_triplet < 0)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Mismatch between data to process and mbuf data
> length
> > in bbdev_op: %p",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 op->ldpc_enc.output.length +=3D *out_length;
> > +=A0=A0=A0=A0=A0=A0 *out_offset +=3D *out_length;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet - 1].last =3D 1;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet - 1].dma_ext =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->d2mlen =3D next_triplet - desc->m2dlen;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->op_addr =3D op;
> > +
> > +=A0=A0=A0=A0=A0=A0 return 0;
> > +}
> > +
> > +static inline int
> > +acc100_dma_desc_ld_fill(struct rte_bbdev_dec_op *op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_dma_req_desc =
*desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_mbuf **input, st=
ruct rte_mbuf *h_output,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *in_offset, uint32=
_t *h_out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *h_out_length, uin=
t32_t *mbuf_total_left,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *seg_total_left,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_fcw_ld *fcw)
> > +{
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_op_ldpc_dec *dec =3D &op->ldpc_dec=
;
> > +=A0=A0=A0=A0=A0=A0 int next_triplet =3D 1; /* FCW already done */
> > +=A0=A0=A0=A0=A0=A0 uint32_t input_length;
> > +=A0=A0=A0=A0=A0=A0 uint16_t output_length, crc24_overlap =3D 0;
> > +=A0=A0=A0=A0=A0=A0 uint16_t sys_cols, K, h_p_size, h_np_size;
> > +=A0=A0=A0=A0=A0=A0 bool h_comp =3D check_bit(dec->op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_HARQ_6BIT_COMPRESSION);
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->word0 =3D ACC100_DMA_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0 desc->word1 =3D 0; /**< Timestamp could be disabled=
 */
> > +=A0=A0=A0=A0=A0=A0 desc->word2 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->word3 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->numCBs =3D 1;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_CRC_TYPE_24B_DROP))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 crc24_overlap =3D 24;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Compute some LDPC BG lengths */
> > +=A0=A0=A0=A0=A0=A0 input_length =3D dec->cb_params.e;
> > +=A0=A0=A0=A0=A0=A0 if (check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 RTE=
_BBDEV_LDPC_LLR_COMPRESSION))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 input_length =3D (input_len=
gth * 3 + 3) / 4;
> > +=A0=A0=A0=A0=A0=A0 sys_cols =3D (dec->basegraph =3D=3D 1) ? 22 : 10;
> > +=A0=A0=A0=A0=A0=A0 K =3D sys_cols * dec->z_c;
> > +=A0=A0=A0=A0=A0=A0 output_length =3D K - dec->n_filler - crc24_overlap=
;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely((*mbuf_total_left =3D=3D 0) ||
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (*m=
buf_total_left < input_length))) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Mismatch between mbuf length and included CB sizes:
> > mbuf len %u, cb len %u",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 *mbuf_total_left, input_length);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 next_triplet =3D acc100_dma_fill_blk_type_in(desc, =
input,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 in_=
offset, input_length,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 seg=
_total_left, next_triplet);
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(next_triplet < 0)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Mismatch between data to process and mbuf data
> length
> > in bbdev_op: %p",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 if (check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_HQ_COMBINE_IN_ENABLE)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_p_size =3D fcw->hcin_size=
0 + fcw->hcin_size1;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (h_comp)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_p=
_size =3D (h_p_size * 3 + 3) / 4;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 dec->harq_combined_input.offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].blen =3D h_p_size;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].blkid =3D
> > ACC100_DMA_BLKID_IN_HARQ;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].dma_ext =3D 1;
> > +#ifndef ACC100_EXT_MEM
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 acc100_dma_fill_blk_type_ou=
t(
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op->ldpc_dec.harq_combined_input.data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op->ldpc_dec.harq_combined_input.offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 h_p_size,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 next_triplet,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ACC100_DMA_BLKID_IN_HARQ);
> > +#endif
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet - 1].last =3D 1;
> > +=A0=A0=A0=A0=A0=A0 desc->m2dlen =3D next_triplet;
> > +=A0=A0=A0=A0=A0=A0 *mbuf_total_left -=3D input_length;
> > +
> > +=A0=A0=A0=A0=A0=A0 next_triplet =3D acc100_dma_fill_blk_type_out(desc,=
 h_output,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 *h_=
out_offset, output_length >> 3, next_triplet,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ACC=
100_DMA_BLKID_OUT_HARD);
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(next_triplet < 0)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Mismatch between data to process and mbuf data
> length
> > in bbdev_op: %p",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 if (check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_HQ_COMBINE_OUT_ENABLE)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Pruned size of the HARQ =
*/
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_p_size =3D fcw->hcout_siz=
e0 + fcw->hcout_size1;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Non-Pruned size of the H=
ARQ */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_np_size =3D fcw->hcout_of=
fset > 0 ?
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 fcw->hcout_offset + fcw->hcout_size1 :
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 h_p_size;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (h_comp) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_n=
p_size =3D (h_np_size * 3 + 3) / 4;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_p=
_size =3D (h_p_size * 3 + 3) / 4;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 dec->harq_combined_output.l=
ength =3D h_np_size;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 dec->harq_combined_output.offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].blen =3D h_p_size;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].blkid =3D
> > ACC100_DMA_BLKID_OUT_HARQ;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].dma_ext =3D 1;
> > +#ifndef ACC100_EXT_MEM
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 acc100_dma_fill_blk_type_ou=
t(
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 dec->harq_combined_output.data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 dec->harq_combined_output.offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 h_p_size,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 next_triplet,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ACC100_DMA_BLKID_OUT_HARQ);
> > +#endif
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 *h_out_length =3D output_length >> 3;
> > +=A0=A0=A0=A0=A0=A0 dec->hard_output.length +=3D *h_out_length;
> > +=A0=A0=A0=A0=A0=A0 *h_out_offset +=3D *h_out_length;
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet - 1].last =3D 1;
> > +=A0=A0=A0=A0=A0=A0 desc->d2mlen =3D next_triplet - desc->m2dlen;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->op_addr =3D op;
> > +
> > +=A0=A0=A0=A0=A0=A0 return 0;
> > +}
> > +
> > +static inline void
> > +acc100_dma_desc_ld_update(struct rte_bbdev_dec_op *op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_dma_req_desc =
*desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_mbuf *input, str=
uct rte_mbuf *h_output,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *in_offset, uint32=
_t *h_out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t *h_out_length,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 union acc100_harq_layout_da=
ta *harq_layout)
> > +{
> > +=A0=A0=A0=A0=A0=A0 int next_triplet =3D 1; /* FCW already done */
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte=
_pktmbuf_iova_offset(input, *in_offset);
> > +=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_HQ_COMBINE_IN_ENABLE)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_op_data hi=
 =3D op->ldpc_dec.harq_combined_input;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].address =3D hi.offset;
> > +#ifndef ACC100_EXT_MEM
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 rte_pktmbuf_iova_offset(hi.data, hi.offset);
> > +#endif
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triplet].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte=
_pktmbuf_iova_offset(h_output, *h_out_offset);
> > +=A0=A0=A0=A0=A0=A0 *h_out_length =3D desc->data_ptrs[next_triplet].ble=
n;
> > +=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (check_bit(op->ldpc_dec.op_flags,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 RTE_BBDEV_LDPC_HQ_COMBINE_OUT_ENABLE)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op->ldpc_dec.harq_combined_output.offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Adjust based on previous=
 operation */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op *pr=
ev_op =3D desc->op_addr;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->ldpc_dec.harq_combined_=
output.length =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 prev_op->ldpc_dec.harq_combined_output.length;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 int16_t hq_idx =3D op->ldpc=
_dec.harq_combined_output.offset /
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ACC100_HARQ_OFFSET;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 int16_t prev_hq_idx =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 prev_op->ldpc_dec.harq_combined_output.offset
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 / ACC100_HARQ_OFFSET;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 harq_layout[hq_idx].val =3D=
 harq_layout[prev_hq_idx].val;
> > +#ifndef ACC100_EXT_MEM
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_op_data ho=
 =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op->ldpc_dec.harq_combined_output;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->data_ptrs[next_triple=
t].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 rte_pktmbuf_iova_offset(ho.data, ho.offset);
> > +#endif
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 op->ldpc_dec.hard_output.length +=3D *h_out_length;
> > +=A0=A0=A0=A0=A0=A0 desc->op_addr =3D op;
> > +}
> > +
> > +
> > +/* Enqueue a number of operations to HW and update software rings */
> > +static inline void
> > +acc100_dma_enqueue(struct acc100_queue *q, uint16_t n,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_stats *que=
ue_stats)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_enqueue_reg_fmt enq_req;
> > +#ifdef RTE_BBDEV_OFFLOAD_COST
> > +=A0=A0=A0=A0=A0=A0 uint64_t start_time =3D 0;
> > +=A0=A0=A0=A0=A0=A0 queue_stats->acc_offload_cycles =3D 0;
> > +=A0=A0=A0=A0=A0=A0 RTE_SET_USED(queue_stats);
> > +#else
> > +=A0=A0=A0=A0=A0=A0 RTE_SET_USED(queue_stats);
> > +#endif
> > +
> > +=A0=A0=A0=A0=A0=A0 enq_req.val =3D 0;
> > +=A0=A0=A0=A0=A0=A0 /* Setting offset, 100b for 256 DMA Desc */
> > +=A0=A0=A0=A0=A0=A0 enq_req.addr_offset =3D ACC100_DESC_OFFSET;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Split ops into batches */
> > +=A0=A0=A0=A0=A0=A0 do {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc=
;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t enq_batch_size;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint64_t offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_iova_t req_elem_addr;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 enq_batch_size =3D RTE_MIN(=
n, MAX_ENQ_BATCH_SIZE);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Set flag on last descrip=
tor in a batch */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q=
->sw_ring_head + enq_batch_size - 1) &
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 q->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.last_desc_in_batc=
h =3D 1;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Calculate the 1st descri=
ptor's address */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 offset =3D ((q->sw_ring_hea=
d & q->sw_ring_wrap_mask) *
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 sizeof(union acc100_dma_desc));
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 req_elem_addr =3D q->ring_a=
ddr_phys + offset;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Fill enqueue struct */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 enq_req.num_elem =3D enq_ba=
tch_size;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* low 6 bits are not neede=
d */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 enq_req.req_elem_addr =3D (=
uint32_t)(req_elem_addr >> 6);
> > +
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "Req sd=
one", desc, sizeof(*desc));
> > +#endif
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log_debug(
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Enqueue %u reqs (phys %#"PRIx64") to reg %p",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 enq_batch_size,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 req_elem_addr,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 (void *)q->mmio_reg_enqueue);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_wmb();
> > +
> > +#ifdef RTE_BBDEV_OFFLOAD_COST
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Start time measurement f=
or enqueue function offload. */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 start_time =3D rte_rdtsc_pr=
ecise();
> > +#endif
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(DEBUG, "Debug=
 : MMIO Enqueue");
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 mmio_write(q->mmio_reg_enqu=
eue, enq_req.val);
> > +
> > +#ifdef RTE_BBDEV_OFFLOAD_COST
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 queue_stats->acc_offload_cy=
cles +=3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 rte_rdtsc_precise() - start_time;
> > +#endif
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 q->aq_enqueued++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 q->sw_ring_head +=3D enq_ba=
tch_size;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 n -=3D enq_batch_size;
> > +
> > +=A0=A0=A0=A0=A0=A0 } while (n);
> > +
> > +
> > +}
> > +
> > +/* Enqueue one encode operations for ACC100 device in CB mode */
> > +static inline int
> > +enqueue_ldpc_enc_n_op_cb(struct acc100_queue *q, struct
> > rte_bbdev_enc_op **ops,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t total_enqueued_cbs=
, int16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc =3D NULL;
> > +=A0=A0=A0=A0=A0=A0 uint32_t out_length;
> > +=A0=A0=A0=A0=A0=A0 struct rte_mbuf *output_head, *output;
> > +=A0=A0=A0=A0=A0=A0 int i, next_triplet;
> > +=A0=A0=A0=A0=A0=A0 uint16_t=A0 in_length_in_bytes;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_op_ldpc_enc *enc =3D &ops[0]->ldpc=
_enc;
> > +
> > +=A0=A0=A0=A0=A0=A0 uint16_t desc_idx =3D ((q->sw_ring_head + total_enq=
ueued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + desc_idx;
> > +=A0=A0=A0=A0=A0=A0 acc100_fcw_le_fill(ops[0], &desc->req.fcw_le, num);
> > +
> > +=A0=A0=A0=A0=A0=A0 /** This could be done at polling */
> > +=A0=A0=A0=A0=A0=A0 desc->req.word0 =3D ACC100_DMA_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0 desc->req.word1 =3D 0; /**< Timestamp could be disa=
bled */
> > +=A0=A0=A0=A0=A0=A0 desc->req.word2 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->req.word3 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->req.numCBs =3D num;
> > +
> > +=A0=A0=A0=A0=A0=A0 in_length_in_bytes =3D ops[0]->ldpc_enc.input.data-=
>data_len;
> > +=A0=A0=A0=A0=A0=A0 out_length =3D (enc->cb_params.e + 7) >> 3;
> > +=A0=A0=A0=A0=A0=A0 desc->req.m2dlen =3D 1 + num;
> > +=A0=A0=A0=A0=A0=A0 desc->req.d2mlen =3D num;
> > +=A0=A0=A0=A0=A0=A0 next_triplet =3D 1;
> > +
> > +=A0=A0=A0=A0=A0=A0 for (i =3D 0; i < num; i++) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.data_ptrs[next_tr=
iplet].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte=
_pktmbuf_iova_offset(ops[i]->ldpc_enc.input.data, 0);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.data_ptrs[next_tr=
iplet].blen =3D in_length_in_bytes;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.data_ptrs[next_tr=
iplet].address =3D
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 rte_pktmbuf_iova_offset(
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ops[i]->ldpc_enc.output.data, 0);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.data_ptrs[next_tr=
iplet].blen =3D out_length;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 next_triplet++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ops[i]->ldpc_enc.output.len=
gth =3D out_length;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 output_head =3D output =3D =
ops[i]->ldpc_enc.output.data;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 mbuf_append(output_head, ou=
tput, out_length);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 output->data_len =3D out_le=
ngth;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->req.op_addr =3D ops[0];
> > +
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "FCW", &desc->req.fcw_le,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 siz=
eof(desc->req.fcw_le) - 8);
> > +=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "Req Desc.", desc, sizeof(*desc=
));
> > +#endif
> > +
> > +=A0=A0=A0=A0=A0=A0 /* One CB (one op) was successfully prepared to enq=
ueue */
> > +=A0=A0=A0=A0=A0=A0 return num;
> > +}
> > +
> > +/* Enqueue one encode operations for ACC100 device in CB mode */
> > +static inline int
> > +enqueue_ldpc_enc_one_op_cb(struct acc100_queue *q, struct
> > rte_bbdev_enc_op *op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t total_enqueued_cbs=
)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc =3D NULL;
> > +=A0=A0=A0=A0=A0=A0 int ret;
> > +=A0=A0=A0=A0=A0=A0 uint32_t in_offset, out_offset, out_length, mbuf_to=
tal_left,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 seg_total_left;
> > +=A0=A0=A0=A0=A0=A0 struct rte_mbuf *input, *output_head, *output;
> > +
> > +=A0=A0=A0=A0=A0=A0 uint16_t desc_idx =3D ((q->sw_ring_head + total_enq=
ueued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + desc_idx;
> > +=A0=A0=A0=A0=A0=A0 acc100_fcw_le_fill(op, &desc->req.fcw_le, 1);
> > +
> > +=A0=A0=A0=A0=A0=A0 input =3D op->ldpc_enc.input.data;
> > +=A0=A0=A0=A0=A0=A0 output_head =3D output =3D op->ldpc_enc.output.data=
;
> > +=A0=A0=A0=A0=A0=A0 in_offset =3D op->ldpc_enc.input.offset;
> > +=A0=A0=A0=A0=A0=A0 out_offset =3D op->ldpc_enc.output.offset;
> > +=A0=A0=A0=A0=A0=A0 out_length =3D 0;
> > +=A0=A0=A0=A0=A0=A0 mbuf_total_left =3D op->ldpc_enc.input.length;
> > +=A0=A0=A0=A0=A0=A0 seg_total_left =3D rte_pktmbuf_data_len(op->ldpc_en=
c.input.data)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 - i=
n_offset;
> > +
> > +=A0=A0=A0=A0=A0=A0 ret =3D acc100_dma_desc_le_fill(op, &desc->req, &in=
put, output,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 &in=
_offset, &out_offset, &out_length, &mbuf_total_left,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 &se=
g_total_left);
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(ret < 0))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return ret;
> > +
> > +=A0=A0=A0=A0=A0=A0 mbuf_append(output_head, output, out_length);
> > +
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "FCW", &desc->req.fcw_le,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 siz=
eof(desc->req.fcw_le) - 8);
> > +=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "Req Desc.", desc, sizeof(*desc=
));
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Check if any data left after processing one CB *=
/
> > +=A0=A0=A0=A0=A0=A0 if (mbuf_total_left !=3D 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Some date still left after processing one CB:
> > mbuf_total_left =3D %u",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 mbuf_total_left);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -EINVAL;
> > +=A0=A0=A0=A0=A0=A0 }
> > +#endif
> > +=A0=A0=A0=A0=A0=A0 /* One CB (one op) was successfully prepared to enq=
ueue */
> > +=A0=A0=A0=A0=A0=A0 return 1;
> > +}
> > +
> > +/** Enqueue one decode operations for ACC100 device in CB mode */
> > +static inline int
> > +enqueue_ldpc_dec_one_op_cb(struct acc100_queue *q, struct
> > rte_bbdev_dec_op *op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t total_enqueued_cbs=
, bool same_op)
> > +{
> > +=A0=A0=A0=A0=A0=A0 int ret;
> > +
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc;
> > +=A0=A0=A0=A0=A0=A0 uint16_t desc_idx =3D ((q->sw_ring_head + total_enq=
ueued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + desc_idx;
> > +=A0=A0=A0=A0=A0=A0 struct rte_mbuf *input, *h_output_head, *h_output;
> > +=A0=A0=A0=A0=A0=A0 uint32_t in_offset, h_out_offset, h_out_length, mbu=
f_total_left;
> > +=A0=A0=A0=A0=A0=A0 input =3D op->ldpc_dec.input.data;
> > +=A0=A0=A0=A0=A0=A0 h_output_head =3D h_output =3D op->ldpc_dec.hard_ou=
tput.data;
> > +=A0=A0=A0=A0=A0=A0 in_offset =3D op->ldpc_dec.input.offset;
> > +=A0=A0=A0=A0=A0=A0 h_out_offset =3D op->ldpc_dec.hard_output.offset;
> > +=A0=A0=A0=A0=A0=A0 mbuf_total_left =3D op->ldpc_dec.input.length;
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(input =3D=3D NULL)) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR, "Invalid=
 mbuf pointer");
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -EFAULT;
> > +=A0=A0=A0=A0=A0=A0 }
> > +#endif
> > +=A0=A0=A0=A0=A0=A0 union acc100_harq_layout_data *harq_layout =3D q->d=
->harq_layout;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (same_op) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *prev=
_desc;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc_idx =3D ((q->sw_ring_h=
ead + total_enqueued_cbs - 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 & q->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 prev_desc =3D q->ring_addr =
+ desc_idx;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint8_t *prev_ptr =3D (uint=
8_t *) prev_desc;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint8_t *new_ptr =3D (uint8=
_t *) desc;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Copy first 4 words and B=
DESCs */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_memcpy(new_ptr, prev_pt=
r, 16);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_memcpy(new_ptr + 36, pr=
ev_ptr + 36, 40);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.op_addr =3D prev_=
desc->req.op_addr;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Copy FCW */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_memcpy(new_ptr + ACC100=
_DESC_FCW_OFFSET,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 prev_ptr + ACC100_DESC_FCW_OFFSET,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ACC100_FCW_LD_BLEN);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 acc100_dma_desc_ld_update(o=
p, &desc->req, input, h_output,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &in_offset, &h_out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &h_out_length, harq_layout);
> > +=A0=A0=A0=A0=A0=A0 } else {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_fcw_ld *fcw;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint32_t seg_total_left;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 fcw =3D &desc->req.fcw_ld;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 acc100_fcw_ld_fill(op, fcw,=
 harq_layout);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Special handling when ov=
erusing mbuf */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (fcw->rm_e < MAX_E_MBUF)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 seg=
_total_left =3D rte_pktmbuf_data_len(input)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 - in_offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 else
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 seg=
_total_left =3D fcw->rm_e;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret =3D acc100_dma_desc_ld_=
fill(op, &desc->req, &input, h_output,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &in_offset, &h_out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &h_out_length, &mbuf_total_left,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &seg_total_left, fcw);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (unlikely(ret < 0))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
urn ret;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Hard output */
> > +=A0=A0=A0=A0=A0=A0 mbuf_append(h_output_head, h_output, h_out_length);
> > +#ifndef ACC100_EXT_MEM
> > +=A0=A0=A0=A0=A0=A0 if (op->ldpc_dec.harq_combined_output.length > 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Push the HARQ output int=
o host memory */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_mbuf *hq_output_=
head, *hq_output;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 hq_output_head =3D op->ldpc=
_dec.harq_combined_output.data;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 hq_output =3D op->ldpc_dec.=
harq_combined_output.data;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 mbuf_append(hq_output_head,=
 hq_output,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op->ldpc_dec.harq_combined_output.length);
> > +=A0=A0=A0=A0=A0=A0 }
> > +#endif
> > +
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "FCW", &desc->req.fcw_ld,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 siz=
eof(desc->req.fcw_ld) - 8);
> > +=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "Req Desc.", desc, sizeof(*desc=
));
> > +#endif
> > +
> > +=A0=A0=A0=A0=A0=A0 /* One CB (one op) was successfully prepared to enq=
ueue */
> > +=A0=A0=A0=A0=A0=A0 return 1;
> > +}
> > +
> > +
> > +/* Enqueue one decode operations for ACC100 device in TB mode */
> > +static inline int
> > +enqueue_ldpc_dec_one_op_tb(struct acc100_queue *q, struct
> > rte_bbdev_dec_op *op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t total_enqueued_cbs=
, uint8_t cbs_in_tb)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc =3D NULL;
> > +=A0=A0=A0=A0=A0=A0 int ret;
> > +=A0=A0=A0=A0=A0=A0 uint8_t r, c;
> > +=A0=A0=A0=A0=A0=A0 uint32_t in_offset, h_out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_out_length, mbuf_total_le=
ft, seg_total_left;
> > +=A0=A0=A0=A0=A0=A0 struct rte_mbuf *input, *h_output_head, *h_output;
> > +=A0=A0=A0=A0=A0=A0 uint16_t current_enqueued_cbs =3D 0;
> > +
> > +=A0=A0=A0=A0=A0=A0 uint16_t desc_idx =3D ((q->sw_ring_head + total_enq=
ueued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + desc_idx;
> > +=A0=A0=A0=A0=A0=A0 uint64_t fcw_offset =3D (desc_idx << 8) + ACC100_DE=
SC_FCW_OFFSET;
> > +=A0=A0=A0=A0=A0=A0 union acc100_harq_layout_data *harq_layout =3D q->d=
->harq_layout;
> > +=A0=A0=A0=A0=A0=A0 acc100_fcw_ld_fill(op, &desc->req.fcw_ld, harq_layo=
ut);
> > +
> > +=A0=A0=A0=A0=A0=A0 input =3D op->ldpc_dec.input.data;
> > +=A0=A0=A0=A0=A0=A0 h_output_head =3D h_output =3D op->ldpc_dec.hard_ou=
tput.data;
> > +=A0=A0=A0=A0=A0=A0 in_offset =3D op->ldpc_dec.input.offset;
> > +=A0=A0=A0=A0=A0=A0 h_out_offset =3D op->ldpc_dec.hard_output.offset;
> > +=A0=A0=A0=A0=A0=A0 h_out_length =3D 0;
> > +=A0=A0=A0=A0=A0=A0 mbuf_total_left =3D op->ldpc_dec.input.length;
> > +=A0=A0=A0=A0=A0=A0 c =3D op->ldpc_dec.tb_params.c;
> > +=A0=A0=A0=A0=A0=A0 r =3D op->ldpc_dec.tb_params.r;
> > +
> > +=A0=A0=A0=A0=A0=A0 while (mbuf_total_left > 0 && r < c) {
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 seg_total_left =3D rte_pktm=
buf_data_len(input) - in_offset;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Set up DMA descriptor */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q=
->sw_ring_head + total_enqueued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 & q->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.data_ptrs[0].addr=
ess =3D q->ring_addr_phys + fcw_offset;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.data_ptrs[0].blen=
 =3D ACC100_FCW_LD_BLEN;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret =3D acc100_dma_desc_ld_=
fill(op, &desc->req, &input,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 h_output, &in_offset, &h_out_offset,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &h_out_length,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &mbuf_total_left, &seg_total_left,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 &desc->req.fcw_ld);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (unlikely(ret < 0))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
urn ret;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Hard output */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 mbuf_append(h_output_head, =
h_output, h_out_length);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Set total number of CBs =
in TB */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.cbs_in_tb =3D cbs=
_in_tb;
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "FCW", =
&desc->req.fcw_td,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 sizeof(desc->req.fcw_td) - 8);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_memdump(stderr, "Req De=
sc.", desc, sizeof(*desc));
> > +#endif
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (seg_total_left =3D=3D 0=
) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* =
Go to the next mbuf */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 inp=
ut =3D input->next;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 in_=
offset =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_o=
utput =3D h_output->next;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 h_o=
ut_offset =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 total_enqueued_cbs++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 current_enqueued_cbs++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 r++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(desc =3D=3D NULL))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return current_enqueued_cbs=
;
> > +
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0 /* Check if any CBs left for processing */
> > +=A0=A0=A0=A0=A0=A0 if (mbuf_total_left !=3D 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(ERR,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 "Some date still left for processing: mbuf_total_left=
 =3D
> %u",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 mbuf_total_left);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -EINVAL;
> > +=A0=A0=A0=A0=A0=A0 }
> > +#endif
> > +=A0=A0=A0=A0=A0=A0 /* Set SDone on last CB descriptor for TB mode */
> > +=A0=A0=A0=A0=A0=A0 desc->req.sdone_enable =3D 1;
> > +=A0=A0=A0=A0=A0=A0 desc->req.irq_enable =3D q->irq_enable;
> > +
> > +=A0=A0=A0=A0=A0=A0 return current_enqueued_cbs;
> > +}
> > +
> > +
> > +/* Calculates number of CBs in processed encoder TB based on 'r' and i=
nput
> > + * length.
> > + */
> > +static inline uint8_t
> > +get_num_cbs_in_tb_enc(struct rte_bbdev_op_turbo_enc *turbo_enc)
> > +{
> > +=A0=A0=A0=A0=A0=A0 uint8_t c, c_neg, r, crc24_bits =3D 0;
> > +=A0=A0=A0=A0=A0=A0 uint16_t k, k_neg, k_pos;
> > +=A0=A0=A0=A0=A0=A0 uint8_t cbs_in_tb =3D 0;
> > +=A0=A0=A0=A0=A0=A0 int32_t length;
> > +
> > +=A0=A0=A0=A0=A0=A0 length =3D turbo_enc->input.length;
> > +=A0=A0=A0=A0=A0=A0 r =3D turbo_enc->tb_params.r;
> > +=A0=A0=A0=A0=A0=A0 c =3D turbo_enc->tb_params.c;
> > +=A0=A0=A0=A0=A0=A0 c_neg =3D turbo_enc->tb_params.c_neg;
> > +=A0=A0=A0=A0=A0=A0 k_neg =3D turbo_enc->tb_params.k_neg;
> > +=A0=A0=A0=A0=A0=A0 k_pos =3D turbo_enc->tb_params.k_pos;
> > +=A0=A0=A0=A0=A0=A0 crc24_bits =3D 0;
> > +=A0=A0=A0=A0=A0=A0 if (check_bit(turbo_enc->op_flags,
> > RTE_BBDEV_TURBO_CRC_24B_ATTACH))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 crc24_bits =3D 24;
> > +=A0=A0=A0=A0=A0=A0 while (length > 0 && r < c) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 k =3D (r < c_neg) ? k_neg :=
 k_pos;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 length -=3D (k - crc24_bits=
) >> 3;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 r++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 cbs_in_tb++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 return cbs_in_tb;
> > +}
> > +
> > +/* Calculates number of CBs in processed decoder TB based on 'r' and i=
nput
> > + * length.
> > + */
> > +static inline uint16_t
> > +get_num_cbs_in_tb_dec(struct rte_bbdev_op_turbo_dec *turbo_dec)
> > +{
> > +=A0=A0=A0=A0=A0=A0 uint8_t c, c_neg, r =3D 0;
> > +=A0=A0=A0=A0=A0=A0 uint16_t kw, k, k_neg, k_pos, cbs_in_tb =3D 0;
> > +=A0=A0=A0=A0=A0=A0 int32_t length;
> > +
> > +=A0=A0=A0=A0=A0=A0 length =3D turbo_dec->input.length;
> > +=A0=A0=A0=A0=A0=A0 r =3D turbo_dec->tb_params.r;
> > +=A0=A0=A0=A0=A0=A0 c =3D turbo_dec->tb_params.c;
> > +=A0=A0=A0=A0=A0=A0 c_neg =3D turbo_dec->tb_params.c_neg;
> > +=A0=A0=A0=A0=A0=A0 k_neg =3D turbo_dec->tb_params.k_neg;
> > +=A0=A0=A0=A0=A0=A0 k_pos =3D turbo_dec->tb_params.k_pos;
> > +=A0=A0=A0=A0=A0=A0 while (length > 0 && r < c) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 k =3D (r < c_neg) ? k_neg :=
 k_pos;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 kw =3D RTE_ALIGN_CEIL(k + 4=
, 32) * 3;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 length -=3D kw;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 r++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 cbs_in_tb++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 return cbs_in_tb;
> > +}
> > +
> > +/* Calculates number of CBs in processed decoder TB based on 'r' and i=
nput
> > + * length.
> > + */
> > +static inline uint16_t
> > +get_num_cbs_in_tb_ldpc_dec(struct rte_bbdev_op_ldpc_dec *ldpc_dec)
> > +{
> > +=A0=A0=A0=A0=A0=A0 uint16_t r, cbs_in_tb =3D 0;
> > +=A0=A0=A0=A0=A0=A0 int32_t length =3D ldpc_dec->input.length;
> > +=A0=A0=A0=A0=A0=A0 r =3D ldpc_dec->tb_params.r;
> > +=A0=A0=A0=A0=A0=A0 while (length > 0 && r < ldpc_dec->tb_params.c) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 length -=3D=A0 (r < ldpc_de=
c->tb_params.cab) ?
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ldpc_dec->tb_params.ea :
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ldpc_dec->tb_params.eb;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 r++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 cbs_in_tb++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 return cbs_in_tb;
> > +}
> > +
> > +/* Check we can mux encode operations with common FCW */
> > +static inline bool
> > +check_mux(struct rte_bbdev_enc_op **ops, uint16_t num) {
> > +=A0=A0=A0=A0=A0=A0 uint16_t i;
> > +=A0=A0=A0=A0=A0=A0 if (num =3D=3D 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return false;
> > +=A0=A0=A0=A0=A0=A0 for (i =3D 1; i < num; ++i) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Only mux compatible code=
 blocks */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (memcmp((uint8_t *)(&ops=
[i]->ldpc_enc) + ENC_OFFSET,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 (uint8_t *)(&ops[0]->ldpc_enc) + ENC_OFFSET,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 CMP_ENC_SIZE) !=3D 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
urn false;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 return true;
> > +}
> > +
> > +/** Enqueue encode operations for ACC100 device in CB mode. */
> > +static inline uint16_t
> > +acc100_enqueue_ldpc_enc_cb(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_enc_op **o=
ps, uint16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 struct acc100_queue *q =3D q_data->queue_private;
> > +=A0=A0=A0=A0=A0=A0 int32_t avail =3D q->sw_ring_depth + q->sw_ring_tai=
l - q->sw_ring_head;
> > +=A0=A0=A0=A0=A0=A0 uint16_t i =3D 0;
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc;
> > +=A0=A0=A0=A0=A0=A0 int ret, desc_idx =3D 0;
> > +=A0=A0=A0=A0=A0=A0 int16_t enq, left =3D num;
> > +
> > +=A0=A0=A0=A0=A0=A0 while (left > 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (unlikely(avail - 1 < 0)=
)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 avail--;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 enq =3D RTE_MIN(left, MUX_5=
GDL_DESC);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (check_mux(&ops[i], enq)=
) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
 =3D enqueue_ldpc_enc_n_op_cb(q, &ops[i],
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc_idx, enq);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if =
(ret < 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 break;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 i +=
=3D enq;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 } else {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
 =3D enqueue_ldpc_enc_one_op_cb(q, ops[i], desc_idx);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if =
(ret < 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 break;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 i++=
;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc_idx++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 left =3D num - i;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(i =3D=3D 0))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return 0; /* Nothing to enq=
ueue */
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Set SDone in last CB in enqueued ops for CB mode=
*/
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q->sw_ring_head + desc_id=
x - 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 desc->req.sdone_enable =3D 1;
> > +=A0=A0=A0=A0=A0=A0 desc->req.irq_enable =3D q->irq_enable;
> > +
> > +=A0=A0=A0=A0=A0=A0 acc100_dma_enqueue(q, desc_idx, &q_data->queue_stat=
s);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Update stats */
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.enqueued_count +=3D i;
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.enqueue_err_count +=3D num - i;
> > +
> > +=A0=A0=A0=A0=A0=A0 return i;
> > +}
> > +
> > +/* Enqueue encode operations for ACC100 device. */
> > +static uint16_t
> > +acc100_enqueue_ldpc_enc(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_enc_op **o=
ps, uint16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(num =3D=3D 0))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return 0;
> > +=A0=A0=A0=A0=A0=A0 return acc100_enqueue_ldpc_enc_cb(q_data, ops, num)=
;
> > +}
> > +
> > +/* Check we can mux encode operations with common FCW */
> > +static inline bool
> > +cmp_ldpc_dec_op(struct rte_bbdev_dec_op **ops) {
> > +=A0=A0=A0=A0=A0=A0 /* Only mux compatible code blocks */
> > +=A0=A0=A0=A0=A0=A0 if (memcmp((uint8_t *)(&ops[0]->ldpc_dec) + DEC_OFF=
SET,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (ui=
nt8_t *)(&ops[1]->ldpc_dec) +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 DEC=
_OFFSET, CMP_DEC_SIZE) !=3D 0) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return false;
> > +=A0=A0=A0=A0=A0=A0 } else
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return true;
> > +}
> > +
> > +
> > +/* Enqueue decode operations for ACC100 device in TB mode */
> > +static uint16_t
> > +acc100_enqueue_ldpc_dec_tb(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op **o=
ps, uint16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 struct acc100_queue *q =3D q_data->queue_private;
> > +=A0=A0=A0=A0=A0=A0 int32_t avail =3D q->sw_ring_depth + q->sw_ring_tai=
l - q->sw_ring_head;
> > +=A0=A0=A0=A0=A0=A0 uint16_t i, enqueued_cbs =3D 0;
> > +=A0=A0=A0=A0=A0=A0 uint8_t cbs_in_tb;
> > +=A0=A0=A0=A0=A0=A0 int ret;
> > +
> > +=A0=A0=A0=A0=A0=A0 for (i =3D 0; i < num; ++i) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 cbs_in_tb =3D get_num_cbs_i=
n_tb_ldpc_dec(&ops[i]->ldpc_dec);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Check if there are avail=
able space for further processing */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (unlikely(avail - cbs_in=
_tb < 0))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 avail -=3D cbs_in_tb;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret =3D enqueue_ldpc_dec_on=
e_op_tb(q, ops[i],
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 enqueued_cbs, cbs_in_tb);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (ret < 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 enqueued_cbs +=3D ret;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 acc100_dma_enqueue(q, enqueued_cbs, &q_data->queue_=
stats);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Update stats */
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.enqueued_count +=3D i;
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.enqueue_err_count +=3D num - i;
> > +=A0=A0=A0=A0=A0=A0 return i;
> > +}
> > +
> > +/* Enqueue decode operations for ACC100 device in CB mode */
> > +static uint16_t
> > +acc100_enqueue_ldpc_dec_cb(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op **o=
ps, uint16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 struct acc100_queue *q =3D q_data->queue_private;
> > +=A0=A0=A0=A0=A0=A0 int32_t avail =3D q->sw_ring_depth + q->sw_ring_tai=
l - q->sw_ring_head;
> > +=A0=A0=A0=A0=A0=A0 uint16_t i;
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc;
> > +=A0=A0=A0=A0=A0=A0 int ret;
> > +=A0=A0=A0=A0=A0=A0 bool same_op =3D false;
> > +=A0=A0=A0=A0=A0=A0 for (i =3D 0; i < num; ++i) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Check if there are avail=
able space for further processing */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (unlikely(avail - 1 < 0)=
)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 avail -=3D 1;
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (i > 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 sam=
e_op =3D cmp_ldpc_dec_op(&ops[i-1]);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log(INFO, "Op %d =
%d %d %d %d %d %d %d %d %d %d
> > %d\n",
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 i, =
ops[i]->ldpc_dec.op_flags, ops[i]->ldpc_dec.rv_index,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ops=
[i]->ldpc_dec.iter_max, ops[i]->ldpc_dec.iter_count,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ops=
[i]->ldpc_dec.basegraph, ops[i]->ldpc_dec.z_c,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ops=
[i]->ldpc_dec.n_cb, ops[i]->ldpc_dec.q_m,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ops=
[i]->ldpc_dec.n_filler, ops[i]->ldpc_dec.cb_params.e,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 sam=
e_op);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret =3D enqueue_ldpc_dec_on=
e_op_cb(q, ops[i], i, same_op);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (ret < 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(i =3D=3D 0))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return 0; /* Nothing to enq=
ueue */
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Set SDone in last CB in enqueued ops for CB mode=
*/
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q->sw_ring_head + i - 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->req.sdone_enable =3D 1;
> > +=A0=A0=A0=A0=A0=A0 desc->req.irq_enable =3D q->irq_enable;
> > +
> > +=A0=A0=A0=A0=A0=A0 acc100_dma_enqueue(q, i, &q_data->queue_stats);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Update stats */
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.enqueued_count +=3D i;
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.enqueue_err_count +=3D num - i;
> > +=A0=A0=A0=A0=A0=A0 return i;
> > +}
> > +
> > +/* Enqueue decode operations for ACC100 device. */
> > +static uint16_t
> > +acc100_enqueue_ldpc_dec(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op **o=
ps, uint16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 struct acc100_queue *q =3D q_data->queue_private;
> > +=A0=A0=A0=A0=A0=A0 int32_t aq_avail =3D q->aq_depth +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (q-=
>aq_dequeued - q->aq_enqueued) / 128;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (unlikely((aq_avail =3D=3D 0) || (num =3D=3D 0))=
)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return 0;
> > +
> > +=A0=A0=A0=A0=A0=A0 if (ops[0]->ldpc_dec.code_block_mode =3D=3D 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return acc100_enqueue_ldpc_=
dec_tb(q_data, ops, num);
> > +=A0=A0=A0=A0=A0=A0 else
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return acc100_enqueue_ldpc_=
dec_cb(q_data, ops, num);
> > +}
> > +
> > +
> > +/* Dequeue one encode operations from ACC100 device in CB mode */
> > +static inline int
> > +dequeue_enc_one_op_cb(struct acc100_queue *q, struct rte_bbdev_enc_op
> > **ref_op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t total_dequeued_cbs=
, uint32_t *aq_dequeued)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc, atom_desc;
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_rsp_desc rsp;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_enc_op *op;
> > +=A0=A0=A0=A0=A0=A0 int i;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q->sw_ring_tail + total_d=
equeued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __atomic_load_n((uint64_t *)=
desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 __A=
TOMIC_RELAXED);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Check fdone bit */
> > +=A0=A0=A0=A0=A0=A0 if (!(atom_desc.rsp.val & ACC100_FDONE))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +
> > +=A0=A0=A0=A0=A0=A0 rsp.val =3D atom_desc.rsp.val;
> > +=A0=A0=A0=A0=A0=A0 rte_bbdev_log_debug("Resp. desc %p: %x", desc, rsp.=
val);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Dequeue */
> > +=A0=A0=A0=A0=A0=A0 op =3D desc->req.op_addr;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Clearing status, it will be set based on respons=
e */
> > +=A0=A0=A0=A0=A0=A0 op->status =3D 0;
> > +
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.input_err)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ? (=
1 << RTE_BBDEV_DATA_ERROR) : 0);
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.dma_err) ? (1 << RTE_BBDEV_DR=
V_ERROR) : 0);
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.fcw_err) ? (1 << RTE_BBDEV_DR=
V_ERROR) : 0);
> > +
> > +=A0=A0=A0=A0=A0=A0 if (desc->req.last_desc_in_batch) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (*aq_dequeued)++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.last_desc_in_batc=
h =3D 0;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.val =3D ACC100_DMA_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_0 =3D 0; /*Reserved bits */
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_1 =3D 0; /*Reserved bits */
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Flag that the muxing cause loss of opaque data *=
/
> > +=A0=A0=A0=A0=A0=A0 op->opaque_data =3D (void *)-1;
> > +=A0=A0=A0=A0=A0=A0 for (i =3D 0 ; i < desc->req.numCBs; i++)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ref_op[i] =3D op;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* One CB (op) was successfully dequeued */
> > +=A0=A0=A0=A0=A0=A0 return desc->req.numCBs;
> > +}
> > +
> > +/* Dequeue one encode operations from ACC100 device in TB mode */
> > +static inline int
> > +dequeue_enc_one_op_tb(struct acc100_queue *q, struct rte_bbdev_enc_op
> > **ref_op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t total_dequeued_cbs=
, uint32_t *aq_dequeued)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc, *last_desc, atom_desc;
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_rsp_desc rsp;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_enc_op *op;
> > +=A0=A0=A0=A0=A0=A0 uint8_t i =3D 0;
> > +=A0=A0=A0=A0=A0=A0 uint16_t current_dequeued_cbs =3D 0, cbs_in_tb;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q->sw_ring_tail + total_d=
equeued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __atomic_load_n((uint64_t *)=
desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 __A=
TOMIC_RELAXED);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Check fdone bit */
> > +=A0=A0=A0=A0=A0=A0 if (!(atom_desc.rsp.val & ACC100_FDONE))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Get number of CBs in dequeued TB */
> > +=A0=A0=A0=A0=A0=A0 cbs_in_tb =3D desc->req.cbs_in_tb;
> > +=A0=A0=A0=A0=A0=A0 /* Get last CB */
> > +=A0=A0=A0=A0=A0=A0 last_desc =3D q->ring_addr + ((q->sw_ring_tail
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 + t=
otal_dequeued_cbs + cbs_in_tb - 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 /* Check if last CB in TB is ready to dequeue (and =
thus
> > +=A0=A0=A0=A0=A0=A0=A0 * the whole TB) - checking sdone bit. If not ret=
urn.
> > +=A0=A0=A0=A0=A0=A0=A0 */
> > +=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __atomic_load_n((uint64_t *)=
last_desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 __A=
TOMIC_RELAXED);
> > +=A0=A0=A0=A0=A0=A0 if (!(atom_desc.rsp.val & ACC100_SDONE))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Dequeue */
> > +=A0=A0=A0=A0=A0=A0 op =3D desc->req.op_addr;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Clearing status, it will be set based on respons=
e */
> > +=A0=A0=A0=A0=A0=A0 op->status =3D 0;
> > +
> > +=A0=A0=A0=A0=A0=A0 while (i < cbs_in_tb) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q=
->sw_ring_tail
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 + total_dequeued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 & q->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __at=
omic_load_n((uint64_t *)desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 __ATOMIC_RELAXED);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rsp.val =3D atom_desc.rsp.v=
al;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log_debug("Resp. =
desc %p: %x", desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 rsp.val);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.input=
_err)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ? (1 << RTE_BBDEV_DATA_ERROR) : 0);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.dma_e=
rr) ? (1 << RTE_BBDEV_DRV_ERROR) :
> 0);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.fcw_e=
rr) ? (1 << RTE_BBDEV_DRV_ERROR) : 0);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (desc->req.last_desc_in_=
batch) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (*a=
q_dequeued)++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 des=
c->req.last_desc_in_batch =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->rsp.val =3D ACC100_DM=
A_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_0 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 total_dequeued_cbs++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 current_dequeued_cbs++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 i++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 *ref_op =3D op;
> > +
> > +=A0=A0=A0=A0=A0=A0 return current_dequeued_cbs;
> > +}
> > +
> > +/* Dequeue one decode operation from ACC100 device in CB mode */
> > +static inline int
> > +dequeue_dec_one_op_cb(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_queue *q, str=
uct rte_bbdev_dec_op **ref_op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t dequeued_cbs, uint=
32_t *aq_dequeued)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc, atom_desc;
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_rsp_desc rsp;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op *op;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q->sw_ring_tail + dequeue=
d_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __atomic_load_n((uint64_t *)=
desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 __A=
TOMIC_RELAXED);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Check fdone bit */
> > +=A0=A0=A0=A0=A0=A0 if (!(atom_desc.rsp.val & ACC100_FDONE))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +
> > +=A0=A0=A0=A0=A0=A0 rsp.val =3D atom_desc.rsp.val;
> > +=A0=A0=A0=A0=A0=A0 rte_bbdev_log_debug("Resp. desc %p: %x", desc, rsp.=
val);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Dequeue */
> > +=A0=A0=A0=A0=A0=A0 op =3D desc->req.op_addr;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Clearing status, it will be set based on respons=
e */
> > +=A0=A0=A0=A0=A0=A0 op->status =3D 0;
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.input_err)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ? (=
1 << RTE_BBDEV_DATA_ERROR) : 0);
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.dma_err) ? (1 << RTE_BBDEV_DR=
V_ERROR) : 0);
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.fcw_err) ? (1 << RTE_BBDEV_DR=
V_ERROR) : 0);
> > +=A0=A0=A0=A0=A0=A0 if (op->status !=3D 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 q_data->queue_stats.dequeue=
_err_count++;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* CRC invalid if error exists */
> > +=A0=A0=A0=A0=A0=A0 if (!op->status)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D rsp.crc_sta=
tus << RTE_BBDEV_CRC_ERROR;
> > +=A0=A0=A0=A0=A0=A0 op->turbo_dec.iter_count =3D (uint8_t) rsp.iter_cnt=
 / 2;
> > +=A0=A0=A0=A0=A0=A0 /* Check if this is the last desc in batch (Atomic =
Queue) */
> > +=A0=A0=A0=A0=A0=A0 if (desc->req.last_desc_in_batch) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (*aq_dequeued)++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.last_desc_in_batc=
h =3D 0;
> > +=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.val =3D ACC100_DMA_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_0 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 *ref_op =3D op;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* One CB (op) was successfully dequeued */
> > +=A0=A0=A0=A0=A0=A0 return 1;
> > +}
> > +
> > +/* Dequeue one decode operations from ACC100 device in CB mode */
> > +static inline int
> > +dequeue_ldpc_dec_one_op_cb(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_queue *q, str=
uct rte_bbdev_dec_op **ref_op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t dequeued_cbs, uint=
32_t *aq_dequeued)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc, atom_desc;
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_rsp_desc rsp;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op *op;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q->sw_ring_tail + dequeue=
d_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __atomic_load_n((uint64_t *)=
desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 __A=
TOMIC_RELAXED);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Check fdone bit */
> > +=A0=A0=A0=A0=A0=A0 if (!(atom_desc.rsp.val & ACC100_FDONE))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +
> > +=A0=A0=A0=A0=A0=A0 rsp.val =3D atom_desc.rsp.val;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Dequeue */
> > +=A0=A0=A0=A0=A0=A0 op =3D desc->req.op_addr;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Clearing status, it will be set based on respons=
e */
> > +=A0=A0=A0=A0=A0=A0 op->status =3D 0;
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D rsp.input_err << RTE_BBDEV_DATA_ERR=
OR;
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D rsp.dma_err << RTE_BBDEV_DRV_ERROR;
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D rsp.fcw_err << RTE_BBDEV_DRV_ERROR;
> > +=A0=A0=A0=A0=A0=A0 if (op->status !=3D 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 q_data->queue_stats.dequeue=
_err_count++;
> > +
> > +=A0=A0=A0=A0=A0=A0 op->status |=3D rsp.crc_status << RTE_BBDEV_CRC_ERR=
OR;
> > +=A0=A0=A0=A0=A0=A0 if (op->ldpc_dec.hard_output.length > 0 && !rsp.syn=
d_ok)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D 1 << RTE_BB=
DEV_SYNDROME_ERROR;
> > +=A0=A0=A0=A0=A0=A0 op->ldpc_dec.iter_count =3D (uint8_t) rsp.iter_cnt;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Check if this is the last desc in batch (Atomic =
Queue) */
> > +=A0=A0=A0=A0=A0=A0 if (desc->req.last_desc_in_batch) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (*aq_dequeued)++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->req.last_desc_in_batc=
h =3D 0;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.val =3D ACC100_DMA_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_0 =3D 0;
> > +=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_1 =3D 0;
> > +
> > +=A0=A0=A0=A0=A0=A0 *ref_op =3D op;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* One CB (op) was successfully dequeued */
> > +=A0=A0=A0=A0=A0=A0 return 1;
> > +}
> > +
> > +/* Dequeue one decode operations from ACC100 device in TB mode. */
> > +static inline int
> > +dequeue_dec_one_op_tb(struct acc100_queue *q, struct rte_bbdev_dec_op
> > **ref_op,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 uint16_t dequeued_cbs, uint=
32_t *aq_dequeued)
> > +{
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_desc *desc, *last_desc, atom_desc;
> > +=A0=A0=A0=A0=A0=A0 union acc100_dma_rsp_desc rsp;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op *op;
> > +=A0=A0=A0=A0=A0=A0 uint8_t cbs_in_tb =3D 1, cb_idx =3D 0;
> > +
> > +=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q->sw_ring_tail + dequeue=
d_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __atomic_load_n((uint64_t *)=
desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 __A=
TOMIC_RELAXED);
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Check fdone bit */
> > +=A0=A0=A0=A0=A0=A0 if (!(atom_desc.rsp.val & ACC100_FDONE))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Dequeue */
> > +=A0=A0=A0=A0=A0=A0 op =3D desc->req.op_addr;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Get number of CBs in dequeued TB */
> > +=A0=A0=A0=A0=A0=A0 cbs_in_tb =3D desc->req.cbs_in_tb;
> > +=A0=A0=A0=A0=A0=A0 /* Get last CB */
> > +=A0=A0=A0=A0=A0=A0 last_desc =3D q->ring_addr + ((q->sw_ring_tail
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 + d=
equeued_cbs + cbs_in_tb - 1)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0 /* Check if last CB in TB is ready to dequeue (and =
thus
> > +=A0=A0=A0=A0=A0=A0=A0 * the whole TB) - checking sdone bit. If not ret=
urn.
> > +=A0=A0=A0=A0=A0=A0=A0 */
> > +=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __atomic_load_n((uint64_t *)=
last_desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 __A=
TOMIC_RELAXED);
> > +=A0=A0=A0=A0=A0=A0 if (!(atom_desc.rsp.val & ACC100_SDONE))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return -1;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Clearing status, it will be set based on respons=
e */
> > +=A0=A0=A0=A0=A0=A0 op->status =3D 0;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Read remaining CBs if exists */
> > +=A0=A0=A0=A0=A0=A0 while (cb_idx < cbs_in_tb) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc =3D q->ring_addr + ((q=
->sw_ring_tail + dequeued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 & q->sw_ring_wrap_mask);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 atom_desc.atom_hdr =3D __at=
omic_load_n((uint64_t *)desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 __ATOMIC_RELAXED);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rsp.val =3D atom_desc.rsp.v=
al;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 rte_bbdev_log_debug("Resp. =
desc %p: %x", desc,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 rsp.val);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.input=
_err)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 ? (1 << RTE_BBDEV_DATA_ERROR) : 0);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.dma_e=
rr) ? (1 << RTE_BBDEV_DRV_ERROR) :
> 0);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->status |=3D ((rsp.fcw_e=
rr) ? (1 << RTE_BBDEV_DRV_ERROR) : 0);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* CRC invalid if error exi=
sts */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (!op->status)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op-=
>status |=3D rsp.crc_status << RTE_BBDEV_CRC_ERROR;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op->turbo_dec.iter_count =
=3D RTE_MAX((uint8_t) rsp.iter_cnt,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 op->turbo_dec.iter_count);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 /* Check if this is the las=
t desc in batch (Atomic Queue) */
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (desc->req.last_desc_in_=
batch) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 (*a=
q_dequeued)++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 des=
c->req.last_desc_in_batch =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 }
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->rsp.val =3D ACC100_DM=
A_DESC_TYPE;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_0 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 desc->rsp.add_info_1 =3D 0;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 dequeued_cbs++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 cb_idx++;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 *ref_op =3D op;
> > +
> > +=A0=A0=A0=A0=A0=A0 return cb_idx;
> > +}
> > +
> > +/* Dequeue LDPC encode operations from ACC100 device. */
> > +static uint16_t
> > +acc100_dequeue_ldpc_enc(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_enc_op **o=
ps, uint16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 struct acc100_queue *q =3D q_data->queue_private;
> > +=A0=A0=A0=A0=A0=A0 uint32_t avail =3D q->sw_ring_head - q->sw_ring_tai=
l;
> > +=A0=A0=A0=A0=A0=A0 uint32_t aq_dequeued =3D 0;
> > +=A0=A0=A0=A0=A0=A0 uint16_t dequeue_num, i, dequeued_cbs =3D 0, dequeu=
ed_descs =3D 0;
> > +=A0=A0=A0=A0=A0=A0 int ret;
> > +
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(ops =3D=3D 0 && q =3D=3D NULL))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return 0;
> > +#endif
> > +
> > +=A0=A0=A0=A0=A0=A0 dequeue_num =3D (avail < num) ? avail : num;
> > +
> > +=A0=A0=A0=A0=A0=A0 for (i =3D 0; i < dequeue_num; i++) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret =3D dequeue_enc_one_op_=
cb(q, &ops[dequeued_cbs],
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0 dequeued_descs, &aq_dequeued);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (ret < 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 dequeued_cbs +=3D ret;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 dequeued_descs++;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (dequeued_cbs >=3D num)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 q->aq_dequeued +=3D aq_dequeued;
> > +=A0=A0=A0=A0=A0=A0 q->sw_ring_tail +=3D dequeued_descs;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Update enqueue stats */
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.dequeued_count +=3D dequeued_cb=
s;
> > +
> > +=A0=A0=A0=A0=A0=A0 return dequeued_cbs;
> > +}
> > +
> > +/* Dequeue decode operations from ACC100 device. */
> > +static uint16_t
> > +acc100_dequeue_ldpc_dec(struct rte_bbdev_queue_data *q_data,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op **o=
ps, uint16_t num)
> > +{
> > +=A0=A0=A0=A0=A0=A0 struct acc100_queue *q =3D q_data->queue_private;
> > +=A0=A0=A0=A0=A0=A0 uint16_t dequeue_num;
> > +=A0=A0=A0=A0=A0=A0 uint32_t avail =3D q->sw_ring_head - q->sw_ring_tai=
l;
> > +=A0=A0=A0=A0=A0=A0 uint32_t aq_dequeued =3D 0;
> > +=A0=A0=A0=A0=A0=A0 uint16_t i;
> > +=A0=A0=A0=A0=A0=A0 uint16_t dequeued_cbs =3D 0;
> > +=A0=A0=A0=A0=A0=A0 struct rte_bbdev_dec_op *op;
> > +=A0=A0=A0=A0=A0=A0 int ret;
> > +
> > +#ifdef RTE_LIBRTE_BBDEV_DEBUG
> > +=A0=A0=A0=A0=A0=A0 if (unlikely(ops =3D=3D 0 && q =3D=3D NULL))
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 return 0;
> > +#endif
> > +
> > +=A0=A0=A0=A0=A0=A0 dequeue_num =3D (avail < num) ? avail : num;
> > +
> > +=A0=A0=A0=A0=A0=A0 for (i =3D 0; i < dequeue_num; ++i) {
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 op =3D (q->ring_addr + ((q-=
>sw_ring_tail + dequeued_cbs)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 & q=
->sw_ring_wrap_mask))->req.op_addr;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (op->ldpc_dec.code_block=
_mode =3D=3D 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
 =3D dequeue_dec_one_op_tb(q, &ops[i], dequeued_cbs,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 &aq_dequeued);
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 else
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 ret=
 =3D dequeue_ldpc_dec_one_op_cb(
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 q_data, q, &ops[i], dequeued_=
cbs,
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 &aq_dequeued);
> > +
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 if (ret < 0)
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 bre=
ak;
> > +=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0 dequeued_cbs +=3D ret;
> > +=A0=A0=A0=A0=A0=A0 }
> > +
> > +=A0=A0=A0=A0=A0=A0 q->aq_dequeued +=3D aq_dequeued;
> > +=A0=A0=A0=A0=A0=A0 q->sw_ring_tail +=3D dequeued_cbs;
> > +
> > +=A0=A0=A0=A0=A0=A0 /* Update enqueue stats */
> > +=A0=A0=A0=A0=A0=A0 q_data->queue_stats.dequeued_count +=3D i;
> > +
> > +=A0=A0=A0=A0=A0=A0 return i;
> > +}
> > +
> > =A0/* Initialization Function */
> > =A0static void
> > =A0acc100_bbdev_init(struct rte_bbdev *dev, struct rte_pci_driver *drv)
> > @@ -703,6 +2321,10 @@
> > =A0=A0=A0=A0=A0=A0=A0=A0 struct rte_pci_device *pci_dev =3D RTE_DEV_TO_=
PCI(dev->device);
> >
> > =A0=A0=A0=A0=A0=A0=A0=A0 dev->dev_ops =3D &acc100_bbdev_ops;
> > +=A0=A0=A0=A0=A0=A0 dev->enqueue_ldpc_enc_ops =3D acc100_enqueue_ldpc_e=
nc;
> > +=A0=A0=A0=A0=A0=A0 dev->enqueue_ldpc_dec_ops =3D acc100_enqueue_ldpc_d=
ec;
> > +=A0=A0=A0=A0=A0=A0 dev->dequeue_ldpc_enc_ops =3D acc100_dequeue_ldpc_e=
nc;
> > +=A0=A0=A0=A0=A0=A0 dev->dequeue_ldpc_dec_ops =3D acc100_dequeue_ldpc_d=
ec;
> >
> > =A0=A0=A0=A0=A0=A0=A0=A0 ((struct acc100_device *) dev->data->dev_priva=
te)->pf_device =3D
> > =A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=A0=
=A0 !strcmp(drv->driver.name,
> > @@ -815,4 +2437,3 @@ static int acc100_pci_remove(struct rte_pci_device
> > *pci_dev)
> > =A0RTE_PMD_REGISTER_PCI_TABLE(ACC100PF_DRIVER_NAME,
> > pci_id_acc100_pf_map);
> > =A0RTE_PMD_REGISTER_PCI(ACC100VF_DRIVER_NAME, acc100_pci_vf_driver);
> > =A0RTE_PMD_REGISTER_PCI_TABLE(ACC100VF_DRIVER_NAME,
> > pci_id_acc100_vf_map);
> > -
> > diff --git a/drivers/baseband/acc100/rte_acc100_pmd.h
> > b/drivers/baseband/acc100/rte_acc100_pmd.h
> > index 0e2b79c..78686c1 100644
> > --- a/drivers/baseband/acc100/rte_acc100_pmd.h
> > +++ b/drivers/baseband/acc100/rte_acc100_pmd.h
> > @@ -88,6 +88,8 @@
> > =A0#define TMPL_PRI_3=A0=A0=A0=A0=A0 0x0f0e0d0c
> > =A0#define QUEUE_ENABLE=A0=A0=A0 0x80000000=A0 /* Bit to mark Queue as =
Enabled */
> > =A0#define WORDS_IN_ARAM_SIZE (128 * 1024 / 4)
> > +#define ACC100_FDONE=A0=A0=A0 0x80000000
> > +#define ACC100_SDONE=A0=A0=A0 0x40000000
> >
> > =A0#define ACC100_NUM_TMPL=A0 32
> > =A0#define VF_OFFSET_QOS 16 /* offset in Memory Space specific to QoS M=
on
> */
> > @@ -398,6 +400,7 @@ struct __rte_packed acc100_dma_req_desc {
> > =A0union acc100_dma_desc {
> > =A0=A0=A0=A0=A0=A0=A0=A0 struct acc100_dma_req_desc req;
> > =A0=A0=A0=A0=A0=A0=A0=A0 union acc100_dma_rsp_desc rsp;
> > +=A0=A0=A0=A0=A0=A0 uint64_t atom_hdr;
> > =A0};
> >
> >
> > --
> > 1.8.3.1