Hi Support
Below the drill issues that we have
1. Slowness issues when running two queries the same time ( please find
attached an Example of querie)
Start of execution querie 20210815: 09: 26: 23 to 09: 33 ==> about 6min30s
Start of execution of the date 15 and 16 has been launched at the same time:
09:38 to 09:48 ==> 10 minutes of exécution
2 - Sometimes we get the error (Unable to allocate buffer of size 134217728
due to memory limit (191739611). Current allocation: 78880768)
Can you please help up to troubleshoot theses issues.
Kind Regards
________________________________
De : Amine Elmekki <[email protected]>
Envoyé : mercredi 22 septembre 2021 09:08
À : nawfal osman <[email protected]>
Cc : Zakaria Rahoui <[email protected]>
Objet : RE: Soucis Drill
Merci
Tu envois ces éléments à [email protected]<mailto:[email protected]>
From: nawfal osman <[email protected]>
Sent: Tuesday, 21 September 2021 10:15
To: Amine Elmekki <[email protected]>
Cc: Zakaria Rahoui <[email protected]>
Subject: RE: Soucis Drill
Bonjour ;
Ci-dessous mon retour :
1. Pb de lenteur lorsqu’on lance deux projets en //.
Eléments à envoyer : Request, date début, date fin (en la lançant seule et avec
deux req en //)
Début d'exécution de la journée du 20210815 : 09 :26 :23 au 09 :33 ==> environ
6min30s
Début d'exécution quand on a lancé la journée du 15 et 16 en même temps : 09:38
à 09:48 ==> 10 minutes d'exécution
En jointure la requête utilisée
1. Problème de jointure de drill. Eléments à envoyer :
* Requête
* Fausse résultat
* Correct résultat qu’on doit obtenir
Pour ce cas de figure, je n'arrive toujours pas à trouver un cas ; je suis
toujours en train de chercher ( je vous ferai un retour dans la journée )
3.D’autres problèmes…
* Parfois on a l'erreur ( Unable to allocate buffer of size
134217728 due to memory limit (191739611). Current allocation: 78880768 ) ;
mais le support MapR nous a envoyer un lien pour troubleshooting :
Troubleshooting Guide: DRILL OutOfMemory error and possible workarounds
https://support.datafabric.hpe.com/s/article/Troubleshooting-DRILL-OutOfMemory-error-and-possible-workarounds?language=en_US
Cordialement
________________________________
De : Amine Elmekki
<[email protected]<mailto:[email protected]>>
Envoyé : lundi 20 septembre 2021 18:31
À : nawfal osman
<[email protected]<mailto:[email protected]>>
Cc : Zakaria Rahoui
<[email protected]<mailto:[email protected]>>
Objet : Soucis Drill
Nawfal,
Besoin des cas réel des problèmes de drill :
1. Pb de lenteur lorsqu’on lance deux projets en //.
Eléments à envoyer : Request, date début, date fin (en la lançant seule et avec
deux req en //)
1. Problème de jointure de drill. Eléments à envoyer :
* Requête
* Fausse résultat
* Correct résultat qu’on doit obtenir
1. D’autres problèmes…
Début d'éxecution de la journée du 20210815 : 09:26:23 au 09:33
Début d'éxecution quand on a lancé la journée du 15 et 16 en même temps :
09:38 Ã 09:48
create table `dfs`.`data`.`extractions/test_dexec/20210815_v2/pgw_er`
as
select served_party_msisdn,
served_party_cgi as CGI,
servedIMEISV as IMEI,
call_dest,
substr(recordOpeningTime,9,2) as TH,
sum(CASE
when call_dest = 5 then data_vol
when call_dest = 0 then data_vol
when call_dest = 2 then data_vol
ELSE
0
END) as Volume_2G,
sum(CASE
when call_dest = 1 then data_vol
ELSE
0
END) as Volume_3G,
sum(CASE
when call_dest = 6 then data_vol
ELSE
0
END) as Volume_4G,
sum(CASE
WHEN call_dest is null then data_volume_uplink
when call_dest = 5 then data_volume_uplink
when call_dest = 0 then data_volume_uplink
when call_dest = 2 then data_volume_uplink
ELSE
0
END) as Volume_2G_up,
sum(CASE
when call_dest = 1 then data_volume_uplink
ELSE
0
END) as Volume_3G_up,
sum(CASE
when call_dest = 6 then data_volume_uplink
ELSE
0
END) as Volume_4G_up,
sum(CASE
WHEN call_dest is null then data_vol_downlink
when call_dest = 5 then data_vol_downlink
when call_dest = 0 then data_vol_downlink
when call_dest = 2 then data_vol_downlink
ELSE
0
END) as Volume_2G_dw,
sum(CASE
when call_dest = 1 then data_vol_downlink
ELSE
0
END) as Volume_3G_dw,
sum(CASE
when call_dest = 6 then data_vol_downlink
ELSE
0
END) as Volume_4G_dw,
sum(data_vol),
sum(data_vol_downlink),
sum(data_volume_uplink),
servedIMSI
from `dfs`.`data`.`Views/daily/V_RAW_ERICSSON_PGW/V_RAW_ERICSSON_PGW_20210815`
where
data_vol > 0
group by
served_party_msisdn,
CGI,
IMEI,
call_dest,
TH,
servedIMSI
