Hallo Rafael, Sorry, but this time I have to attach a file :-) (I was usually trying to avoid it because sending to mailing list) But qpidd trace is uncompressed 2Mb, compressed 80Kb
So compressed qpidd log is attached. Best regards, 25.10.2014 00:41, Rafael Schloming пишет: > Hi Michael, > > Sorry for misleading you. I think the way qpidd integrates proton must > override the PN_TRACE_FRM configuration. I believe you should be able to > get the protocol trace from the broker by using the -t option, e.g. "qpidd > -t". I'll take a look at the logs you posted, however I suspect the most > useful one will be the broker trace, so I would appreciate any effort you > can make to obtain it. > > Thanks, > > --Rafael > > > On Fri, Oct 24, 2014 at 3:40 PM, Michael Ivanov <iv...@logit-ag.de> wrote: > >> Ok I have some results. Now the core is not dumped but I have unusual >> delays >> during application startup. I have started qpidd up with PN_TRACE_FRM set, >> but do not see any trace output. Only thing I have are the following >> entries >> from syslog: >> >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Broker] notice >> Broker 28477 initializing >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Security] notice >> SSL plugin not enabled, you must set --ssl-cert-db to >> enable it. >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Store] notice >> Journal "TplStore": Created >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Store] notice >> Store module initialized; store-dir=/var/spool/qpid >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Store] warning >> Message store plugin: No storage providers available. >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Network] notice >> Listening on TCP/TCP6 port 5672 >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Broker] notice >> Broker 28477 initialized >> Oct 24 21:17:24 ccsfat qpidd[28477]: 2014-10-24 21:17:24 [Broker] notice >> Broker 28477 running >> Oct 24 21:21:04 ccsfat qpidd[28477]: 2014-10-24 21:21:04 [System] error >> Connection qpid.127.0.0.1:5672-127.0.0.1:39178 No >> protocol received closing >> Oct 24 21:21:04 ccsfat qpidd[28477]: 2014-10-24 21:21:04 [System] error >> Connection qpid.127.0.0.1:5672-127.0.0.1:39180 No >> protocol received closing >> Oct 24 21:21:04 ccsfat qpidd[28477]: 2014-10-24 21:21:04 [Management] >> error Detected two management objects with the same >> identifier: >> 0-5-1--174(org.apache.qpid.broker:incoming:aa8fef78-607a-4913-a9ba-f10972657cd7,sender-xxx) >> Oct 24 21:21:05 ccsfat qpidd[28477]: 2014-10-24 21:21:05 [System] error >> Connection qpid.127.0.0.1:5672-127.0.0.1:39182 No >> protocol received closing >> Oct 24 21:21:05 ccsfat qpidd[28477]: 2014-10-24 21:21:05 [System] error >> Connection qpid.127.0.0.1:5672-127.0.0.1:39184 No >> protocol received closing >> Oct 24 21:21:05 ccsfat qpidd[28477]: 2014-10-24 21:21:05 [System] error >> Connection qpid.127.0.0.1:5672-127.0.0.1:39186 No >> protocol received closing >> Oct 24 21:21:05 ccsfat qpidd[28477]: 2014-10-24 21:21:05 [System] error >> Connection qpid.127.0.0.1:5672-127.0.0.1:39188 No >> protocol received closing >> Oct 24 21:21:06 ccsfat qpidd[28477]: 2014-10-24 21:21:06 [System] error >> Connection qpid.127.0.0.1:5672-127.0.0.1:39195 No >> protocol received closing >> >> With client processes it's a little better. Here's the output from one of >> the >> processes: >> >> [0x82dd50]: -> SASL >> [0x82dd50]:0 -> @sasl-init(65) [mechanism=:ANONYMOUS, initial-response=b""] >> [0x82dd50]: <- SASL >> [0x82dd50]:0 <- @sasl-mechanisms(64) >> [sasl-server-mechanisms=@PN_SYMBOL[:ANONYMOUS, :LOGIN, :PLAIN, :GSSAPI]] >> [0x82dd50]:0 <- @sasl-outcome(68) [code=0] >> [0x82dd50]: -> AMQP >> [0x82dd50]:0 -> @open(16) >> [container-id="f58f77fd-6473-4cd9-8a55-7a4d1ed083b2", hostname="127.0.0.1"] >> [0x82dd50]:0 -> @begin(17) [next-outgoing-id=0, >> incoming-window=2147483647, outgoing-window=0] >> [0x82dd50]:0 -> @attach(18) [name="TPRBOX", handle=0, role=true, >> snd-settle-mode=2, rcv-settle-mode=0, source=@source(40) >> [address="TPRBOX", durable=0, timeout=0, dynamic=false], >> target=@target(41) [address="TPRBOX", durable=0, timeout=0, >> dynamic=false], initial-delivery-count=0] >> [0x82dd50]:0 -> @flow(19) [incoming-window=2147483647, next-outgoing-id=0, >> outgoing-window=0, handle=0, delivery-count=0, >> link-credit=1, drain=false] >> [0x82dd50]: <- AMQP >> [0x82dd50]:0 <- @open(16) >> [container-id="e5584c39-5ae9-4fad-ba53-2528475d71ba"] >> [0x82dd50]:0 <- @begin(17) [remote-channel=0, next-outgoing-id=0, >> incoming-window=2147483647, outgoing-window=1] >> [0x82dd50]:0 <- @attach(18) [name="TPRBOX", handle=0, role=false, >> snd-settle-mode=2, rcv-settle-mode=0, source=@source(40) >> [address="TPRBOX", durable=0, timeout=0, dynamic=false], >> target=@target(41) [durable=0, timeout=0, dynamic=false], >> initial-delivery-count=0] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=0, >> delivery-tag=b"\x00\x00\x00\x00", message-format=0, settled=false, >> more=false] (255) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xaf\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x00\x00\x00\x005 >> AP\x00\x00\x00\x00\x00\x00\x00\x003\x00\x00\x0024.10.14 21:21:35 APOL >> _RECEIVE: Timer1 timed out.\x0a\x00%G\x01\x999\x00\x00" >> >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=1, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=1, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=0, last=0, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=1, >> delivery-tag=b"\x00\x00\x00\x01", message-format=0, settled=false, >> more=false] (282) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xca\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00N\x00\x00\x0024.10.14 >> 21:21:35 APOL >> ++++++++++++++++++++++++++++++++++++++++++++++++++++++\x0a\x00\x0024.10." >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=2, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=2, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=1, last=1, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=2, >> delivery-tag=b"\x00\x00\x00\x02", message-format=0, settled=false, >> more=false] (252) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xac\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x000\x00\x00\x0024.10.14 >> 21:21:35 APOL _POLL: Function started.\x0a\x00+++++++" >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=3, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=3, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=2, last=2, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=3, >> delivery-tag=b"\x00\x00\x00\x03", message-format=0, settled=false, >> more=false] (282) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xca\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x008c#\x00\x00\x00N\x00\x00\x0024.10.14 >> 21:21:35 APOL >> ++++++++++++++++++++++++++++++++++++++++++++++++++++++\x0a\x0000\x00\" >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=4, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=4, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=3, last=3, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=4, >> delivery-tag=b"\x00\x00\x00\x04", message-format=0, settled=false, >> more=false] (262) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xb6\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x008c#\x00\x00\x00:\x00\x00\x0024.10.14 >> 21:21:35 APOL _CCS_TC_TIMEOUT: Function started.\x0a\x00+++++++" >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=5, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=5, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=4, last=4, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=5, >> delivery-tag=b"\x00\x00\x00\x05", message-format=0, settled=false, >> more=false] (330) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xfa\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x008c#\x00\x00\x00~\x00\x00\x0024.10.14 >> 21:21:35 APOL _CCS_TC_TIMEOUT: Fetching next record failed.\x0a >> ORA-ERR: ORA-01403: no data >> found\x0a\x0000\x00\" >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=6, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=6, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=5, last=5, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=6, >> delivery-tag=b"\x00\x00\x00\x06", message-format=0, settled=false, >> more=false] (282) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xca\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x008c#\x00\x00\x00N\x00\x00\x0024.10.14 >> 21:21:35 APOL >> ++++++++++++++++++++++++++++++++++++++++++++++++++++++\x0a\x00 " >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=7, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=7, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=6, last=6, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=7, >> delivery-tag=b"\x00\x00\x00\x07", message-format=0, settled=false, >> more=false] (282) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xca\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x00+++++++++++++++N\x00\x00\x0024.10.14 >> 21:21:35 APOL >> ++++++++++++++++++++++++++++++++++++++++++++++++++++++\x0a\x0000\x00\" >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=8, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=8, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=7, last=7, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=8, >> delivery-tag=b"\x00\x00\x00\x08", message-format=0, settled=false, >> more=false] (260) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xb4\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x00+++++++++++++++8\x00\x00\x0024.10.14 >> 21:21:35 APOL _CCS_TC_RESET: Function started.\x0a\x00+++++++" >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=9, incoming-window=2147483647, >> next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=9, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=8, last=8, settled=true] >> [0x82dd50]:0 <- @transfer(20) [handle=0, delivery-id=9, >> delivery-tag=b"\x00\x00\x00\x09", message-format=0, settled=false, >> more=false] (328) >> "\x00Sp\xc0\x06\x04BP\x04@A\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@ >> @\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xf8\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00apol\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00!\x00\x00\x00apol\x00+++++++++++++++|\x00\x00\x0024.10.14 >> 21:21:35 APOL _CCS_TC_RESET: Fetching next record failed.\x0a >> ORA-ERR: ORA-01403: no data >> found\x0a\x00\x00\x0" >> [0x82dd50]:0 -> @flow(19) [next-incoming-id=10, >> incoming-window=2147483647, next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=10, link-credit=1, drain=false] >> [0x82dd50]:0 -> @disposition(21) [role=true, first=9, last=9, settled=true] >> >> etc. This process is supposed to receive messages on TPRBOX queue. >> >> The following process is sending the data to TPRBOX: >> >> [0x12862d0]: -> SASL >> [0x12862d0]:0 -> @sasl-init(65) [mechanism=:ANONYMOUS, >> initial-response=b""] >> [0x129d770]: -> SASL >> [0x129d770]:0 -> @sasl-init(65) [mechanism=:ANONYMOUS, >> initial-response=b""] >> [0x12862d0]: <- SASL >> [0x12862d0]:0 <- @sasl-mechanisms(64) >> [sasl-server-mechanisms=@PN_SYMBOL[:ANONYMOUS, :LOGIN, :PLAIN, :GSSAPI]] >> [0x12862d0]:0 <- @sasl-outcome(68) [code=0] >> [0x12862d0]: -> AMQP >> [0x12862d0]:0 -> @open(16) >> [container-id="271772a8-3e5e-496e-8ad3-bd39815dbafb", hostname="127.0.0.1"] >> [0x12862d0]:0 -> @begin(17) [next-outgoing-id=0, >> incoming-window=2147483647, outgoing-window=0] >> [0x12862d0]:0 -> @attach(18) [name="TPRBOX", handle=0, role=true, >> snd-settle-mode=2, rcv-settle-mode=0, source=@source(40) >> [address="TPRBOX", durable=0, timeout=0, dynamic=false], >> target=@target(41) [address="TPRBOX", durable=0, timeout=0, >> dynamic=false], initial-delivery-count=0] >> [0x129d770]: <- SASL >> [0x129d770]:0 <- @sasl-mechanisms(64) >> [sasl-server-mechanisms=@PN_SYMBOL[:ANONYMOUS, :LOGIN, :PLAIN, :GSSAPI]] >> [0x129d770]:0 <- @sasl-outcome(68) [code=0] >> [0x129d770]: <- AMQP >> [0x12862d0]: <- AMQP >> [0x129d770]: -> AMQP >> [0x129d770]:0 -> @open(16) >> [container-id="271772a8-3e5e-496e-8ad3-bd39815dbafb", hostname="0.0.0.0"] >> [0x129d770]:0 -> @begin(17) [next-outgoing-id=0, >> incoming-window=2147483647, outgoing-window=1] >> [0x129d770]:0 -> @attach(18) [name="sender-xxx", handle=0, role=false, >> snd-settle-mode=2, rcv-settle-mode=0, source=@source(40) >> [address="TPRBOX", durable=0, timeout=0, dynamic=false], >> target=@target(41) [address="TPRBOX", durable=0, timeout=0, >> dynamic=false], initial-delivery-count=0] >> [0x129d770]:0 <- @open(16) >> [container-id="e5584c39-5ae9-4fad-ba53-2528475d71ba"] >> [0x129d770]:0 <- @begin(17) [remote-channel=0, next-outgoing-id=0, >> incoming-window=2147483647, outgoing-window=0] >> [0x129d770]:0 <- @attach(18) [name="sender-xxx", handle=0, role=true, >> snd-settle-mode=2, rcv-settle-mode=0, source=@source(40) >> [durable=0, timeout=0, dynamic=false], target=@target(41) >> [address="TPRBOX", durable=0, timeout=0, dynamic=false], >> initial-delivery-count=0] >> [0x129d770]:0 <- @flow(19) [next-incoming-id=0, >> incoming-window=2147483647, next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=0, link-credit=100, drain=false] >> [0x129d770]:0 -> @transfer(20) [handle=0, delivery-id=0, >> delivery-tag=b"\x00\x00\x00\x00\x00\x00\x00\x00", message-format=0, >> settled=true, more=false] (275) >> "\x00Sp\xd0\x00\x00\x00\x0b\x00\x00\x00\x05BP\x04@BR >> \x00\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@@\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xbb\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00alma\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00 >> \x00\x00\x00alma\x00\x00\x00\x00\x00\x00\x00\x00\x00\x1aR\xfc\xff\x7f\x00\x00?\x00\x00\x0024.10.14 >> 21:21:04 ALMA ** Process >> alma[28883] is getting up...\x0a\x00\xff\x7f\x00\x00\x8dE@" >> [0x129d770]:0 -> @transfer(20) [handle=0, delivery-id=1, >> delivery-tag=b"\x01\x00\x00\x00\x00\x00\x00\x00", message-format=0, >> settled=true, more=false] (249) >> "\x00Sp\xd0\x00\x00\x00\x0b\x00\x00\x00\x05BP\x04@BR >> \x00\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@@\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xa1\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00alma\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00 >> \x00\x00\x00alma\x00\x00\x00\x00\x00\x00\x00\x00\x00\x1aR\xfc\xff\x7f\x00\x00%\x00\x00\x0024.10.14 >> 21:21:04 ALMA apl_start: >> OK\x0a\x00[28883]" >> [0x129d770]:0 <- @flow(19) [next-incoming-id=1, >> incoming-window=2147483647, next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=1, link-credit=100, drain=false] >> [0x129d770]:0 -> @transfer(20) [handle=0, delivery-id=2, >> delivery-tag=b"\x02\x00\x00\x00\x00\x00\x00\x00", message-format=0, >> settled=true, more=false] (281) >> "\x00Sp\xd0\x00\x00\x00\x0b\x00\x00\x00\x05BP\x04@BR >> \x00\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@@\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xc1\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00alma\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00 >> \x00\x00\x00alma\x00\x07\x0a\x00\x18\x00\x15\x00\x15\x00\x04\x00L\x00\x00\x00E\x00\x00\x0024.10.14 >> 21:21:04 ALMA Connecting to >> oracle database as omgr@CCS_APP\x0a\x00R\xfc\xff\x7f\x00\x00P" >> [0x129d770]:0 -> @transfer(20) [handle=0, delivery-id=3, >> delivery-tag=b"\x03\x00\x00\x00\x00\x00\x00\x00", message-format=0, >> settled=true, more=false] (284) >> "\x00Sp\xd0\x00\x00\x00\x0b\x00\x00\x00\x05BP\x04@BR >> \x00\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@@\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xc4\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00alma\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00 >> \x00\x00\x00alma\x00\x13R\xfc\xff\x7f\x00\x00b\xf7F\x999\x00\x00\x00H\x00\x00\x0024.10.14 >> 21:21:04 ALMA Oracle database >> connected as user "omgr@CCS_APP"\x0a\x00\x00\x00\x00gT\xfc\x18" >> [0x129d770]:0 <- @flow(19) [next-incoming-id=2, >> incoming-window=2147483647, next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=2, link-credit=100, drain=false] >> [0x129d770]:0 <- @flow(19) [next-incoming-id=3, >> incoming-window=2147483647, next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=3, link-credit=100, drain=false] >> [0x12862d0]:0 <- @open(16) >> [container-id="e5584c39-5ae9-4fad-ba53-2528475d71ba"] >> [0x12862d0]:0 <- @begin(17) [remote-channel=0, next-outgoing-id=0, >> incoming-window=2147483647, outgoing-window=0] >> [0x12862d0]:0 <- @attach(18) [name="TPRBOX", handle=0, role=false, >> snd-settle-mode=2, rcv-settle-mode=0, source=@source(40) >> [address="TPRBOX", durable=0, timeout=0, dynamic=false], >> target=@target(41) [durable=0, timeout=0, dynamic=false], >> initial-delivery-count=0] >> [0x129d770]:0 -> @transfer(20) [handle=0, delivery-id=4, >> delivery-tag=b"\x04\x00\x00\x00\x00\x00\x00\x00", message-format=0, >> settled=true, more=false] (253) >> "\x00Sp\xd0\x00\x00\x00\x0b\x00\x00\x00\x05BP\x04@BR >> \x00\x00Ss\xd0\x00\x00\x008\x00\x00\x00\x0d@@\xa1\x15amqp:// >> 0.0.0.0/TPRBOX@@@@@\x83\x00\x00\x00\x00\x00\x00\x00\x00\x83\x00\x00\x00\x00\x00\x00\x00\x00@R\x00@\x00Sw\xa0\xa5\x08\x00\x00\x00\x00\x00\x00\x00\x8c#\x00\x00\x00\x00\x00\x00 >> !\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00alma\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00 >> \x00\x00\x00alma\x00\x13R\xfc\xff\x7f\x00\x00b\xf7F\x999\x00\x00\x00)\x00\x00\x0024.10.14 >> 21:21:04 ALMA apl_start_ora: >> OK\x0a\x00nected " >> [0x129d770]:0 <- @flow(19) [next-incoming-id=4, >> incoming-window=2147483647, next-outgoing-id=0, outgoing-window=0, handle=0, >> delivery-count=4, link-credit=100, drain=false] >> >> Best regards, >> >> 24.10.2014 22:36, Rafael Schloming пишет: >>> You can check out the trunk source code from here: >>> >>> http://svn.apache.org/repos/asf/qpid/proton/trunk/ >>> >>> You should be able to turn on the protocol trace by setting the >>> PN_TRACE_FRM environment variable to 1, e.g.: >>> >>> export PN_TRACE_FRM=1 >>> run-client-program >>> >>> You will need to do this on the server side as well in order to get the >>> server's version of the protocol trace. >>> >>> --Rafael >>> >>> >>> On Fri, Oct 24, 2014 at 2:31 PM, Michael Ivanov <iv...@logit-ag.de> >> wrote: >>> >>>> Sorry, should I check out the trunk from the repository or can I >> download >>>> the new sources tar archive from somewhere? The last version I used I >> have >>>> downloaded from >>>> http://people.apache.org/~rhs/qpid-proton-0.8rc4/qpid-proton-0.8.tar.gz >>>> If the sources are to be checked out which url should I use? >>>> >>>> And pls can you explain me how to turn the proitocol trace on? Or >> should I >>>> just tcpdump during exchange? >>>> >>>> Best regards, >>>> >>>> 24.10.2014 22:24, Rafael Schloming пишет: >>>>> Hi Michael, >>>>> >>>>> I just committed the change Ken suggested to at least fix the abort. Is >>>>> there any way you could retest with trunk? >>>>> >>>>> If the problem still occurs (I expect it will, just not quite so >> fatally) >>>>> it would be good to get the protocol trace for both the client and the >>>>> server and see if that will shed some light on what is going on. >>>>> >>>>> --Rafael >>>>> >>>>> >>>>> On Fri, Oct 24, 2014 at 2:00 PM, Michael Ivanov <iv...@logit-ag.de> >>>> wrote: >>>>> >>>>>> I just rebuilt all client processes to use proton 0.8 (it was still >> 0.7 >>>>>> before) >>>>>> Error is still the same. >>>>>> >>>>>> Best regards, >>>>>> >>>>>> 24.10.2014 18:16, Ken Giusti пишет: >>>>>>> >From the trace, it seems like the broker is receiving a transfer >> whose >>>>>> delivery id is out of order. >>>>>>> >>>>>>> This shouldn't cause an abort - likely the result is an untested >>>> failure >>>>>> path, in transport.c:781: >>>>>>> >>>>>>> if (id_present && id != state->id) { >>>>>>> int err = pn_do_error(transport, "amqp:session:invalid-field", >>>>>>> "sequencing error, expected delivery-id >> %u, >>>>>> got %u", >>>>>>> state->id, id); >>>>>>> ====> // XXX: this will probably leave delivery buffer state messed >> up >>>>>>> pn_full_settle(incoming, delivery); >>>>>>> return err; >>>>>>> } >>>>>>> >>>>>>> It doesn't explain why a transfer is sent out of order by the client, >>>>>> but at least we probably should remove the attempt to >> pn_full_settle(), >>>> and >>>>>> just return the error to fail the connection (assumed - totally >>>> untested). >>>>>>> >>>>>>> -K >>>>>>> >>>>>>> ----- Original Message ----- >>>>>>>> From: "Michael Ivanov" <iv...@logit-ag.de> >>>>>>>> To: proton@qpid.apache.org >>>>>>>> Sent: Friday, October 24, 2014 9:38:54 AM >>>>>>>> Subject: Re: VOTE: Release Proton 0.8 RC4 as 0.8 final >>>>>>>> >>>>>>>> Hallo, >>>>>>>> >>>>>>>> I used proton 0.7 and later when I had an error, proton 0.8 RC4 to >>>> build >>>>>>>> qpid-cpp-0.30. In both cases at some time qpidd aborts in proton >>>> library >>>>>>>> in the following location: >>>>>>>> >>>>>>>> >>>>>>>> #0 0x0000003999432635 in raise () from /lib64/libc.so.6 >>>>>>>> #1 0x0000003999433e15 in abort () from /lib64/libc.so.6 >>>>>>>> #2 0x000000399942b75e in __assert_fail_base () from >> /lib64/libc.so.6 >>>>>>>> #3 0x000000399942b820 in __assert_fail () from /lib64/libc.so.6 >>>>>>>> #4 0x00007f130a5af37d in pn_full_settle (db=<value optimized out>, >>>>>>>> delivery=0x7f13001545f0) >>>>>>>> at >>>>>> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/transport/transport.c:742 >>>>>>>> #5 0x00007f130a5b0cbe in pn_do_transfer (disp=0x1b6dcf0) at >>>>>>>> >> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/transport/transport.c:786 >>>>>>>> #6 0x00007f130a5a94d5 in pni_dispatch_action (disp=0x1b6dcf0, >>>>>> frame=...) >>>>>>>> at >>>>>> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/dispatcher/dispatcher.c:65 >>>>>>>> #7 pn_dispatch_frame (disp=0x1b6dcf0, frame=...) at >>>>>>>> >>>> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/dispatcher/dispatcher.c:172 >>>>>>>> #8 0x00007f130a5a9718 in pn_dispatcher_input (disp=0x1b6dcf0, >>>>>>>> bytes=0x1b75e10 "", available=0) >>>>>>>> at >>>>>>>> >>>>>> >> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/dispatcher/dispatcher.c:194 >>>>>>>> #9 0x00007f130a5b2606 in pn_input_read_amqp (io_layer=<value >>>> optimized >>>>>> out>, >>>>>>>> bytes=<value optimized out>, available=<value >>>>>>>> optimized out>) >>>>>>>> at >>>>>> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/transport/transport.c:1145 >>>>>>>> #10 0x00007f130a5ae029 in transport_consume (transport=0x1b6dab0) at >>>>>>>> >> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/transport/transport.c:1064 >>>>>>>> #11 0x00007f130a5ae198 in pn_transport_process (transport=0x1b6dab0, >>>>>>>> size=<value optimized out>) >>>>>>>> at >>>>>> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/transport/transport.c:2120 >>>>>>>> #12 0x00007f130a5ae8e0 in pn_transport_input (transport=0x1b6dab0, >>>>>>>> bytes=0x1b2a9b6 "eeded\n", available=0) >>>>>>>> at >>>>>> /home/ksmgr/mq/qpid-proton-0.8/proton-c/src/transport/transport.c:1039 >>>>>>>> #13 0x00007f130a81c192 in qpid::broker::amqp::Connection::decode >>>>>>>> (this=0x1b6c4c8, buffer=0x1b2a880 "", size=310) >>>>>>>> at >>>>>> /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/broker/amqp/Connection.cpp:119 >>>>>>>> #14 0x00007f130a858c99 in qpid::broker::amqp::Sasl::decode >>>>>> (this=0x1b6c470, >>>>>>>> buffer=<value optimized out>, size=310) >>>>>>>> at /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/broker/amqp/Sasl.cpp:49 >>>>>>>> #15 0x00007f130b0e9100 in qpid::sys::AsynchIOHandler::readbuff >>>>>>>> (this=0x1b29a90, buff=0x1b6a890) >>>>>>>> at >>>> /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/sys/AsynchIOHandler.cpp:135 >>>>>>>> #16 0x00007f130b0689e7 in operator() (this=0x1b29ad0, h=...) at >>>>>>>> /usr/include/boost/function/function_template.hpp:1013 >>>>>>>> #17 qpid::sys::posix::AsynchIO::readable (this=0x1b29ad0, h=...) at >>>>>>>> /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/sys/posix/AsynchIO.cpp:452 >>>>>>>> #18 0x00007f130b0ed853 in boost::function1<void, >>>>>>>> qpid::sys::DispatchHandle&>::operator() (this=<value optimized out>, >>>>>>>> a0=<value optimized out>) at >>>>>>>> /usr/include/boost/function/function_template.hpp:1013 >>>>>>>> #19 0x00007f130b0ec991 in qpid::sys::DispatchHandle::processEvent >>>>>>>> (this=0x1b29ad8, type=qpid::sys::Poller::READABLE) >>>>>>>> at >>>> /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/sys/DispatchHandle.cpp:280 >>>>>>>> #20 0x00007f130b08d4f2 in process (this=0x176cc90) at >>>>>>>> /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/sys/Poller.h:131 >>>>>>>> #21 qpid::sys::Poller::run (this=0x176cc90) at >>>>>>>> /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/sys/epoll/EpollPoller.cpp:522 >>>>>>>> #22 0x00007f130b08240a in qpid::sys::(anonymous >>>> namespace)::runRunnable >>>>>>>> (p=<value optimized out>) >>>>>>>> at /home/ksmgr/mq/qpid-cpp-0.30/src/qpid/sys/posix/Thread.cpp:35 >>>>>>>> #23 0x0000003999c079d1 in start_thread () from >> /lib64/libpthread.so.0 >>>>>>>> #24 0x00000039994e886d in clone () from /lib64/libc.so.6 >>>>>>>> >>>>>>>> I have core file and probably I can try to recreate the situation. >>>>>>>> >>>>>>>> Best regards, >>>>>>>> >>>>>>>> 24.10.2014 17:05, Timothy Bish пишет: >>>>>>>>> [ X ] Yes, release Proton 0.8 RC4 as 0.8 final. >>>>>>>>> >>>>>>>>> Tested Proton-J with ActiveMQ and the new JMS client and found no >>>>>> issues, >>>>>>>>> >>>>>>>>> On 10/23/2014 12:21 PM, Rafael Schloming wrote: >>>>>>>>>> Hi Everyone, >>>>>>>>>> >>>>>>>>>> I've put together RC4. This is pretty much the same as RC3 with a >>>>>> number >>>>>>>>>> of >>>>>>>>>> fixes to disable those SSL versions that are vulnerable to attack. >>>>>>>>>> >>>>>>>>>> The sources are available here: >>>>>>>>>> >>>>>>>>>> - http://people.apache.org/~rhs/qpid-proton-0.8rc4/ >>>>>>>>>> >>>>>>>>>> Java binaries are here: >>>>>>>>>> >>>>>>>>>> - >>>>>>>>>> >>>>>> >> https://repository.apache.org/content/repositories/orgapacheqpid-1020/ >>>>>>>>>> >>>>>>>>>> Changes since RC3: >>>>>>>>>> >>>>>>>>>> - PROTON-724: make sure to pop any pending output in >>>>>>>>>> pn_transport_close_head() >>>>>>>>>> - PROTON-720: [Windows IO] fix format specifier to print string >>>>>>>>>> - added dispatch utility >>>>>>>>>> - fixed error message >>>>>>>>>> - fixed Collector.put >>>>>>>>>> - PROTON-719 : prevent ssl3 connections in Windows with >> schannel >>>>>>>>>> - PROTON-717: disable SSLv3 >>>>>>>>>> - PROTON-717: mitigate the CRIME SSL vulnerability >>>>>>>>>> - PROTON-716: reject connections using SSLv3 - it is insecure >>>>>>>>>> >>>>>>>>>> Please check the sources out and register your vote: >>>>>>>>>> >>>>>>>>>> [ ] Yes, release Proton 0.8 RC4 as 0.8 final. >>>>>>>>>> [ ] No, because... >>>>>>>>>> >>>>>>>>>> --Rafael >>>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>> >>>>>>>> >>>>>>>> -- >>>>>>>> \ / | | >>>>>>>> (OvO) | Mikhail Iwanow | >>>>>>>> (^^^) | Voice: +7 (911) 223-1300 | >>>>>>>> \^/ | E-mail: iv...@logit-ag.de | >>>>>>>> ^ ^ | | >>>>>>>> >>>>>>> >>>>>> >>>>>> >>>>>> -- >>>>>> \ / | | >>>>>> (OvO) | Mikhail Iwanow | >>>>>> (^^^) | Voice: +7 (911) 223-1300 | >>>>>> \^/ | E-mail: iv...@logit-ag.de | >>>>>> ^ ^ | | >>>>>> >>>>> >>>> >>>> >>>> -- >>>> \ / | | >>>> (OvO) | Mikhail Iwanow | >>>> (^^^) | Voice: +7 (911) 223-1300 | >>>> \^/ | E-mail: iv...@logit-ag.de | >>>> ^ ^ | | >>>> >>> >> >> >> -- >> \ / | | >> (OvO) | Mikhail Iwanow | >> (^^^) | Voice: +7 (911) 223-1300 | >> \^/ | E-mail: iv...@logit-ag.de | >> ^ ^ | | >> > -- \ / | | (OvO) | Mikhail Iwanow | (^^^) | Voice: +7 (911) 223-1300 | \^/ | E-mail: iv...@logit-ag.de | ^ ^ | |
