source: trunk/GSASIIstrMath.py @ 942

Last change on this file since 942 was 942, checked in by vondreele, 9 years ago

mods for MC/SA:
moved scat fac routines from GSASIIstrIO.py & GSASIIstrMath.py to GSASIIElem.py

File size: 94.7 KB
Line 
1# -*- coding: utf-8 -*-
2'''
3*GSASIIstrMath - structure math routines*
4-----------------------------------------
5'''
6########### SVN repository information ###################
7# $Date: 2013-05-17 12:13:15 -0500 (Fri, 17 May 2013) $
8# $Author: vondreele $
9# $Revision: 920 $
10# $URL: https://subversion.xor.aps.anl.gov/pyGSAS/trunk/GSASIIstrMath.py $
11# $Id: GSASIIstrMath.py 920 2013-05-17 17:13:15Z vondreele $
12########### SVN repository information ###################
13import time
14import math
15import copy
16import numpy as np
17import numpy.ma as ma
18import numpy.linalg as nl
19import scipy.optimize as so
20import GSASIIpath
21GSASIIpath.SetVersionNumber("$Revision: 920 $")
22import GSASIIElem as G2el
23import GSASIIlattice as G2lat
24import GSASIIspc as G2spc
25import GSASIIpwd as G2pwd
26import GSASIImapvars as G2mv
27import GSASIImath as G2mth
28
29sind = lambda x: np.sin(x*np.pi/180.)
30cosd = lambda x: np.cos(x*np.pi/180.)
31tand = lambda x: np.tan(x*np.pi/180.)
32asind = lambda x: 180.*np.arcsin(x)/np.pi
33acosd = lambda x: 180.*np.arccos(x)/np.pi
34atan2d = lambda y,x: 180.*np.arctan2(y,x)/np.pi
35   
36ateln2 = 8.0*math.log(2.0)
37
38################################################################################
39##### Rigid Body Models
40################################################################################
41       
42def ApplyRBModels(parmDict,Phases,rigidbodyDict,Update=False):
43    ''' Takes RB info from RBModels in Phase and RB data in rigidbodyDict along with
44    current RB values in parmDict & modifies atom contents (xyz & Uij) of parmDict
45    '''
46    atxIds = ['Ax:','Ay:','Az:']
47    atuIds = ['AU11:','AU22:','AU33:','AU12:','AU13:','AU23:']
48    RBIds = rigidbodyDict.get('RBIds',{'Vector':[],'Residue':[]})  #these are lists of rbIds
49    if not RBIds['Vector'] and not RBIds['Residue']:
50        return
51    VRBIds = RBIds['Vector']
52    RRBIds = RBIds['Residue']
53    if Update:
54        RBData = rigidbodyDict
55    else:
56        RBData = copy.deepcopy(rigidbodyDict)     # don't mess with original!
57    if RBIds['Vector']:                       # first update the vector magnitudes
58        VRBData = RBData['Vector']
59        for i,rbId in enumerate(VRBIds):
60            for j in range(len(VRBData[rbId]['VectMag'])):
61                name = '::RBV;'+str(j)+':'+str(i)
62                VRBData[rbId]['VectMag'][j] = parmDict[name]
63    for phase in Phases:
64        Phase = Phases[phase]
65        General = Phase['General']
66        cell = General['Cell'][1:7]
67        Amat,Bmat = G2lat.cell2AB(cell)
68        AtLookup = G2mth.FillAtomLookUp(Phase['Atoms'])
69        pfx = str(Phase['pId'])+'::'
70        if Update:
71            RBModels = Phase['RBModels']
72        else:
73            RBModels =  copy.deepcopy(Phase['RBModels']) # again don't mess with original!
74        for irb,RBObj in enumerate(RBModels.get('Vector',[])):
75            jrb = VRBIds.index(RBObj['RBId'])
76            rbsx = str(irb)+':'+str(jrb)
77            for i,px in enumerate(['RBVPx:','RBVPy:','RBVPz:']):
78                RBObj['Orig'][0][i] = parmDict[pfx+px+rbsx]
79            for i,po in enumerate(['RBVOa:','RBVOi:','RBVOj:','RBVOk:']):
80                RBObj['Orient'][0][i] = parmDict[pfx+po+rbsx]
81            TLS = RBObj['ThermalMotion']
82            if 'T' in TLS[0]:
83                for i,pt in enumerate(['RBVT11:','RBVT22:','RBVT33:','RBVT12:','RBVT13:','RBVT23:']):
84                    TLS[1][i] = parmDict[pfx+pt+rbsx]
85            if 'L' in TLS[0]:
86                for i,pt in enumerate(['RBVL11:','RBVL22:','RBVL33:','RBVL12:','RBVL13:','RBVL23:']):
87                    TLS[1][i+6] = parmDict[pfx+pt+rbsx]
88            if 'S' in TLS[0]:
89                for i,pt in enumerate(['RBVS12:','RBVS13:','RBVS21:','RBVS23:','RBVS31:','RBVS32:','RBVSAA:','RBVSBB:']):
90                    TLS[1][i+12] = parmDict[pfx+pt+rbsx]
91            if 'U' in TLS[0]:
92                TLS[1][0] = parmDict[pfx+'RBVU:'+rbsx]
93            XYZ,Cart = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Vector')
94            UIJ = G2mth.UpdateRBUIJ(Bmat,Cart,RBObj)
95            for i,x in enumerate(XYZ):
96                atId = RBObj['Ids'][i]
97                for j in [0,1,2]:
98                    parmDict[pfx+atxIds[j]+str(AtLookup[atId])] = x[j]
99                if UIJ[i][0] == 'A':
100                    for j in range(6):
101                        parmDict[pfx+atuIds[j]+str(AtLookup[atId])] = UIJ[i][j+2]
102                elif UIJ[i][0] == 'I':
103                    parmDict[pfx+'AUiso:'+str(AtLookup[atId])] = UIJ[i][1]
104           
105        for irb,RBObj in enumerate(RBModels.get('Residue',[])):
106            jrb = RRBIds.index(RBObj['RBId'])
107            rbsx = str(irb)+':'+str(jrb)
108            for i,px in enumerate(['RBRPx:','RBRPy:','RBRPz:']):
109                RBObj['Orig'][0][i] = parmDict[pfx+px+rbsx]
110            for i,po in enumerate(['RBROa:','RBROi:','RBROj:','RBROk:']):
111                RBObj['Orient'][0][i] = parmDict[pfx+po+rbsx]               
112            TLS = RBObj['ThermalMotion']
113            if 'T' in TLS[0]:
114                for i,pt in enumerate(['RBRT11:','RBRT22:','RBRT33:','RBRT12:','RBRT13:','RBRT23:']):
115                    RBObj['ThermalMotion'][1][i] = parmDict[pfx+pt+rbsx]
116            if 'L' in TLS[0]:
117                for i,pt in enumerate(['RBRL11:','RBRL22:','RBRL33:','RBRL12:','RBRL13:','RBRL23:']):
118                    RBObj['ThermalMotion'][1][i+6] = parmDict[pfx+pt+rbsx]
119            if 'S' in TLS[0]:
120                for i,pt in enumerate(['RBRS12:','RBRS13:','RBRS21:','RBRS23:','RBRS31:','RBRS32:','RBRSAA:','RBRSBB:']):
121                    RBObj['ThermalMotion'][1][i+12] = parmDict[pfx+pt+rbsx]
122            if 'U' in TLS[0]:
123                RBObj['ThermalMotion'][1][0] = parmDict[pfx+'RBRU:'+rbsx]
124            for itors,tors in enumerate(RBObj['Torsions']):
125                tors[0] = parmDict[pfx+'RBRTr;'+str(itors)+':'+rbsx]
126            XYZ,Cart = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Residue')
127            UIJ = G2mth.UpdateRBUIJ(Bmat,Cart,RBObj)
128            for i,x in enumerate(XYZ):
129                atId = RBObj['Ids'][i]
130                for j in [0,1,2]:
131                    parmDict[pfx+atxIds[j]+str(AtLookup[atId])] = x[j]
132                if UIJ[i][0] == 'A':
133                    for j in range(6):
134                        parmDict[pfx+atuIds[j]+str(AtLookup[atId])] = UIJ[i][j+2]
135                elif UIJ[i][0] == 'I':
136                    parmDict[pfx+'AUiso:'+str(AtLookup[atId])] = UIJ[i][1]
137                   
138def ApplyRBModelDervs(dFdvDict,parmDict,rigidbodyDict,Phase):
139    'Needs a doc string'
140    atxIds = ['dAx:','dAy:','dAz:']
141    atuIds = ['AU11:','AU22:','AU33:','AU12:','AU13:','AU23:']
142    TIds = ['T11:','T22:','T33:','T12:','T13:','T23:']
143    LIds = ['L11:','L22:','L33:','L12:','L13:','L23:']
144    SIds = ['S12:','S13:','S21:','S23:','S31:','S32:','SAA:','SBB:']
145    PIds = ['Px:','Py:','Pz:']
146    OIds = ['Oa:','Oi:','Oj:','Ok:']
147    RBIds = rigidbodyDict.get('RBIds',{'Vector':[],'Residue':[]})  #these are lists of rbIds
148    if not RBIds['Vector'] and not RBIds['Residue']:
149        return
150    VRBIds = RBIds['Vector']
151    RRBIds = RBIds['Residue']
152    RBData = rigidbodyDict
153    for item in parmDict:
154        if 'RB' in item:
155            dFdvDict[item] = 0.        #NB: this is a vector which is no. refl. long & must be filled!
156    General = Phase['General']
157    cell = General['Cell'][1:7]
158    Amat,Bmat = G2lat.cell2AB(cell)
159    rpd = np.pi/180.
160    rpd2 = rpd**2
161    g = nl.inv(np.inner(Bmat,Bmat))
162    gvec = np.sqrt(np.array([g[0][0]**2,g[1][1]**2,g[2][2]**2,
163        g[0][0]*g[1][1],g[0][0]*g[2][2],g[1][1]*g[2][2]]))
164    AtLookup = G2mth.FillAtomLookUp(Phase['Atoms'])
165    pfx = str(Phase['pId'])+'::'
166    RBModels =  Phase['RBModels']
167    for irb,RBObj in enumerate(RBModels.get('Vector',[])):
168        VModel = RBData['Vector'][RBObj['RBId']]
169        Q = RBObj['Orient'][0]
170        Pos = RBObj['Orig'][0]
171        jrb = VRBIds.index(RBObj['RBId'])
172        rbsx = str(irb)+':'+str(jrb)
173        dXdv = []
174        for iv in range(len(VModel['VectMag'])):
175            dCdv = []
176            for vec in VModel['rbVect'][iv]:
177                dCdv.append(G2mth.prodQVQ(Q,vec))
178            dXdv.append(np.inner(Bmat,np.array(dCdv)).T)
179        XYZ,Cart = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Vector')
180        for ia,atId in enumerate(RBObj['Ids']):
181            atNum = AtLookup[atId]
182            dx = 0.0001
183            for iv in range(len(VModel['VectMag'])):
184                for ix in [0,1,2]:
185                    dFdvDict['::RBV;'+str(iv)+':'+str(jrb)] += dXdv[iv][ia][ix]*dFdvDict[pfx+atxIds[ix]+str(atNum)]
186            for i,name in enumerate(['RBVPx:','RBVPy:','RBVPz:']):
187                dFdvDict[pfx+name+rbsx] += dFdvDict[pfx+atxIds[i]+str(atNum)]
188            for iv in range(4):
189                Q[iv] -= dx
190                XYZ1,Cart1 = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Vector')
191                Q[iv] += 2.*dx
192                XYZ2,Cart2 = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Vector')
193                Q[iv] -= dx
194                dXdO = (XYZ2[ia]-XYZ1[ia])/(2.*dx)
195                for ix in [0,1,2]:
196                    dFdvDict[pfx+'RBV'+OIds[iv]+rbsx] += dXdO[ix]*dFdvDict[pfx+atxIds[ix]+str(atNum)]
197            X = G2mth.prodQVQ(Q,Cart[ia])
198            dFdu = np.array([dFdvDict[pfx+Uid+str(AtLookup[atId])] for Uid in atuIds]).T/gvec
199            dFdu = G2lat.U6toUij(dFdu.T)
200            dFdu = np.tensordot(Amat,np.tensordot(Amat,dFdu,([1,0])),([0,1]))           
201            dFdu = G2lat.UijtoU6(dFdu)
202            atNum = AtLookup[atId]
203            if 'T' in RBObj['ThermalMotion'][0]:
204                for i,name in enumerate(['RBVT11:','RBVT22:','RBVT33:','RBVT12:','RBVT13:','RBVT23:']):
205                    dFdvDict[pfx+name+rbsx] += dFdu[i]
206            if 'L' in RBObj['ThermalMotion'][0]:
207                dFdvDict[pfx+'RBVL11:'+rbsx] += rpd2*(dFdu[1]*X[2]**2+dFdu[2]*X[1]**2-dFdu[5]*X[1]*X[2])
208                dFdvDict[pfx+'RBVL22:'+rbsx] += rpd2*(dFdu[0]*X[2]**2+dFdu[2]*X[0]**2-dFdu[4]*X[0]*X[2])
209                dFdvDict[pfx+'RBVL33:'+rbsx] += rpd2*(dFdu[0]*X[1]**2+dFdu[1]*X[0]**2-dFdu[3]*X[0]*X[1])
210                dFdvDict[pfx+'RBVL12:'+rbsx] += rpd2*(-dFdu[3]*X[2]**2-2.*dFdu[2]*X[0]*X[1]+
211                    dFdu[4]*X[1]*X[2]+dFdu[5]*X[0]*X[2])
212                dFdvDict[pfx+'RBVL13:'+rbsx] += rpd2*(-dFdu[4]*X[1]**2-2.*dFdu[1]*X[0]*X[2]+
213                    dFdu[3]*X[1]*X[2]+dFdu[5]*X[0]*X[1])
214                dFdvDict[pfx+'RBVL23:'+rbsx] += rpd2*(-dFdu[5]*X[0]**2-2.*dFdu[0]*X[1]*X[2]+
215                    dFdu[3]*X[0]*X[2]+dFdu[4]*X[0]*X[1])
216            if 'S' in RBObj['ThermalMotion'][0]:
217                dFdvDict[pfx+'RBVS12:'+rbsx] += rpd*(dFdu[5]*X[1]-2.*dFdu[1]*X[2])
218                dFdvDict[pfx+'RBVS13:'+rbsx] += rpd*(-dFdu[5]*X[2]+2.*dFdu[2]*X[1])
219                dFdvDict[pfx+'RBVS21:'+rbsx] += rpd*(-dFdu[4]*X[0]+2.*dFdu[0]*X[2])
220                dFdvDict[pfx+'RBVS23:'+rbsx] += rpd*(dFdu[4]*X[2]-2.*dFdu[2]*X[0])
221                dFdvDict[pfx+'RBVS31:'+rbsx] += rpd*(dFdu[3]*X[0]-2.*dFdu[0]*X[1])
222                dFdvDict[pfx+'RBVS32:'+rbsx] += rpd*(-dFdu[3]*X[1]+2.*dFdu[1]*X[0])
223                dFdvDict[pfx+'RBVSAA:'+rbsx] += rpd*(dFdu[4]*X[1]-dFdu[3]*X[2])
224                dFdvDict[pfx+'RBVSBB:'+rbsx] += rpd*(dFdu[5]*X[0]-dFdu[3]*X[2])
225            if 'U' in RBObj['ThermalMotion'][0]:
226                dFdvDict[pfx+'RBVU:'+rbsx] += dFdvDict[pfx+'AUiso:'+str(AtLookup[atId])]
227
228
229    for irb,RBObj in enumerate(RBModels.get('Residue',[])):
230        Q = RBObj['Orient'][0]
231        Pos = RBObj['Orig'][0]
232        jrb = RRBIds.index(RBObj['RBId'])
233        torData = RBData['Residue'][RBObj['RBId']]['rbSeq']
234        rbsx = str(irb)+':'+str(jrb)
235        XYZ,Cart = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Residue')
236        for itors,tors in enumerate(RBObj['Torsions']):     #derivative error?
237            tname = pfx+'RBRTr;'+str(itors)+':'+rbsx           
238            orId,pvId = torData[itors][:2]
239            pivotVec = Cart[orId]-Cart[pvId]
240            QA = G2mth.AVdeg2Q(-0.001,pivotVec)
241            QB = G2mth.AVdeg2Q(0.001,pivotVec)
242            for ir in torData[itors][3]:
243                atNum = AtLookup[RBObj['Ids'][ir]]
244                rVec = Cart[ir]-Cart[pvId]
245                dR = G2mth.prodQVQ(QB,rVec)-G2mth.prodQVQ(QA,rVec)
246                dRdT = np.inner(Bmat,G2mth.prodQVQ(Q,dR))/.002
247                for ix in [0,1,2]:
248                    dFdvDict[tname] += dRdT[ix]*dFdvDict[pfx+atxIds[ix]+str(atNum)]
249        for ia,atId in enumerate(RBObj['Ids']):
250            atNum = AtLookup[atId]
251            dx = 0.0001
252            for i,name in enumerate(['RBRPx:','RBRPy:','RBRPz:']):
253                dFdvDict[pfx+name+rbsx] += dFdvDict[pfx+atxIds[i]+str(atNum)]
254            for iv in range(4):
255                Q[iv] -= dx
256                XYZ1,Cart1 = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Residue')
257                Q[iv] += 2.*dx
258                XYZ2,Cart2 = G2mth.UpdateRBXYZ(Bmat,RBObj,RBData,'Residue')
259                Q[iv] -= dx
260                dXdO = (XYZ2[ia]-XYZ1[ia])/(2.*dx)
261                for ix in [0,1,2]:
262                    dFdvDict[pfx+'RBR'+OIds[iv]+rbsx] += dXdO[ix]*dFdvDict[pfx+atxIds[ix]+str(atNum)]
263            X = G2mth.prodQVQ(Q,Cart[ia])
264            dFdu = np.array([dFdvDict[pfx+Uid+str(AtLookup[atId])] for Uid in atuIds]).T/gvec
265            dFdu = G2lat.U6toUij(dFdu.T)
266            dFdu = np.tensordot(Amat.T,np.tensordot(Amat,dFdu,([1,0])),([0,1]))
267            dFdu = G2lat.UijtoU6(dFdu)
268            atNum = AtLookup[atId]
269            if 'T' in RBObj['ThermalMotion'][0]:
270                for i,name in enumerate(['RBRT11:','RBRT22:','RBRT33:','RBRT12:','RBRT13:','RBRT23:']):
271                    dFdvDict[pfx+name+rbsx] += dFdu[i]
272            if 'L' in RBObj['ThermalMotion'][0]:
273                dFdvDict[pfx+'RBRL11:'+rbsx] += rpd2*(dFdu[1]*X[2]**2+dFdu[2]*X[1]**2-dFdu[5]*X[1]*X[2])
274                dFdvDict[pfx+'RBRL22:'+rbsx] += rpd2*(dFdu[0]*X[2]**2+dFdu[2]*X[0]**2-dFdu[4]*X[0]*X[2])
275                dFdvDict[pfx+'RBRL33:'+rbsx] += rpd2*(dFdu[0]*X[1]**2+dFdu[1]*X[0]**2-dFdu[3]*X[0]*X[1])
276                dFdvDict[pfx+'RBRL12:'+rbsx] += rpd2*(-dFdu[3]*X[2]**2-2.*dFdu[2]*X[0]*X[1]+
277                    dFdu[4]*X[1]*X[2]+dFdu[5]*X[0]*X[2])
278                dFdvDict[pfx+'RBRL13:'+rbsx] += rpd2*(dFdu[4]*X[1]**2-2.*dFdu[1]*X[0]*X[2]+
279                    dFdu[3]*X[1]*X[2]+dFdu[5]*X[0]*X[1])
280                dFdvDict[pfx+'RBRL23:'+rbsx] += rpd2*(dFdu[5]*X[0]**2-2.*dFdu[0]*X[1]*X[2]+
281                    dFdu[3]*X[0]*X[2]+dFdu[4]*X[0]*X[1])
282            if 'S' in RBObj['ThermalMotion'][0]:
283                dFdvDict[pfx+'RBRS12:'+rbsx] += rpd*(dFdu[5]*X[1]-2.*dFdu[1]*X[2])
284                dFdvDict[pfx+'RBRS13:'+rbsx] += rpd*(-dFdu[5]*X[2]+2.*dFdu[2]*X[1])
285                dFdvDict[pfx+'RBRS21:'+rbsx] += rpd*(-dFdu[4]*X[0]+2.*dFdu[0]*X[2])
286                dFdvDict[pfx+'RBRS23:'+rbsx] += rpd*(dFdu[4]*X[2]-2.*dFdu[2]*X[0])
287                dFdvDict[pfx+'RBRS31:'+rbsx] += rpd*(dFdu[3]*X[0]-2.*dFdu[0]*X[1])
288                dFdvDict[pfx+'RBRS32:'+rbsx] += rpd*(-dFdu[3]*X[1]+2.*dFdu[1]*X[0])
289                dFdvDict[pfx+'RBRSAA:'+rbsx] += rpd*(dFdu[4]*X[1]-dFdu[3]*X[2])
290                dFdvDict[pfx+'RBRSBB:'+rbsx] += rpd*(dFdu[5]*X[0]-dFdu[3]*X[2])
291            if 'U' in RBObj['ThermalMotion'][0]:
292                dFdvDict[pfx+'RBRU:'+rbsx] += dFdvDict[pfx+'AUiso:'+str(AtLookup[atId])]
293   
294################################################################################
295##### Penalty & restraint functions
296################################################################################
297
298def penaltyFxn(HistoPhases,parmDict,varyList):
299    'Needs a doc string'
300    Histograms,Phases,restraintDict,rigidbodyDict = HistoPhases
301    pNames = []
302    pVals = []
303    pWt = []
304    negWt = {}
305    for phase in Phases:
306        pId = Phases[phase]['pId']
307        negWt[pId] = Phases[phase]['General']['Pawley neg wt']
308        General = Phases[phase]['General']
309        textureData = General['SH Texture']
310        SGData = General['SGData']
311        AtLookup = G2mth.FillAtomLookUp(Phases[phase]['Atoms'])
312        cell = General['Cell'][1:7]
313        Amat,Bmat = G2lat.cell2AB(cell)
314        if phase not in restraintDict:
315            continue
316        phaseRest = restraintDict[phase]
317        names = [['Bond','Bonds'],['Angle','Angles'],['Plane','Planes'],
318            ['Chiral','Volumes'],['Torsion','Torsions'],['Rama','Ramas'],
319            ['ChemComp','Sites'],['Texture','HKLs']]
320        for name,rest in names:
321            itemRest = phaseRest[name]
322            if itemRest[rest] and itemRest['Use']:
323                wt = itemRest['wtFactor']
324                if name in ['Bond','Angle','Plane','Chiral']:
325                    for i,[indx,ops,obs,esd] in enumerate(itemRest[rest]):
326                        pNames.append(str(pId)+':'+name+':'+str(i))
327                        XYZ = np.array(G2mth.GetAtomCoordsByID(pId,parmDict,AtLookup,indx))
328                        XYZ = G2mth.getSyXYZ(XYZ,ops,SGData)
329                        if name == 'Bond':
330                            calc = G2mth.getRestDist(XYZ,Amat)
331                        elif name == 'Angle':
332                            calc = G2mth.getRestAngle(XYZ,Amat)
333                        elif name == 'Plane':
334                            calc = G2mth.getRestPlane(XYZ,Amat)
335                        elif name == 'Chiral':
336                            calc = G2mth.getRestChiral(XYZ,Amat)
337                        pVals.append(obs-calc)
338                        pWt.append(wt/esd**2)
339                elif name in ['Torsion','Rama']:
340                    coeffDict = itemRest['Coeff']
341                    for i,[indx,ops,cofName,esd] in enumerate(itemRest[rest]):
342                        pNames.append(str(pId)+':'+name+':'+str(i))
343                        XYZ = np.array(G2mth.GetAtomCoordsByID(pId,parmDict,AtLookup,indx))
344                        XYZ = G2mth.getSyXYZ(XYZ,ops,SGData)
345                        if name == 'Torsion':
346                            tor = G2mth.getRestTorsion(XYZ,Amat)
347                            restr,calc = G2mth.calcTorsionEnergy(tor,coeffDict[cofName])
348                        else:
349                            phi,psi = G2mth.getRestRama(XYZ,Amat)
350                            restr,calc = G2mth.calcRamaEnergy(phi,psi,coeffDict[cofName])                               
351                        pVals.append(obs-calc)
352                        pWt.append(wt/esd**2)
353                elif name == 'ChemComp':
354                    for i,[indx,factors,obs,esd] in enumerate(itemRest[rest]):
355                        pNames.append(str(pId)+':'+name+':'+str(i))
356                        mul = np.array(G2mth.GetAtomItemsById(Atoms,AtLookUp,indx,cs+1))
357                        frac = np.array(G2mth.GetAtomItemsById(Atoms,AtLookUp,indx,cs-1))
358                        calc = np.sum(mul*frac*factors)
359                        pVals.append(obs-calc)
360                        pWt.append(wt/esd**2)                   
361                elif name == 'Texture':
362                    SHkeys = textureData['SH Coeff'][1].keys()
363                    SHCoef = G2mth.GetSHCoeff(pId,parmDict,SHkeys)
364                    shModels = ['cylindrical','none','shear - 2/m','rolling - mmm']
365                    SamSym = dict(zip(shModels,['0','-1','2/m','mmm']))
366                    for i,[hkl,grid,esd1,ifesd2,esd2] in enumerate(itemRest[rest]):
367                        PH = np.array(hkl)
368                        phi,beta = G2lat.CrsAng(np.array(hkl),cell,SGData)
369                        ODFln = G2lat.Flnh(False,SHCoef,phi,beta,SGData)
370                        R,P,Z = G2mth.getRestPolefig(ODFln,SamSym[textureData['Model']],grid)
371                        Z1 = -ma.masked_greater(Z,0.0)
372                        IndZ1 = np.array(ma.nonzero(Z1))
373                        for ind in IndZ1.T:
374                            pNames.append('%d:%s:%d:%.2f:%.2f'%(pId,name,i,R[ind[0],ind[1]],P[ind[0],ind[1]]))
375                            pVals.append(Z1[ind[0]][ind[1]])
376                            pWt.append(wt/esd1**2)
377                        if ifesd2:
378                            Z2 = 1.-Z
379                            for ind in np.ndindex(grid,grid):
380                                pNames.append('%d:%s:%d:%.2f:%.2f'%(pId,name+'-unit',i,R[ind[0],ind[1]],P[ind[0],ind[1]]))
381                                pVals.append(Z1[ind[0]][ind[1]])
382                                pWt.append(wt/esd2**2)
383         
384    for item in varyList:
385        if 'PWLref' in item and parmDict[item] < 0.:
386            pId = int(item.split(':')[0])
387            if negWt[pId]:
388                pNames.append(item)
389                pVals.append(-parmDict[item])
390                pWt.append(negWt[pId])
391    pVals = np.array(pVals)
392    pWt = np.array(pWt)         #should this be np.sqrt?
393    return pNames,pVals,pWt
394   
395def penaltyDeriv(pNames,pVal,HistoPhases,parmDict,varyList):
396    'Needs a doc string'
397    Histograms,Phases,restraintDict,rigidbodyDict = HistoPhases
398    pDerv = np.zeros((len(varyList),len(pVal)))
399    for phase in Phases:
400#        if phase not in restraintDict:
401#            continue
402        pId = Phases[phase]['pId']
403        General = Phases[phase]['General']
404        SGData = General['SGData']
405        AtLookup = G2mth.FillAtomLookUp(Phases[phase]['Atoms'])
406        cell = General['Cell'][1:7]
407        Amat,Bmat = G2lat.cell2AB(cell)
408        textureData = General['SH Texture']
409
410        SHkeys = textureData['SH Coeff'][1].keys()
411        SHCoef = G2mth.GetSHCoeff(pId,parmDict,SHkeys)
412        shModels = ['cylindrical','none','shear - 2/m','rolling - mmm']
413        SamSym = dict(zip(shModels,['0','-1','2/m','mmm']))
414        sam = SamSym[textureData['Model']]
415        phaseRest = restraintDict.get(phase,{})
416        names = {'Bond':'Bonds','Angle':'Angles','Plane':'Planes',
417            'Chiral':'Volumes','Torsion':'Torsions','Rama':'Ramas',
418            'ChemComp':'Sites','Texture':'HKLs'}
419        lasthkl = np.array([0,0,0])
420        for ip,pName in enumerate(pNames):
421            pnames = pName.split(':')
422            if pId == int(pnames[0]):
423                name = pnames[1]
424                if 'PWL' in pName:
425                    pDerv[varyList.index(pName)][ip] += 1.
426                    continue
427                id = int(pnames[2]) 
428                itemRest = phaseRest[name]
429                if name in ['Bond','Angle','Plane','Chiral']:
430                    indx,ops,obs,esd = itemRest[names[name]][id]
431                    dNames = []
432                    for ind in indx:
433                        dNames += [str(pId)+'::dA'+Xname+':'+str(AtLookup[ind]) for Xname in ['x','y','z']]
434                    XYZ = np.array(G2mth.GetAtomCoordsByID(pId,parmDict,AtLookup,indx))
435                    if name == 'Bond':
436                        deriv = G2mth.getRestDeriv(G2mth.getRestDist,XYZ,Amat,ops,SGData)
437                    elif name == 'Angle':
438                        deriv = G2mth.getRestDeriv(G2mth.getRestAngle,XYZ,Amat,ops,SGData)
439                    elif name == 'Plane':
440                        deriv = G2mth.getRestDeriv(G2mth.getRestPlane,XYZ,Amat,ops,SGData)
441                    elif name == 'Chiral':
442                        deriv = G2mth.getRestDeriv(G2mth.getRestChiral,XYZ,Amat,ops,SGData)
443                elif name in ['Torsion','Rama']:
444                    coffDict = itemRest['Coeff']
445                    indx,ops,cofName,esd = itemRest[names[name]][id]
446                    dNames = []
447                    for ind in indx:
448                        dNames += [str(pId)+'::dA'+Xname+':'+str(AtLookup[ind]) for Xname in ['x','y','z']]
449                    XYZ = np.array(G2mth.GetAtomCoordsByID(pId,parmDict,AtLookup,indx))
450                    if name == 'Torsion':
451                        deriv = G2mth.getTorsionDeriv(XYZ,Amat,coffDict[cofName])
452                    else:
453                        deriv = G2mth.getRamaDeriv(XYZ,Amat,coffDict[cofName])
454                elif name == 'ChemComp':
455                    indx,factors,obs,esd = itemRest[names[name]][id]
456                    dNames = []
457                    for ind in indx:
458                        dNames += [str(pId)+'::Afrac:'+str(AtLookup[ind])]
459                        mul = np.array(G2mth.GetAtomItemsById(Atoms,AtLookUp,indx,cs+1))
460                        deriv = mul*factors
461                elif 'Texture' in name:
462                    deriv = []
463                    dNames = []
464                    hkl,grid,esd1,ifesd2,esd2 = itemRest[names[name]][id]
465                    hkl = np.array(hkl)
466                    if np.any(lasthkl-hkl):
467                        PH = np.array(hkl)
468                        phi,beta = G2lat.CrsAng(np.array(hkl),cell,SGData)
469                        ODFln = G2lat.Flnh(False,SHCoef,phi,beta,SGData)
470                        lasthkl = copy.copy(hkl)                       
471                    if 'unit' in name:
472                        pass
473                    else:
474                        gam = float(pnames[3])
475                        psi = float(pnames[4])
476                        for SHname in ODFln:
477                            l,m,n = eval(SHname[1:])
478                            Ksl = G2lat.GetKsl(l,m,sam,psi,gam)[0]
479                            dNames += [str(pId)+'::'+SHname]
480                            deriv.append(-ODFln[SHname][0]*Ksl/SHCoef[SHname])
481                for dName,drv in zip(dNames,deriv):
482                    try:
483                        ind = varyList.index(dName)
484                        pDerv[ind][ip] += drv
485                    except ValueError:
486                        pass
487    return pDerv
488
489################################################################################
490##### Function & derivative calculations
491################################################################################       
492                   
493def GetAtomFXU(pfx,calcControls,parmDict):
494    'Needs a doc string'
495    Natoms = calcControls['Natoms'][pfx]
496    Tdata = Natoms*[' ',]
497    Mdata = np.zeros(Natoms)
498    IAdata = Natoms*[' ',]
499    Fdata = np.zeros(Natoms)
500    FFdata = []
501    BLdata = []
502    Xdata = np.zeros((3,Natoms))
503    dXdata = np.zeros((3,Natoms))
504    Uisodata = np.zeros(Natoms)
505    Uijdata = np.zeros((6,Natoms))
506    keys = {'Atype:':Tdata,'Amul:':Mdata,'Afrac:':Fdata,'AI/A:':IAdata,
507        'dAx:':dXdata[0],'dAy:':dXdata[1],'dAz:':dXdata[2],
508        'Ax:':Xdata[0],'Ay:':Xdata[1],'Az:':Xdata[2],'AUiso:':Uisodata,
509        'AU11:':Uijdata[0],'AU22:':Uijdata[1],'AU33:':Uijdata[2],
510        'AU12:':Uijdata[3],'AU13:':Uijdata[4],'AU23:':Uijdata[5]}
511    for iatm in range(Natoms):
512        for key in keys:
513            parm = pfx+key+str(iatm)
514            if parm in parmDict:
515                keys[key][iatm] = parmDict[parm]
516    return Tdata,Mdata,Fdata,Xdata,dXdata,IAdata,Uisodata,Uijdata
517   
518def StructureFactor(refList,G,hfx,pfx,SGData,calcControls,parmDict):
519    ''' Compute structure factors for all h,k,l for phase
520    puts the result, F^2, in each ref[8] in refList
521    input:
522   
523    :param list refList: [ref] where each ref = h,k,l,m,d,...,[equiv h,k,l],phase[equiv]
524    :param np.array G:      reciprocal metric tensor
525    :param str pfx:    phase id string
526    :param dict SGData: space group info. dictionary output from SpcGroup
527    :param dict calcControls:
528    :param dict ParmDict:
529
530    '''       
531    twopi = 2.0*np.pi
532    twopisq = 2.0*np.pi**2
533    phfx = pfx.split(':')[0]+hfx
534    ast = np.sqrt(np.diag(G))
535    Mast = twopisq*np.multiply.outer(ast,ast)
536    FFtables = calcControls['FFtables']
537    BLtables = calcControls['BLtables']
538    Tdata,Mdata,Fdata,Xdata,dXdata,IAdata,Uisodata,Uijdata = GetAtomFXU(pfx,calcControls,parmDict)
539    FF = np.zeros(len(Tdata))
540    if 'N' in parmDict[hfx+'Type']:
541        FP,FPP = G2el.BlenRes(Tdata,BLtables,parmDict[hfx+'Lam'])
542    else:
543        FP = np.array([FFtables[El][hfx+'FP'] for El in Tdata])
544        FPP = np.array([FFtables[El][hfx+'FPP'] for El in Tdata])
545    Uij = np.array(G2lat.U6toUij(Uijdata))
546    bij = Mast*Uij.T
547    for refl in refList:
548        fbs = np.array([0,0])
549        H = refl[:3]
550        SQ = 1./(2.*refl[4])**2
551        SQfactor = 4.0*SQ*twopisq
552        Bab = parmDict[phfx+'BabA']*np.exp(-parmDict[phfx+'BabU']*SQfactor)
553        if not len(refl[-1]):                #no form factors
554            if 'N' in parmDict[hfx+'Type']:
555                refl[-1] = G2el.getBLvalues(BLtables)
556            else:       #'X'
557                refl[-1] = G2el.getFFvalues(FFtables,SQ)
558        for i,El in enumerate(Tdata):
559            FF[i] = refl[-1][El]           
560        Uniq = refl[11]
561        phi = refl[12]
562        phase = twopi*(np.inner(Uniq,(dXdata.T+Xdata.T))+phi[:,np.newaxis])
563        sinp = np.sin(phase)
564        cosp = np.cos(phase)
565        occ = Mdata*Fdata/len(Uniq)
566        biso = -SQfactor*Uisodata
567        Tiso = np.where(biso<1.,np.exp(biso),1.0)
568        HbH = np.array([-np.inner(h,np.inner(bij,h)) for h in Uniq])
569        Tuij = np.where(HbH<1.,np.exp(HbH),1.0)
570        Tcorr = Tiso*Tuij
571        fa = np.array([(FF+FP-Bab)*occ*cosp*Tcorr,-FPP*occ*sinp*Tcorr])
572        fas = np.sum(np.sum(fa,axis=1),axis=1)        #real
573        if not SGData['SGInv']:
574            fb = np.array([(FF+FP-Bab)*occ*sinp*Tcorr,FPP*occ*cosp*Tcorr])
575            fbs = np.sum(np.sum(fb,axis=1),axis=1)
576        fasq = fas**2
577        fbsq = fbs**2        #imaginary
578        refl[9] = np.sum(fasq)+np.sum(fbsq)
579        refl[10] = atan2d(fbs[0],fas[0])
580   
581def StructureFactorDerv(refList,G,hfx,pfx,SGData,calcControls,parmDict):
582    'Needs a doc string'
583    twopi = 2.0*np.pi
584    twopisq = 2.0*np.pi**2
585    phfx = pfx.split(':')[0]+hfx
586    ast = np.sqrt(np.diag(G))
587    Mast = twopisq*np.multiply.outer(ast,ast)
588    FFtables = calcControls['FFtables']
589    BLtables = calcControls['BLtables']
590    Tdata,Mdata,Fdata,Xdata,dXdata,IAdata,Uisodata,Uijdata = GetAtomFXU(pfx,calcControls,parmDict)
591    FF = np.zeros(len(Tdata))
592    if 'N' in parmDict[hfx+'Type']:
593        FP = 0.
594        FPP = 0.
595    else:
596        FP = np.array([FFtables[El][hfx+'FP'] for El in Tdata])
597        FPP = np.array([FFtables[El][hfx+'FPP'] for El in Tdata])
598    Uij = np.array(G2lat.U6toUij(Uijdata))
599    bij = Mast*Uij.T
600    dFdvDict = {}
601    dFdfr = np.zeros((len(refList),len(Mdata)))
602    dFdx = np.zeros((len(refList),len(Mdata),3))
603    dFdui = np.zeros((len(refList),len(Mdata)))
604    dFdua = np.zeros((len(refList),len(Mdata),6))
605    dFdbab = np.zeros((len(refList),2))
606    for iref,refl in enumerate(refList):
607        H = np.array(refl[:3])
608        SQ = 1./(2.*refl[4])**2             # or (sin(theta)/lambda)**2
609        SQfactor = 8.0*SQ*np.pi**2
610        dBabdA = np.exp(-parmDict[phfx+'BabU']*SQfactor)
611        Bab = parmDict[phfx+'BabA']*dBabdA
612        for i,El in enumerate(Tdata):           
613            FF[i] = refl[-1][El]           
614        Uniq = refl[11]
615        phi = refl[12]
616        phase = twopi*(np.inner((dXdata.T+Xdata.T),Uniq)+phi[np.newaxis,:])
617        sinp = np.sin(phase)
618        cosp = np.cos(phase)
619        occ = Mdata*Fdata/len(Uniq)
620        biso = -SQfactor*Uisodata
621        Tiso = np.where(biso<1.,np.exp(biso),1.0)
622        HbH = -np.inner(H,np.inner(bij,H))
623        Hij = np.array([Mast*np.multiply.outer(U,U) for U in Uniq])
624        Hij = np.array([G2lat.UijtoU6(Uij) for Uij in Hij])
625        Tuij = np.where(HbH<1.,np.exp(HbH),1.0)
626        Tcorr = Tiso*Tuij
627        fot = (FF+FP-Bab)*occ*Tcorr
628        fotp = FPP*occ*Tcorr
629        fa = np.array([fot[:,np.newaxis]*cosp,fotp[:,np.newaxis]*cosp])       #non positions
630        fb = np.array([fot[:,np.newaxis]*sinp,-fotp[:,np.newaxis]*sinp])
631       
632        fas = np.sum(np.sum(fa,axis=1),axis=1)
633        fbs = np.sum(np.sum(fb,axis=1),axis=1)
634        fax = np.array([-fot[:,np.newaxis]*sinp,-fotp[:,np.newaxis]*sinp])   #positions
635        fbx = np.array([fot[:,np.newaxis]*cosp,-fot[:,np.newaxis]*cosp])
636        #sum below is over Uniq
637        dfadfr = np.sum(fa/occ[:,np.newaxis],axis=2)
638        dfadx = np.sum(twopi*Uniq*fax[:,:,:,np.newaxis],axis=2)
639        dfadui = np.sum(-SQfactor*fa,axis=2)
640        dfadua = np.sum(-Hij*fa[:,:,:,np.newaxis],axis=2)
641        dfadba = np.sum(-cosp*(occ*Tcorr)[:,np.newaxis],axis=1)
642        #NB: the above have been checked against PA(1:10,1:2) in strfctr.for     
643        dFdfr[iref] = 2.*(fas[0]*dfadfr[0]+fas[1]*dfadfr[1])*Mdata/len(Uniq)
644        dFdx[iref] = 2.*(fas[0]*dfadx[0]+fas[1]*dfadx[1])
645        dFdui[iref] = 2.*(fas[0]*dfadui[0]+fas[1]*dfadui[1])
646        dFdua[iref] = 2.*(fas[0]*dfadua[0]+fas[1]*dfadua[1])
647        dFdbab[iref] = np.array([np.sum(dfadba*dBabdA),np.sum(-dfadba*parmDict[phfx+'BabA']*SQfactor*dBabdA)]).T
648        if not SGData['SGInv']:
649            dfbdfr = np.sum(fb/occ[:,np.newaxis],axis=2)        #problem here if occ=0 for some atom
650            dfbdx = np.sum(twopi*Uniq*fbx[:,:,:,np.newaxis],axis=2)         
651            dfbdui = np.sum(-SQfactor*fb,axis=2)
652            dfbdua = np.sum(-Hij*fb[:,:,:,np.newaxis],axis=2)
653            dfbdba = np.sum(-sinp*(occ*Tcorr)[:,np.newaxis],axis=1)
654            dFdfr[iref] += 2.*(fbs[0]*dfbdfr[0]-fbs[1]*dfbdfr[1])*Mdata/len(Uniq)
655            dFdx[iref] += 2.*(fbs[0]*dfbdx[0]+fbs[1]*dfbdx[1])
656            dFdui[iref] += 2.*(fbs[0]*dfbdui[0]-fbs[1]*dfbdui[1])
657            dFdua[iref] += 2.*(fbs[0]*dfbdua[0]+fbs[1]*dfbdua[1])
658            dFdbab[iref] += np.array([np.sum(dfbdba*dBabdA),np.sum(-dfbdba*parmDict[phfx+'BabA']*SQfactor*dBabdA)]).T
659        #loop over atoms - each dict entry is list of derivatives for all the reflections
660    for i in range(len(Mdata)):     
661        dFdvDict[pfx+'Afrac:'+str(i)] = dFdfr.T[i]
662        dFdvDict[pfx+'dAx:'+str(i)] = dFdx.T[0][i]
663        dFdvDict[pfx+'dAy:'+str(i)] = dFdx.T[1][i]
664        dFdvDict[pfx+'dAz:'+str(i)] = dFdx.T[2][i]
665        dFdvDict[pfx+'AUiso:'+str(i)] = dFdui.T[i]
666        dFdvDict[pfx+'AU11:'+str(i)] = dFdua.T[0][i]
667        dFdvDict[pfx+'AU22:'+str(i)] = dFdua.T[1][i]
668        dFdvDict[pfx+'AU33:'+str(i)] = dFdua.T[2][i]
669        dFdvDict[pfx+'AU12:'+str(i)] = 2.*dFdua.T[3][i]
670        dFdvDict[pfx+'AU13:'+str(i)] = 2.*dFdua.T[4][i]
671        dFdvDict[pfx+'AU23:'+str(i)] = 2.*dFdua.T[5][i]
672        dFdvDict[pfx+'BabA'] = dFdbab.T[0]
673        dFdvDict[pfx+'BabU'] = dFdbab.T[1]
674    return dFdvDict
675   
676def SCExtinction(ref,phfx,hfx,pfx,calcControls,parmDict,varyList):
677    ''' Single crystal extinction function; puts correction in ref[13] and returns
678    corrections needed for derivatives
679    '''
680    ref[13] = 1.0
681    dervCor = 1.0
682    dervDict = {}
683    if calcControls[phfx+'EType'] != 'None':
684        cos2T = 1.0-0.5*(parmDict[hfx+'Lam']/ref[4])**2         #cos(2theta)
685        if 'SXC' in parmDict[hfx+'Type']:
686            AV = 7.9406e5/parmDict[pfx+'Vol']**2
687            PL = np.sqrt(1.0-cos2T**2)/parmDict[hfx+'Lam']
688            P12 = (calcControls[phfx+'Cos2TM']+cos2T**4)/(calcControls[phfx+'Cos2TM']+cos2T**2)
689        elif 'SNT' in parmDict[hfx+'Type']:
690            AV = 1.e7/parmDict[pfx+'Vol']**2
691            PL = 1./(4.*refl[4]**2)
692            P12 = 1.0
693        elif 'SNC' in parmDict[hfx+'Type']:
694            AV = 1.e7/parmDict[pfx+'Vol']**2
695            PL = np.sqrt(1.0-cos2T**2)/parmDict[hfx+'Lam']
696            P12 = 1.0
697           
698        PLZ = AV*P12*parmDict[hfx+'Lam']**2*ref[7]
699        if 'Primary' in calcControls[phfx+'EType']:
700            PLZ *= 1.5
701        else:
702            PLZ *= calcControls[phfx+'Tbar']
703                       
704        if 'Primary' in calcControls[phfx+'EType']:
705            PSIG = parmDict[phfx+'Ep']
706        elif 'I & II' in calcControls[phfx+'EType']:
707            PSIG = parmDict[phfx+'Eg']/np.sqrt(1.+(parmDict[phfx+'Es']*PL/parmDict[phfx+'Eg'])**2)
708        elif 'Type II' in calcControls[phfx+'EType']:
709            PSIG = parmDict[phfx+'Es']
710        else:       # 'Secondary Type I'
711            PSIG = parmDict[phfx+'Eg']/PL
712           
713        AG = 0.58+0.48*cos2T+0.24*cos2T**2
714        AL = 0.025+0.285*cos2T
715        BG = 0.02-0.025*cos2T
716        BL = 0.15-0.2*(0.75-cos2T)**2
717        if cos2T < 0.:
718            BL = -0.45*cos2T
719        CG = 2.
720        CL = 2.
721        PF = PLZ*PSIG
722       
723        if 'Gaussian' in calcControls[phfx+'EApprox']:
724            PF4 = 1.+CG*PF+AG*PF**2/(1.+BG*PF)
725            extCor = np.sqrt(PF4)
726            PF3 = 0.5*(CG+2.*AG*PF/(1.+BG*PF)-AG*PF**2*BG/(1.+BG*PF)**2)/(PF4*extCor)
727        else:
728            PF4 = 1.+CL*PF+AL*PF**2/(1.+BL*PF)
729            extCor = np.sqrt(PF4)
730            PF3 = 0.5*(CL+2.*AL*PF/(1.+BL*PF)-AL*PF**2*BL/(1.+BL*PF)**2)/(PF4*extCor)
731
732        dervCor = (1.+PF)*PF3
733        if 'Primary' in calcControls[phfx+'EType'] and phfx+'Ep' in varyList:
734            dervDict[phfx+'Ep'] = -ref[7]*PLZ*PF3
735        if 'II' in calcControls[phfx+'EType'] and phfx+'Es' in varyList:
736            dervDict[phfx+'Es'] = -ref[7]*PLZ*PF3*(PSIG/parmDict[phfx+'Es'])**3
737        if 'I' in calcControls[phfx+'EType'] and phfx+'Eg' in varyList:
738            dervDict[phfx+'Eg'] = -ref[7]*PLZ*PF3*(PSIG/parmDict[phfx+'Eg'])**3*PL**2
739               
740        ref[13] = 1./extCor
741    return dervCor,dervDict
742       
743   
744def Dict2Values(parmdict, varylist):
745    '''Use before call to leastsq to setup list of values for the parameters
746    in parmdict, as selected by key in varylist'''
747    return [parmdict[key] for key in varylist] 
748   
749def Values2Dict(parmdict, varylist, values):
750    ''' Use after call to leastsq to update the parameter dictionary with
751    values corresponding to keys in varylist'''
752    parmdict.update(zip(varylist,values))
753   
754def GetNewCellParms(parmDict,varyList):
755    'Needs a doc string'
756    newCellDict = {}
757    Anames = ['A'+str(i) for i in range(6)]
758    Ddict = dict(zip(['D11','D22','D33','D12','D13','D23'],Anames))
759    for item in varyList:
760        keys = item.split(':')
761        if keys[2] in Ddict:
762            key = keys[0]+'::'+Ddict[keys[2]]       #key is e.g. '0::A0'
763            parm = keys[0]+'::'+keys[2]             #parm is e.g. '0::D11'
764            newCellDict[parm] = [key,parmDict[key]+parmDict[item]]
765    return newCellDict          # is e.g. {'0::D11':A0+D11}
766   
767def ApplyXYZshifts(parmDict,varyList):
768    '''
769    takes atom x,y,z shift and applies it to corresponding atom x,y,z value
770   
771    :param dict parmDict: parameter dictionary
772    :param list varyList: list of variables
773    :returns: newAtomDict - dictionary of new atomic coordinate names & values; key is parameter shift name
774
775    '''
776    newAtomDict = {}
777    for item in parmDict:
778        if 'dA' in item:
779            parm = ''.join(item.split('d'))
780            parmDict[parm] += parmDict[item]
781            newAtomDict[item] = [parm,parmDict[parm]]
782    return newAtomDict
783   
784def SHTXcal(refl,g,pfx,hfx,SGData,calcControls,parmDict):
785    'Spherical harmonics texture'
786    IFCoup = 'Bragg' in calcControls[hfx+'instType']
787    odfCor = 1.0
788    H = refl[:3]
789    cell = G2lat.Gmat2cell(g)
790    Sangls = [parmDict[pfx+'SH omega'],parmDict[pfx+'SH chi'],parmDict[pfx+'SH phi']]
791    Gangls = [parmDict[hfx+'Omega'],parmDict[hfx+'Chi'],parmDict[hfx+'Phi'],parmDict[hfx+'Azimuth']]
792    phi,beta = G2lat.CrsAng(H,cell,SGData)
793    psi,gam,x,x = G2lat.SamAng(refl[5]/2.,Gangls,Sangls,IFCoup) #ignore 2 sets of angle derivs.
794    SHnames = G2lat.GenSHCoeff(SGData['SGLaue'],parmDict[pfx+'SHmodel'],parmDict[pfx+'SHorder'])
795    for item in SHnames:
796        L,M,N = eval(item.strip('C'))
797        Kcl = G2lat.GetKcl(L,N,SGData['SGLaue'],phi,beta)
798        Ksl,x,x = G2lat.GetKsl(L,M,parmDict[pfx+'SHmodel'],psi,gam)
799        Lnorm = G2lat.Lnorm(L)
800        odfCor += parmDict[pfx+item]*Lnorm*Kcl*Ksl
801    return odfCor
802   
803def SHTXcalDerv(refl,g,pfx,hfx,SGData,calcControls,parmDict):
804    'Spherical harmonics texture derivatives'
805    FORPI = 4.0*np.pi
806    IFCoup = 'Bragg' in calcControls[hfx+'instType']
807    odfCor = 1.0
808    dFdODF = {}
809    dFdSA = [0,0,0]
810    H = refl[:3]
811    cell = G2lat.Gmat2cell(g)
812    Sangls = [parmDict[pfx+'SH omega'],parmDict[pfx+'SH chi'],parmDict[pfx+'SH phi']]
813    Gangls = [parmDict[hfx+'Omega'],parmDict[hfx+'Chi'],parmDict[hfx+'Phi'],parmDict[hfx+'Azimuth']]
814    phi,beta = G2lat.CrsAng(H,cell,SGData)
815    psi,gam,dPSdA,dGMdA = G2lat.SamAng(refl[5]/2.,Gangls,Sangls,IFCoup)
816    SHnames = G2lat.GenSHCoeff(SGData['SGLaue'],parmDict[pfx+'SHmodel'],parmDict[pfx+'SHorder'])
817    for item in SHnames:
818        L,M,N = eval(item.strip('C'))
819        Kcl = G2lat.GetKcl(L,N,SGData['SGLaue'],phi,beta)
820        Ksl,dKsdp,dKsdg = G2lat.GetKsl(L,M,parmDict[pfx+'SHmodel'],psi,gam)
821        Lnorm = G2lat.Lnorm(L)
822        odfCor += parmDict[pfx+item]*Lnorm*Kcl*Ksl
823        dFdODF[pfx+item] = Lnorm*Kcl*Ksl
824        for i in range(3):
825            dFdSA[i] += parmDict[pfx+item]*Lnorm*Kcl*(dKsdp*dPSdA[i]+dKsdg*dGMdA[i])
826    return odfCor,dFdODF,dFdSA
827   
828def SHPOcal(refl,g,phfx,hfx,SGData,calcControls,parmDict):
829    'spherical harmonics preferred orientation (cylindrical symmetry only)'
830    odfCor = 1.0
831    H = refl[:3]
832    cell = G2lat.Gmat2cell(g)
833    Sangl = [0.,0.,0.]
834    if 'Bragg' in calcControls[hfx+'instType']:
835        Gangls = [0.,90.,0.,parmDict[hfx+'Azimuth']]
836        IFCoup = True
837    else:
838        Gangls = [0.,0.,0.,parmDict[hfx+'Azimuth']]
839        IFCoup = False
840    phi,beta = G2lat.CrsAng(H,cell,SGData)
841    psi,gam,x,x = G2lat.SamAng(refl[5]/2.,Gangls,Sangl,IFCoup) #ignore 2 sets of angle derivs.
842    SHnames = G2lat.GenSHCoeff(SGData['SGLaue'],'0',calcControls[phfx+'SHord'],False)
843    for item in SHnames:
844        L,N = eval(item.strip('C'))
845        Kcsl,Lnorm = G2lat.GetKclKsl(L,N,SGData['SGLaue'],psi,phi,beta) 
846        odfCor += parmDict[phfx+item]*Lnorm*Kcsl
847    return odfCor
848   
849def SHPOcalDerv(refl,g,phfx,hfx,SGData,calcControls,parmDict):
850    'spherical harmonics preferred orientation derivatives (cylindrical symmetry only)'
851    FORPI = 12.5663706143592
852    odfCor = 1.0
853    dFdODF = {}
854    H = refl[:3]
855    cell = G2lat.Gmat2cell(g)
856    Sangl = [0.,0.,0.]
857    if 'Bragg' in calcControls[hfx+'instType']:
858        Gangls = [0.,90.,0.,parmDict[hfx+'Azimuth']]
859        IFCoup = True
860    else:
861        Gangls = [0.,0.,0.,parmDict[hfx+'Azimuth']]
862        IFCoup = False
863    phi,beta = G2lat.CrsAng(H,cell,SGData)
864    psi,gam,x,x = G2lat.SamAng(refl[5]/2.,Gangls,Sangl,IFCoup) #ignore 2 sets of angle derivs.
865    SHnames = G2lat.GenSHCoeff(SGData['SGLaue'],'0',calcControls[phfx+'SHord'],False)
866    for item in SHnames:
867        L,N = eval(item.strip('C'))
868        Kcsl,Lnorm = G2lat.GetKclKsl(L,N,SGData['SGLaue'],psi,phi,beta) 
869        odfCor += parmDict[phfx+item]*Lnorm*Kcsl
870        dFdODF[phfx+item] = Kcsl*Lnorm
871    return odfCor,dFdODF
872   
873def GetPrefOri(refl,G,g,phfx,hfx,SGData,calcControls,parmDict):
874    'Needs a doc string'
875    POcorr = 1.0
876    if calcControls[phfx+'poType'] == 'MD':
877        MD = parmDict[phfx+'MD']
878        if MD != 1.0:
879            MDAxis = calcControls[phfx+'MDAxis']
880            sumMD = 0
881            for H in refl[11]:           
882                cosP,sinP = G2lat.CosSinAngle(H,MDAxis,G)
883                A = 1.0/np.sqrt((MD*cosP)**2+sinP**2/MD)
884                sumMD += A**3
885            POcorr = sumMD/len(refl[11])
886    else:   #spherical harmonics
887        if calcControls[phfx+'SHord']:
888            POcorr = SHPOcal(refl,g,phfx,hfx,SGData,calcControls,parmDict)
889    return POcorr
890   
891def GetPrefOriDerv(refl,G,g,phfx,hfx,SGData,calcControls,parmDict):
892    'Needs a doc string'
893    POcorr = 1.0
894    POderv = {}
895    if calcControls[phfx+'poType'] == 'MD':
896        MD = parmDict[phfx+'MD']
897        MDAxis = calcControls[phfx+'MDAxis']
898        sumMD = 0
899        sumdMD = 0
900        for H in refl[11]:           
901            cosP,sinP = G2lat.CosSinAngle(H,MDAxis,G)
902            A = 1.0/np.sqrt((MD*cosP)**2+sinP**2/MD)
903            sumMD += A**3
904            sumdMD -= (1.5*A**5)*(2.0*MD*cosP**2-(sinP/MD)**2)
905        POcorr = sumMD/len(refl[11])
906        POderv[phfx+'MD'] = sumdMD/len(refl[11])
907    else:   #spherical harmonics
908        if calcControls[phfx+'SHord']:
909            POcorr,POderv = SHPOcalDerv(refl,g,phfx,hfx,SGData,calcControls,parmDict)
910    return POcorr,POderv
911   
912def GetAbsorb(refl,hfx,calcControls,parmDict):
913    'Needs a doc string'
914    if 'Debye' in calcControls[hfx+'instType']:
915        return G2pwd.Absorb('Cylinder',parmDict[hfx+'Absorption'],refl[5],0,0)
916    else:
917        return 1.0
918   
919def GetAbsorbDerv(refl,hfx,calcControls,parmDict):
920    'Needs a doc string'
921    if 'Debye' in calcControls[hfx+'instType']:
922        return G2pwd.AbsorbDerv('Cylinder',parmDict[hfx+'Absorption'],refl[5],0,0)
923    else:
924        return 0.0
925   
926def GetIntensityCorr(refl,G,g,pfx,phfx,hfx,SGData,calcControls,parmDict):
927    'Needs a doc string'
928    Icorr = parmDict[phfx+'Scale']*parmDict[hfx+'Scale']*refl[3]               #scale*multiplicity
929    if 'X' in parmDict[hfx+'Type']:
930        Icorr *= G2pwd.Polarization(parmDict[hfx+'Polariz.'],refl[5],parmDict[hfx+'Azimuth'])[0]
931    Icorr *= GetPrefOri(refl,G,g,phfx,hfx,SGData,calcControls,parmDict)
932    if pfx+'SHorder' in parmDict:
933        Icorr *= SHTXcal(refl,g,pfx,hfx,SGData,calcControls,parmDict)
934    Icorr *= GetAbsorb(refl,hfx,calcControls,parmDict)
935    refl[13] = Icorr       
936   
937def GetIntensityDerv(refl,G,g,pfx,phfx,hfx,SGData,calcControls,parmDict):
938    'Needs a doc string'
939    dIdsh = 1./parmDict[hfx+'Scale']
940    dIdsp = 1./parmDict[phfx+'Scale']
941    if 'X' in parmDict[hfx+'Type']:
942        pola,dIdPola = G2pwd.Polarization(parmDict[hfx+'Polariz.'],refl[5],parmDict[hfx+'Azimuth'])
943        dIdPola /= pola
944    else:       #'N'
945        dIdPola = 0.0
946    POcorr,dIdPO = GetPrefOriDerv(refl,G,g,phfx,hfx,SGData,calcControls,parmDict)
947    for iPO in dIdPO:
948        dIdPO[iPO] /= POcorr
949    dFdODF = {}
950    dFdSA = [0,0,0]
951    if pfx+'SHorder' in parmDict:
952        odfCor,dFdODF,dFdSA = SHTXcalDerv(refl,g,pfx,hfx,SGData,calcControls,parmDict)
953        for iSH in dFdODF:
954            dFdODF[iSH] /= odfCor
955        for i in range(3):
956            dFdSA[i] /= odfCor
957    dFdAb = GetAbsorbDerv(refl,hfx,calcControls,parmDict)
958    return dIdsh,dIdsp,dIdPola,dIdPO,dFdODF,dFdSA,dFdAb
959       
960def GetSampleSigGam(refl,wave,G,GB,phfx,calcControls,parmDict):
961    'Needs a doc string'
962    costh = cosd(refl[5]/2.)
963    #crystallite size
964    if calcControls[phfx+'SizeType'] == 'isotropic':
965        Sgam = 1.8*wave/(np.pi*parmDict[phfx+'Size;i']*costh)
966    elif calcControls[phfx+'SizeType'] == 'uniaxial':
967        H = np.array(refl[:3])
968        P = np.array(calcControls[phfx+'SizeAxis'])
969        cosP,sinP = G2lat.CosSinAngle(H,P,G)
970        Sgam = (1.8*wave/np.pi)/(parmDict[phfx+'Size;i']*parmDict[phfx+'Size;a']*costh)
971        Sgam *= np.sqrt((sinP*parmDict[phfx+'Size;a'])**2+(cosP*parmDict[phfx+'Size;i'])**2)
972    else:           #ellipsoidal crystallites
973        Sij =[parmDict[phfx+'Size:%d'%(i)] for i in range(6)]
974        H = np.array(refl[:3])
975        lenR = G2pwd.ellipseSize(H,Sij,GB)
976        Sgam = 1.8*wave/(np.pi*costh*lenR)
977    #microstrain               
978    if calcControls[phfx+'MustrainType'] == 'isotropic':
979        Mgam = 0.018*parmDict[phfx+'Mustrain;i']*tand(refl[5]/2.)/np.pi
980    elif calcControls[phfx+'MustrainType'] == 'uniaxial':
981        H = np.array(refl[:3])
982        P = np.array(calcControls[phfx+'MustrainAxis'])
983        cosP,sinP = G2lat.CosSinAngle(H,P,G)
984        Si = parmDict[phfx+'Mustrain;i']
985        Sa = parmDict[phfx+'Mustrain;a']
986        Mgam = 0.018*Si*Sa*tand(refl[5]/2.)/(np.pi*np.sqrt((Si*cosP)**2+(Sa*sinP)**2))
987    else:       #generalized - P.W. Stephens model
988        pwrs = calcControls[phfx+'MuPwrs']
989        sum = 0
990        for i,pwr in enumerate(pwrs):
991            sum += parmDict[phfx+'Mustrain:'+str(i)]*refl[0]**pwr[0]*refl[1]**pwr[1]*refl[2]**pwr[2]
992        Mgam = 0.018*refl[4]**2*tand(refl[5]/2.)*sum
993    gam = Sgam*parmDict[phfx+'Size;mx']+Mgam*parmDict[phfx+'Mustrain;mx']
994    sig = (Sgam*(1.-parmDict[phfx+'Size;mx']))**2+(Mgam*(1.-parmDict[phfx+'Mustrain;mx']))**2
995    sig /= ateln2
996    return sig,gam
997       
998def GetSampleSigGamDerv(refl,wave,G,GB,phfx,calcControls,parmDict):
999    'Needs a doc string'
1000    gamDict = {}
1001    sigDict = {}
1002    costh = cosd(refl[5]/2.)
1003    tanth = tand(refl[5]/2.)
1004    #crystallite size derivatives
1005    if calcControls[phfx+'SizeType'] == 'isotropic':
1006        Sgam = 1.8*wave/(np.pi*parmDict[phfx+'Size;i']*costh)
1007        gamDict[phfx+'Size;i'] = -1.8*wave*parmDict[phfx+'Size;mx']/(np.pi*costh)
1008        sigDict[phfx+'Size;i'] = -3.6*Sgam*wave*(1.-parmDict[phfx+'Size;mx'])**2/(np.pi*costh*ateln2)
1009    elif calcControls[phfx+'SizeType'] == 'uniaxial':
1010        H = np.array(refl[:3])
1011        P = np.array(calcControls[phfx+'SizeAxis'])
1012        cosP,sinP = G2lat.CosSinAngle(H,P,G)
1013        Si = parmDict[phfx+'Size;i']
1014        Sa = parmDict[phfx+'Size;a']
1015        gami = (1.8*wave/np.pi)/(Si*Sa)
1016        sqtrm = np.sqrt((sinP*Sa)**2+(cosP*Si)**2)
1017        Sgam = gami*sqtrm
1018        gam = Sgam/costh
1019        dsi = (gami*Si*cosP**2/(sqtrm*costh)-gam/Si)
1020        dsa = (gami*Sa*sinP**2/(sqtrm*costh)-gam/Sa)
1021        gamDict[phfx+'Size;i'] = dsi*parmDict[phfx+'Size;mx']
1022        gamDict[phfx+'Size;a'] = dsa*parmDict[phfx+'Size;mx']
1023        sigDict[phfx+'Size;i'] = 2.*dsi*Sgam*(1.-parmDict[phfx+'Size;mx'])**2/ateln2
1024        sigDict[phfx+'Size;a'] = 2.*dsa*Sgam*(1.-parmDict[phfx+'Size;mx'])**2/ateln2
1025    else:           #ellipsoidal crystallites
1026        const = 1.8*wave/(np.pi*costh)
1027        Sij =[parmDict[phfx+'Size:%d'%(i)] for i in range(6)]
1028        H = np.array(refl[:3])
1029        lenR,dRdS = G2pwd.ellipseSizeDerv(H,Sij,GB)
1030        Sgam = 1.8*wave/(np.pi*costh*lenR)
1031        for i,item in enumerate([phfx+'Size:%d'%(j) for j in range(6)]):
1032            gamDict[item] = -(const/lenR**2)*dRdS[i]*parmDict[phfx+'Size;mx']
1033            sigDict[item] = -2.*Sgam*(const/lenR**2)*dRdS[i]*(1.-parmDict[phfx+'Size;mx'])**2/ateln2
1034    gamDict[phfx+'Size;mx'] = Sgam
1035    sigDict[phfx+'Size;mx'] = -2.*Sgam**2*(1.-parmDict[phfx+'Size;mx'])/ateln2
1036           
1037    #microstrain derivatives               
1038    if calcControls[phfx+'MustrainType'] == 'isotropic':
1039        Mgam = 0.018*parmDict[phfx+'Mustrain;i']*tand(refl[5]/2.)/np.pi
1040        gamDict[phfx+'Mustrain;i'] =  0.018*tanth*parmDict[phfx+'Mustrain;mx']/np.pi
1041        sigDict[phfx+'Mustrain;i'] =  0.036*Mgam*tanth*(1.-parmDict[phfx+'Mustrain;mx'])**2/(np.pi*ateln2)       
1042    elif calcControls[phfx+'MustrainType'] == 'uniaxial':
1043        H = np.array(refl[:3])
1044        P = np.array(calcControls[phfx+'MustrainAxis'])
1045        cosP,sinP = G2lat.CosSinAngle(H,P,G)
1046        Si = parmDict[phfx+'Mustrain;i']
1047        Sa = parmDict[phfx+'Mustrain;a']
1048        gami = 0.018*Si*Sa*tanth/np.pi
1049        sqtrm = np.sqrt((Si*cosP)**2+(Sa*sinP)**2)
1050        Mgam = gami/sqtrm
1051        dsi = -gami*Si*cosP**2/sqtrm**3
1052        dsa = -gami*Sa*sinP**2/sqtrm**3
1053        gamDict[phfx+'Mustrain;i'] = (Mgam/Si+dsi)*parmDict[phfx+'Mustrain;mx']
1054        gamDict[phfx+'Mustrain;a'] = (Mgam/Sa+dsa)*parmDict[phfx+'Mustrain;mx']
1055        sigDict[phfx+'Mustrain;i'] = 2*(Mgam/Si+dsi)*Mgam*(1.-parmDict[phfx+'Mustrain;mx'])**2/ateln2
1056        sigDict[phfx+'Mustrain;a'] = 2*(Mgam/Sa+dsa)*Mgam*(1.-parmDict[phfx+'Mustrain;mx'])**2/ateln2       
1057    else:       #generalized - P.W. Stephens model
1058        pwrs = calcControls[phfx+'MuPwrs']
1059        const = 0.018*refl[4]**2*tanth
1060        sum = 0
1061        for i,pwr in enumerate(pwrs):
1062            term = refl[0]**pwr[0]*refl[1]**pwr[1]*refl[2]**pwr[2]
1063            sum += parmDict[phfx+'Mustrain:'+str(i)]*term
1064            gamDict[phfx+'Mustrain:'+str(i)] = const*term*parmDict[phfx+'Mustrain;mx']
1065            sigDict[phfx+'Mustrain:'+str(i)] = \
1066                2.*const*term*(1.-parmDict[phfx+'Mustrain;mx'])**2/ateln2
1067        Mgam = 0.018*refl[4]**2*tand(refl[5]/2.)*sum
1068        for i in range(len(pwrs)):
1069            sigDict[phfx+'Mustrain:'+str(i)] *= Mgam
1070    gamDict[phfx+'Mustrain;mx'] = Mgam
1071    sigDict[phfx+'Mustrain;mx'] = -2.*Mgam**2*(1.-parmDict[phfx+'Mustrain;mx'])/ateln2
1072    return sigDict,gamDict
1073       
1074def GetReflPos(refl,wave,G,hfx,calcControls,parmDict):
1075    'Needs a doc string'
1076    h,k,l = refl[:3]
1077    dsq = 1./G2lat.calc_rDsq2(np.array([h,k,l]),G)
1078    d = np.sqrt(dsq)
1079
1080    refl[4] = d
1081    pos = 2.0*asind(wave/(2.0*d))+parmDict[hfx+'Zero']
1082    const = 9.e-2/(np.pi*parmDict[hfx+'Gonio. radius'])                  #shifts in microns
1083    if 'Bragg' in calcControls[hfx+'instType']:
1084        pos -= const*(4.*parmDict[hfx+'Shift']*cosd(pos/2.0)+ \
1085            parmDict[hfx+'Transparency']*sind(pos)*100.0)            #trans(=1/mueff) in cm
1086    else:               #Debye-Scherrer - simple but maybe not right
1087        pos -= const*(parmDict[hfx+'DisplaceX']*cosd(pos)+parmDict[hfx+'DisplaceY']*sind(pos))
1088    return pos
1089
1090def GetReflPosDerv(refl,wave,A,hfx,calcControls,parmDict):
1091    'Needs a doc string'
1092    dpr = 180./np.pi
1093    h,k,l = refl[:3]
1094    dstsq = G2lat.calc_rDsq(np.array([h,k,l]),A)
1095    dst = np.sqrt(dstsq)
1096    pos = refl[5]-parmDict[hfx+'Zero']
1097    const = dpr/np.sqrt(1.0-wave**2*dstsq/4.0)
1098    dpdw = const*dst
1099    dpdA = np.array([h**2,k**2,l**2,h*k,h*l,k*l])
1100    dpdA *= const*wave/(2.0*dst)
1101    dpdZ = 1.0
1102    const = 9.e-2/(np.pi*parmDict[hfx+'Gonio. radius'])                  #shifts in microns
1103    if 'Bragg' in calcControls[hfx+'instType']:
1104        dpdSh = -4.*const*cosd(pos/2.0)
1105        dpdTr = -const*sind(pos)*100.0
1106        return dpdA,dpdw,dpdZ,dpdSh,dpdTr,0.,0.
1107    else:               #Debye-Scherrer - simple but maybe not right
1108        dpdXd = -const*cosd(pos)
1109        dpdYd = -const*sind(pos)
1110        return dpdA,dpdw,dpdZ,0.,0.,dpdXd,dpdYd
1111           
1112def GetHStrainShift(refl,SGData,phfx,parmDict):
1113    'Needs a doc string'
1114    laue = SGData['SGLaue']
1115    uniq = SGData['SGUniq']
1116    h,k,l = refl[:3]
1117    if laue in ['m3','m3m']:
1118        Dij = parmDict[phfx+'D11']*(h**2+k**2+l**2)+ \
1119            refl[4]**2*parmDict[phfx+'eA']*((h*k)**2+(h*l)**2+(k*l)**2)/(h**2+k**2+l**2)**2
1120    elif laue in ['6/m','6/mmm','3m1','31m','3']:
1121        Dij = parmDict[phfx+'D11']*(h**2+k**2+h*k)+parmDict[phfx+'D33']*l**2
1122    elif laue in ['3R','3mR']:
1123        Dij = parmDict[phfx+'D11']*(h**2+k**2+l**2)+parmDict[phfx+'D12']*(h*k+h*l+k*l)
1124    elif laue in ['4/m','4/mmm']:
1125        Dij = parmDict[phfx+'D11']*(h**2+k**2)+parmDict[phfx+'D33']*l**2
1126    elif laue in ['mmm']:
1127        Dij = parmDict[phfx+'D11']*h**2+parmDict[phfx+'D22']*k**2+parmDict[phfx+'D33']*l**2
1128    elif laue in ['2/m']:
1129        Dij = parmDict[phfx+'D11']*h**2+parmDict[phfx+'D22']*k**2+parmDict[phfx+'D33']*l**2
1130        if uniq == 'a':
1131            Dij += parmDict[phfx+'D23']*k*l
1132        elif uniq == 'b':
1133            Dij += parmDict[phfx+'D13']*h*l
1134        elif uniq == 'c':
1135            Dij += parmDict[phfx+'D12']*h*k
1136    else:
1137        Dij = parmDict[phfx+'D11']*h**2+parmDict[phfx+'D22']*k**2+parmDict[phfx+'D33']*l**2+ \
1138            parmDict[phfx+'D12']*h*k+parmDict[phfx+'D13']*h*l+parmDict[phfx+'D23']*k*l
1139    return -Dij*refl[4]**2*tand(refl[5]/2.0)
1140           
1141def GetHStrainShiftDerv(refl,SGData,phfx):
1142    'Needs a doc string'
1143    laue = SGData['SGLaue']
1144    uniq = SGData['SGUniq']
1145    h,k,l = refl[:3]
1146    if laue in ['m3','m3m']:
1147        dDijDict = {phfx+'D11':h**2+k**2+l**2,
1148            phfx+'eA':refl[4]**2*((h*k)**2+(h*l)**2+(k*l)**2)/(h**2+k**2+l**2)**2}
1149    elif laue in ['6/m','6/mmm','3m1','31m','3']:
1150        dDijDict = {phfx+'D11':h**2+k**2+h*k,phfx+'D33':l**2}
1151    elif laue in ['3R','3mR']:
1152        dDijDict = {phfx+'D11':h**2+k**2+l**2,phfx+'D12':h*k+h*l+k*l}
1153    elif laue in ['4/m','4/mmm']:
1154        dDijDict = {phfx+'D11':h**2+k**2,phfx+'D33':l**2}
1155    elif laue in ['mmm']:
1156        dDijDict = {phfx+'D11':h**2,phfx+'D22':k**2,phfx+'D33':l**2}
1157    elif laue in ['2/m']:
1158        dDijDict = {phfx+'D11':h**2,phfx+'D22':k**2,phfx+'D33':l**2}
1159        if uniq == 'a':
1160            dDijDict[phfx+'D23'] = k*l
1161        elif uniq == 'b':
1162            dDijDict[phfx+'D13'] = h*l
1163        elif uniq == 'c':
1164            dDijDict[phfx+'D12'] = h*k
1165            names.append()
1166    else:
1167        dDijDict = {phfx+'D11':h**2,phfx+'D22':k**2,phfx+'D33':l**2,
1168            phfx+'D12':h*k,phfx+'D13':h*l,phfx+'D23':k*l}
1169    for item in dDijDict:
1170        dDijDict[item] *= -refl[4]**2*tand(refl[5]/2.0)
1171    return dDijDict
1172   
1173def GetFobsSq(Histograms,Phases,parmDict,calcControls):
1174    'Needs a doc string'
1175    histoList = Histograms.keys()
1176    histoList.sort()
1177    for histogram in histoList:
1178        if 'PWDR' in histogram[:4]:
1179            Histogram = Histograms[histogram]
1180            hId = Histogram['hId']
1181            hfx = ':%d:'%(hId)
1182            Limits = calcControls[hfx+'Limits']
1183            shl = max(parmDict[hfx+'SH/L'],0.0005)
1184            Ka2 = False
1185            kRatio = 0.0
1186            if hfx+'Lam1' in parmDict.keys():
1187                Ka2 = True
1188                lamRatio = 360*(parmDict[hfx+'Lam2']-parmDict[hfx+'Lam1'])/(np.pi*parmDict[hfx+'Lam1'])
1189                kRatio = parmDict[hfx+'I(L2)/I(L1)']
1190            x,y,w,yc,yb,yd = Histogram['Data']
1191            xB = np.searchsorted(x,Limits[0])
1192            xF = np.searchsorted(x,Limits[1])
1193            ymb = np.array(y-yb)
1194            ymb = np.where(ymb,ymb,1.0)
1195            ycmb = np.array(yc-yb)
1196            ratio = 1./np.where(ycmb,ycmb/ymb,1.e10)         
1197            refLists = Histogram['Reflection Lists']
1198            for phase in refLists:
1199                Phase = Phases[phase]
1200                pId = Phase['pId']
1201                phfx = '%d:%d:'%(pId,hId)
1202                refList = refLists[phase]
1203                sumFo = 0.0
1204                sumdF = 0.0
1205                sumFosq = 0.0
1206                sumdFsq = 0.0
1207                for refl in refList:
1208                    if 'C' in calcControls[hfx+'histType']:
1209                        yp = np.zeros_like(yb)
1210                        Wd,fmin,fmax = G2pwd.getWidthsCW(refl[5],refl[6],refl[7],shl)
1211                        iBeg = max(xB,np.searchsorted(x,refl[5]-fmin))
1212                        iFin = max(xB,min(np.searchsorted(x,refl[5]+fmax),xF))
1213                        iFin2 = iFin
1214                        yp[iBeg:iFin] = refl[13]*refl[9]*G2pwd.getFCJVoigt3(refl[5],refl[6],refl[7],shl,x[iBeg:iFin])    #>90% of time spent here
1215                        if Ka2:
1216                            pos2 = refl[5]+lamRatio*tand(refl[5]/2.0)       # + 360/pi * Dlam/lam * tan(th)
1217                            Wd,fmin,fmax = G2pwd.getWidthsCW(pos2,refl[6],refl[7],shl)
1218                            iBeg2 = max(xB,np.searchsorted(x,pos2-fmin))
1219                            iFin2 = min(np.searchsorted(x,pos2+fmax),xF)
1220                            if not iBeg2+iFin2:       #peak below low limit - skip peak
1221                                continue
1222                            elif not iBeg2-iFin2:     #peak above high limit - done
1223                                break
1224                            yp[iBeg2:iFin2] += refl[13]*refl[9]*kRatio*G2pwd.getFCJVoigt3(pos2,refl[6],refl[7],shl,x[iBeg2:iFin2])        #and here
1225                        refl[8] = np.sum(np.where(ratio[iBeg:iFin2]>0.,yp[iBeg:iFin2]*ratio[iBeg:iFin2]/(refl[13]*(1.+kRatio)),0.0))
1226                    elif 'T' in calcControls[hfx+'histType']:
1227                        print 'TOF Undefined at present'
1228                        raise Exception    #no TOF yet
1229                    Fo = np.sqrt(np.abs(refl[8]))
1230                    Fc = np.sqrt(np.abs(refl[9]))
1231                    sumFo += Fo
1232                    sumFosq += refl[8]**2
1233                    sumdF += np.abs(Fo-Fc)
1234                    sumdFsq += (refl[8]-refl[9])**2
1235                Histogram[phfx+'Rf'] = min(100.,(sumdF/sumFo)*100.)
1236                Histogram[phfx+'Rf^2'] = min(100.,np.sqrt(sumdFsq/sumFosq)*100.)
1237                Histogram[phfx+'Nref'] = len(refList)
1238               
1239def getPowderProfile(parmDict,x,varylist,Histogram,Phases,calcControls,pawleyLookup):
1240    'Needs a doc string'
1241   
1242    def GetReflSigGam(refl,wave,G,GB,hfx,phfx,calcControls,parmDict):
1243        U = parmDict[hfx+'U']
1244        V = parmDict[hfx+'V']
1245        W = parmDict[hfx+'W']
1246        X = parmDict[hfx+'X']
1247        Y = parmDict[hfx+'Y']
1248        tanPos = tand(refl[5]/2.0)
1249        Ssig,Sgam = GetSampleSigGam(refl,wave,G,GB,phfx,calcControls,parmDict)
1250        sig = U*tanPos**2+V*tanPos+W+Ssig     #save peak sigma
1251        sig = max(0.001,sig)
1252        gam = X/cosd(refl[5]/2.0)+Y*tanPos+Sgam     #save peak gamma
1253        gam = max(0.001,gam)
1254        return sig,gam
1255               
1256    hId = Histogram['hId']
1257    hfx = ':%d:'%(hId)
1258    bakType = calcControls[hfx+'bakType']
1259    yb = G2pwd.getBackground(hfx,parmDict,bakType,x)
1260    yc = np.zeros_like(yb)
1261       
1262    if 'C' in calcControls[hfx+'histType']:   
1263        shl = max(parmDict[hfx+'SH/L'],0.002)
1264        Ka2 = False
1265        if hfx+'Lam1' in parmDict.keys():
1266            wave = parmDict[hfx+'Lam1']
1267            Ka2 = True
1268            lamRatio = 360*(parmDict[hfx+'Lam2']-parmDict[hfx+'Lam1'])/(np.pi*parmDict[hfx+'Lam1'])
1269            kRatio = parmDict[hfx+'I(L2)/I(L1)']
1270        else:
1271            wave = parmDict[hfx+'Lam']
1272    else:
1273        print 'TOF Undefined at present'
1274        raise ValueError
1275    for phase in Histogram['Reflection Lists']:
1276        refList = Histogram['Reflection Lists'][phase]
1277        Phase = Phases[phase]
1278        pId = Phase['pId']
1279        pfx = '%d::'%(pId)
1280        phfx = '%d:%d:'%(pId,hId)
1281        hfx = ':%d:'%(hId)
1282        SGData = Phase['General']['SGData']
1283        A = [parmDict[pfx+'A%d'%(i)] for i in range(6)]
1284        G,g = G2lat.A2Gmat(A)       #recip & real metric tensors
1285        GA,GB = G2lat.Gmat2AB(G)    #Orthogonalization matricies
1286        Vst = np.sqrt(nl.det(G))    #V*
1287        if not Phase['General'].get('doPawley'):
1288            time0 = time.time()
1289            StructureFactor(refList,G,hfx,pfx,SGData,calcControls,parmDict)
1290#            print 'sf calc time: %.3fs'%(time.time()-time0)
1291        time0 = time.time()
1292        for refl in refList:
1293            if 'C' in calcControls[hfx+'histType']:
1294                h,k,l = refl[:3]
1295                refl[5] = GetReflPos(refl,wave,G,hfx,calcControls,parmDict)         #corrected reflection position
1296                Lorenz = 1./(2.*sind(refl[5]/2.)**2*cosd(refl[5]/2.))           #Lorentz correction
1297                refl[5] += GetHStrainShift(refl,SGData,phfx,parmDict)               #apply hydrostatic strain shift
1298                refl[6:8] = GetReflSigGam(refl,wave,G,GB,hfx,phfx,calcControls,parmDict)    #peak sig & gam
1299                GetIntensityCorr(refl,G,g,pfx,phfx,hfx,SGData,calcControls,parmDict)    #puts corrections in refl[13]
1300                refl[13] *= Vst*Lorenz
1301                if Phase['General'].get('doPawley'):
1302                    try:
1303                        pInd =pfx+'PWLref:%d'%(pawleyLookup[pfx+'%d,%d,%d'%(h,k,l)])
1304                        refl[9] = parmDict[pInd]
1305                    except KeyError:
1306#                        print ' ***Error %d,%d,%d missing from Pawley reflection list ***'%(h,k,l)
1307                        continue
1308                Wd,fmin,fmax = G2pwd.getWidthsCW(refl[5],refl[6],refl[7],shl)
1309                iBeg = np.searchsorted(x,refl[5]-fmin)
1310                iFin = np.searchsorted(x,refl[5]+fmax)
1311                if not iBeg+iFin:       #peak below low limit - skip peak
1312                    continue
1313                elif not iBeg-iFin:     #peak above high limit - done
1314                    break
1315                yc[iBeg:iFin] += refl[13]*refl[9]*G2pwd.getFCJVoigt3(refl[5],refl[6],refl[7],shl,x[iBeg:iFin])    #>90% of time spent here
1316                if Ka2:
1317                    pos2 = refl[5]+lamRatio*tand(refl[5]/2.0)       # + 360/pi * Dlam/lam * tan(th)
1318                    Wd,fmin,fmax = G2pwd.getWidthsCW(pos2,refl[6],refl[7],shl)
1319                    iBeg = np.searchsorted(x,pos2-fmin)
1320                    iFin = np.searchsorted(x,pos2+fmax)
1321                    if not iBeg+iFin:       #peak below low limit - skip peak
1322                        continue
1323                    elif not iBeg-iFin:     #peak above high limit - done
1324                        return yc,yb
1325                    yc[iBeg:iFin] += refl[13]*refl[9]*kRatio*G2pwd.getFCJVoigt3(pos2,refl[6],refl[7],shl,x[iBeg:iFin])        #and here
1326            elif 'T' in calcControls[hfx+'histType']:
1327                print 'TOF Undefined at present'
1328                raise Exception    #no TOF yet
1329#        print 'profile calc time: %.3fs'%(time.time()-time0)
1330    return yc,yb
1331   
1332def getPowderProfileDerv(parmDict,x,varylist,Histogram,Phases,rigidbodyDict,calcControls,pawleyLookup):
1333    'Needs a doc string'
1334   
1335    def cellVaryDerv(pfx,SGData,dpdA): 
1336        if SGData['SGLaue'] in ['-1',]:
1337            return [[pfx+'A0',dpdA[0]],[pfx+'A1',dpdA[1]],[pfx+'A2',dpdA[2]],
1338                [pfx+'A3',dpdA[3]],[pfx+'A4',dpdA[4]],[pfx+'A5',dpdA[5]]]
1339        elif SGData['SGLaue'] in ['2/m',]:
1340            if SGData['SGUniq'] == 'a':
1341                return [[pfx+'A0',dpdA[0]],[pfx+'A1',dpdA[1]],[pfx+'A2',dpdA[2]],[pfx+'A3',dpdA[3]]]
1342            elif SGData['SGUniq'] == 'b':
1343                return [[pfx+'A0',dpdA[0]],[pfx+'A1',dpdA[1]],[pfx+'A2',dpdA[2]],[pfx+'A4',dpdA[4]]]
1344            else:
1345                return [[pfx+'A0',dpdA[0]],[pfx+'A1',dpdA[1]],[pfx+'A2',dpdA[2]],[pfx+'A5',dpdA[5]]]
1346        elif SGData['SGLaue'] in ['mmm',]:
1347            return [[pfx+'A0',dpdA[0]],[pfx+'A1',dpdA[1]],[pfx+'A2',dpdA[2]]]
1348        elif SGData['SGLaue'] in ['4/m','4/mmm']:
1349            return [[pfx+'A0',dpdA[0]],[pfx+'A2',dpdA[2]]]
1350        elif SGData['SGLaue'] in ['6/m','6/mmm','3m1', '31m', '3']:
1351            return [[pfx+'A0',dpdA[0]],[pfx+'A2',dpdA[2]]]
1352        elif SGData['SGLaue'] in ['3R', '3mR']:
1353            return [[pfx+'A0',dpdA[0]+dpdA[1]+dpdA[2]],[pfx+'A3',dpdA[3]+dpdA[4]+dpdA[5]]]                       
1354        elif SGData['SGLaue'] in ['m3m','m3']:
1355            return [[pfx+'A0',dpdA[0]]]
1356           
1357    # create a list of dependent variables and set up a dictionary to hold their derivatives
1358    dependentVars = G2mv.GetDependentVars()
1359    depDerivDict = {}
1360    for j in dependentVars:
1361        depDerivDict[j] = np.zeros(shape=(len(x)))
1362    #print 'dependent vars',dependentVars
1363    lenX = len(x)               
1364    hId = Histogram['hId']
1365    hfx = ':%d:'%(hId)
1366    bakType = calcControls[hfx+'bakType']
1367    dMdv = np.zeros(shape=(len(varylist),len(x)))
1368    dMdb,dMddb,dMdpk = G2pwd.getBackgroundDerv(hfx,parmDict,bakType,x)
1369    if hfx+'Back:0' in varylist: # for now assume that Back:x vars to not appear in constraints
1370        bBpos =varylist.index(hfx+'Back:0')
1371        dMdv[bBpos:bBpos+len(dMdb)] = dMdb
1372    names = [hfx+'DebyeA',hfx+'DebyeR',hfx+'DebyeU']
1373    for name in varylist:
1374        if 'Debye' in name:
1375            id = int(name.split(':')[-1])
1376            parm = name[:int(name.rindex(':'))]
1377            ip = names.index(parm)
1378            dMdv[varylist.index(name)] = dMddb[3*id+ip]
1379    names = [hfx+'BkPkpos',hfx+'BkPkint',hfx+'BkPksig',hfx+'BkPkgam']
1380    for name in varylist:
1381        if 'BkPk' in name:
1382            id = int(name.split(':')[-1])
1383            parm = name[:int(name.rindex(':'))]
1384            ip = names.index(parm)
1385            dMdv[varylist.index(name)] = dMdpk[4*id+ip]
1386    cw = np.diff(x)
1387    cw = np.append(cw,cw[-1])
1388    if 'C' in calcControls[hfx+'histType']:   
1389        shl = max(parmDict[hfx+'SH/L'],0.002)
1390        Ka2 = False
1391        if hfx+'Lam1' in parmDict.keys():
1392            wave = parmDict[hfx+'Lam1']
1393            Ka2 = True
1394            lamRatio = 360*(parmDict[hfx+'Lam2']-parmDict[hfx+'Lam1'])/(np.pi*parmDict[hfx+'Lam1'])
1395            kRatio = parmDict[hfx+'I(L2)/I(L1)']
1396        else:
1397            wave = parmDict[hfx+'Lam']
1398    else:
1399        print 'TOF Undefined at present'
1400        raise ValueError
1401    for phase in Histogram['Reflection Lists']:
1402        refList = Histogram['Reflection Lists'][phase]
1403        Phase = Phases[phase]
1404        SGData = Phase['General']['SGData']
1405        pId = Phase['pId']
1406        pfx = '%d::'%(pId)
1407        phfx = '%d:%d:'%(pId,hId)
1408        A = [parmDict[pfx+'A%d'%(i)] for i in range(6)]
1409        G,g = G2lat.A2Gmat(A)       #recip & real metric tensors
1410        GA,GB = G2lat.Gmat2AB(G)    #Orthogonalization matricies
1411        if not Phase['General'].get('doPawley'):
1412            time0 = time.time()
1413            dFdvDict = StructureFactorDerv(refList,G,hfx,pfx,SGData,calcControls,parmDict)
1414#            print 'sf-derv time %.3fs'%(time.time()-time0)
1415            ApplyRBModelDervs(dFdvDict,parmDict,rigidbodyDict,Phase)
1416        time0 = time.time()
1417        for iref,refl in enumerate(refList):
1418            if 'C' in calcControls[hfx+'histType']:        #CW powder
1419                h,k,l = refl[:3]
1420                dIdsh,dIdsp,dIdpola,dIdPO,dFdODF,dFdSA,dFdAb = GetIntensityDerv(refl,G,g,pfx,phfx,hfx,SGData,calcControls,parmDict)
1421                Wd,fmin,fmax = G2pwd.getWidthsCW(refl[5],refl[6],refl[7],shl)
1422                iBeg = np.searchsorted(x,refl[5]-fmin)
1423                iFin = np.searchsorted(x,refl[5]+fmax)
1424                if not iBeg+iFin:       #peak below low limit - skip peak
1425                    continue
1426                elif not iBeg-iFin:     #peak above high limit - done
1427                    break
1428                pos = refl[5]
1429                tanth = tand(pos/2.0)
1430                costh = cosd(pos/2.0)
1431                lenBF = iFin-iBeg
1432                dMdpk = np.zeros(shape=(6,lenBF))
1433                dMdipk = G2pwd.getdFCJVoigt3(refl[5],refl[6],refl[7],shl,x[iBeg:iFin])
1434                for i in range(5):
1435                    dMdpk[i] += 100.*cw[iBeg:iFin]*refl[13]*refl[9]*dMdipk[i]
1436                dervDict = {'int':dMdpk[0],'pos':dMdpk[1],'sig':dMdpk[2],'gam':dMdpk[3],'shl':dMdpk[4],'L1/L2':np.zeros_like(dMdpk[0])}
1437                if Ka2:
1438                    pos2 = refl[5]+lamRatio*tanth       # + 360/pi * Dlam/lam * tan(th)
1439                    iBeg2 = np.searchsorted(x,pos2-fmin)
1440                    iFin2 = np.searchsorted(x,pos2+fmax)
1441                    if iBeg2-iFin2:
1442                        lenBF2 = iFin2-iBeg2
1443                        dMdpk2 = np.zeros(shape=(6,lenBF2))
1444                        dMdipk2 = G2pwd.getdFCJVoigt3(pos2,refl[6],refl[7],shl,x[iBeg2:iFin2])
1445                        for i in range(5):
1446                            dMdpk2[i] = 100.*cw[iBeg2:iFin2]*refl[13]*refl[9]*kRatio*dMdipk2[i]
1447                        dMdpk2[5] = 100.*cw[iBeg2:iFin2]*refl[13]*dMdipk2[0]
1448                        dervDict2 = {'int':dMdpk2[0],'pos':dMdpk2[1],'sig':dMdpk2[2],'gam':dMdpk2[3],'shl':dMdpk2[4],'L1/L2':dMdpk2[5]*refl[9]}
1449                if Phase['General'].get('doPawley'):
1450                    dMdpw = np.zeros(len(x))
1451                    try:
1452                        pIdx = pfx+'PWLref:'+str(pawleyLookup[pfx+'%d,%d,%d'%(h,k,l)])
1453                        idx = varylist.index(pIdx)
1454                        dMdpw[iBeg:iFin] = dervDict['int']/refl[9]
1455                        if Ka2:
1456                            dMdpw[iBeg2:iFin2] += dervDict2['int']/refl[9]
1457                        dMdv[idx] = dMdpw
1458                    except: # ValueError:
1459                        pass
1460                dpdA,dpdw,dpdZ,dpdSh,dpdTr,dpdX,dpdY = GetReflPosDerv(refl,wave,A,hfx,calcControls,parmDict)
1461                names = {hfx+'Scale':[dIdsh,'int'],hfx+'Polariz.':[dIdpola,'int'],phfx+'Scale':[dIdsp,'int'],
1462                    hfx+'U':[tanth**2,'sig'],hfx+'V':[tanth,'sig'],hfx+'W':[1.0,'sig'],
1463                    hfx+'X':[1.0/costh,'gam'],hfx+'Y':[tanth,'gam'],hfx+'SH/L':[1.0,'shl'],
1464                    hfx+'I(L2)/I(L1)':[1.0,'L1/L2'],hfx+'Zero':[dpdZ,'pos'],hfx+'Lam':[dpdw,'pos'],
1465                    hfx+'Shift':[dpdSh,'pos'],hfx+'Transparency':[dpdTr,'pos'],hfx+'DisplaceX':[dpdX,'pos'],
1466                    hfx+'DisplaceY':[dpdY,'pos'],hfx+'Absorption':[dFdAb,'int'],}
1467                for name in names:
1468                    item = names[name]
1469                    if name in varylist:
1470                        dMdv[varylist.index(name)][iBeg:iFin] += item[0]*dervDict[item[1]]
1471                        if Ka2:
1472                            dMdv[varylist.index(name)][iBeg2:iFin2] += item[0]*dervDict2[item[1]]
1473                    elif name in dependentVars:
1474                        depDerivDict[name][iBeg:iFin] += item[0]*dervDict[item[1]]
1475                        if Ka2:
1476                            depDerivDict[name][iBeg2:iFin2] += item[0]*dervDict2[item[1]]
1477                for iPO in dIdPO:
1478                    if iPO in varylist:
1479                        dMdv[varylist.index(iPO)][iBeg:iFin] += dIdPO[iPO]*dervDict['int']
1480                        if Ka2:
1481                            dMdv[varylist.index(iPO)][iBeg2:iFin2] += dIdPO[iPO]*dervDict2['int']
1482                    elif iPO in dependentVars:
1483                        depDerivDict[iPO][iBeg:iFin] += dIdPO[iPO]*dervDict['int']
1484                        if Ka2:
1485                            depDerivDict[iPO][iBeg2:iFin2] += dIdPO[iPO]*dervDict2['int']
1486                for i,name in enumerate(['omega','chi','phi']):
1487                    aname = pfx+'SH '+name
1488                    if aname in varylist:
1489                        dMdv[varylist.index(aname)][iBeg:iFin] += dFdSA[i]*dervDict['int']
1490                        if Ka2:
1491                            dMdv[varylist.index(aname)][iBeg2:iFin2] += dFdSA[i]*dervDict2['int']
1492                    elif aname in dependentVars:
1493                        depDerivDict[aname][iBeg:iFin] += dFdSA[i]*dervDict['int']
1494                        if Ka2:
1495                            depDerivDict[aname][iBeg2:iFin2] += dFdSA[i]*dervDict2['int']
1496                for iSH in dFdODF:
1497                    if iSH in varylist:
1498                        dMdv[varylist.index(iSH)][iBeg:iFin] += dFdODF[iSH]*dervDict['int']
1499                        if Ka2:
1500                            dMdv[varylist.index(iSH)][iBeg2:iFin2] += dFdODF[iSH]*dervDict2['int']
1501                    elif iSH in dependentVars:
1502                        depDerivDict[iSH][iBeg:iFin] += dFdODF[iSH]*dervDict['int']
1503                        if Ka2:
1504                            depDerivDict[iSH][iBeg2:iFin2] += dFdODF[iSH]*dervDict2['int']
1505                cellDervNames = cellVaryDerv(pfx,SGData,dpdA)
1506                for name,dpdA in cellDervNames:
1507                    if name in varylist:
1508                        dMdv[varylist.index(name)][iBeg:iFin] += dpdA*dervDict['pos']
1509                        if Ka2:
1510                            dMdv[varylist.index(name)][iBeg2:iFin2] += dpdA*dervDict2['pos']
1511                    elif name in dependentVars:
1512                        depDerivDict[name][iBeg:iFin] += dpdA*dervDict['pos']
1513                        if Ka2:
1514                            depDerivDict[name][iBeg2:iFin2] += dpdA*dervDict2['pos']
1515                dDijDict = GetHStrainShiftDerv(refl,SGData,phfx)
1516                for name in dDijDict:
1517                    if name in varylist:
1518                        dMdv[varylist.index(name)][iBeg:iFin] += dDijDict[name]*dervDict['pos']
1519                        if Ka2:
1520                            dMdv[varylist.index(name)][iBeg2:iFin2] += dDijDict[name]*dervDict2['pos']
1521                    elif name in dependentVars:
1522                        depDerivDict[name][iBeg:iFin] += dDijDict[name]*dervDict['pos']
1523                        if Ka2:
1524                            depDerivDict[name][iBeg2:iFin2] += dDijDict[name]*dervDict2['pos']
1525                sigDict,gamDict = GetSampleSigGamDerv(refl,wave,G,GB,phfx,calcControls,parmDict)
1526                for name in gamDict:
1527                    if name in varylist:
1528                        dMdv[varylist.index(name)][iBeg:iFin] += gamDict[name]*dervDict['gam']
1529                        if Ka2:
1530                            dMdv[varylist.index(name)][iBeg2:iFin2] += gamDict[name]*dervDict2['gam']
1531                    elif name in dependentVars:
1532                        depDerivDict[name][iBeg:iFin] += gamDict[name]*dervDict['gam']
1533                        if Ka2:
1534                            depDerivDict[name][iBeg2:iFin2] += gamDict[name]*dervDict2['gam']
1535                for name in sigDict:
1536                    if name in varylist:
1537                        dMdv[varylist.index(name)][iBeg:iFin] += sigDict[name]*dervDict['sig']
1538                        if Ka2:
1539                            dMdv[varylist.index(name)][iBeg2:iFin2] += sigDict[name]*dervDict2['sig']
1540                    elif name in dependentVars:
1541                        depDerivDict[name][iBeg:iFin] += sigDict[name]*dervDict['sig']
1542                        if Ka2:
1543                            depDerivDict[name][iBeg2:iFin2] += sigDict[name]*dervDict2['sig']
1544                for name in ['BabA','BabU']:
1545                    if phfx+name in varylist:
1546                        dMdv[varylist.index(phfx+name)][iBeg:iFin] += dFdvDict[pfx+name][iref]*dervDict['int']*cw[iBeg:iFin]
1547                        if Ka2:
1548                            dMdv[varylist.index(phfx+name)][iBeg2:iFin2] += dFdvDict[pfx+name][iref]*dervDict2['int']*cw[iBeg2:iFin2]
1549                    elif phfx+name in dependentVars:                   
1550                        depDerivDict[phfx+name][iBeg:iFin] += dFdvDict[pfx+name][iref]*dervDict['int']*cw[iBeg:iFin]
1551                        if Ka2:
1552                            depDerivDict[phfx+name][iBeg2:iFin2] += dFdvDict[pfx+name][iref]*dervDict2['int']*cw[iBeg2:iFin2]                 
1553            elif 'T' in calcControls[hfx+'histType']:
1554                print 'TOF Undefined at present'
1555                raise Exception    #no TOF yet
1556            if not Phase['General'].get('doPawley'):
1557                #do atom derivatives -  for RB,F,X & U so far             
1558                corr = dervDict['int']/refl[9]
1559                if Ka2:
1560                    corr2 = dervDict2['int']/refl[9]
1561                for name in varylist+dependentVars:
1562                    if '::RBV;' in name:
1563                        pass
1564                    else:
1565                        try:
1566                            aname = name.split(pfx)[1][:2]
1567                            if aname not in ['Af','dA','AU','RB']: continue # skip anything not an atom or rigid body param
1568                        except IndexError:
1569                            continue
1570                    if name in varylist:
1571                        dMdv[varylist.index(name)][iBeg:iFin] += dFdvDict[name][iref]*corr
1572                        if Ka2:
1573                            dMdv[varylist.index(name)][iBeg2:iFin2] += dFdvDict[name][iref]*corr2
1574                    elif name in dependentVars:
1575                        depDerivDict[name][iBeg:iFin] += dFdvDict[name][iref]*corr
1576                        if Ka2:
1577                            depDerivDict[name][iBeg2:iFin2] += dFdvDict[name][iref]*corr2
1578#        print 'profile derv time: %.3fs'%(time.time()-time0)
1579    # now process derivatives in constraints
1580    G2mv.Dict2Deriv(varylist,depDerivDict,dMdv)
1581    return dMdv
1582
1583def dervRefine(values,HistoPhases,parmDict,varylist,calcControls,pawleyLookup,dlg):
1584    'Needs a doc string'
1585    parmDict.update(zip(varylist,values))
1586    G2mv.Dict2Map(parmDict,varylist)
1587    Histograms,Phases,restraintDict,rigidbodyDict = HistoPhases
1588    nvar = len(varylist)
1589    dMdv = np.empty(0)
1590    histoList = Histograms.keys()
1591    histoList.sort()
1592    for histogram in histoList:
1593        if 'PWDR' in histogram[:4]:
1594            Histogram = Histograms[histogram]
1595            hId = Histogram['hId']
1596            hfx = ':%d:'%(hId)
1597            wtFactor = calcControls[hfx+'wtFactor']
1598            Limits = calcControls[hfx+'Limits']
1599            x,y,w,yc,yb,yd = Histogram['Data']
1600            W = wtFactor*w
1601            xB = np.searchsorted(x,Limits[0])
1602            xF = np.searchsorted(x,Limits[1])
1603            dMdvh = np.sqrt(W[xB:xF])*getPowderProfileDerv(parmDict,x[xB:xF],
1604                varylist,Histogram,Phases,rigidbodyDict,calcControls,pawleyLookup)
1605        elif 'HKLF' in histogram[:4]:
1606            Histogram = Histograms[histogram]
1607            nobs = Histogram['Nobs']
1608            phase = Histogram['Reflection Lists']
1609            Phase = Phases[phase]
1610            hId = Histogram['hId']
1611            hfx = ':%d:'%(hId)
1612            wtFactor = calcControls[hfx+'wtFactor']
1613            pfx = '%d::'%(Phase['pId'])
1614            phfx = '%d:%d:'%(Phase['pId'],hId)
1615            SGData = Phase['General']['SGData']
1616            A = [parmDict[pfx+'A%d'%(i)] for i in range(6)]
1617            G,g = G2lat.A2Gmat(A)       #recip & real metric tensors
1618            refList = Histogram['Data']
1619            dFdvDict = StructureFactorDerv(refList,G,hfx,pfx,SGData,calcControls,parmDict)
1620            ApplyRBModelDervs(dFdvDict,parmDict,rigidbodyDict,Phase)
1621            dMdvh = np.zeros((len(varylist),len(refList)))
1622            if calcControls['F**2']:
1623                for iref,ref in enumerate(refList):
1624                    if ref[6] > 0:
1625                        dervCor,dervDict = SCExtinction(ref,phfx,hfx,pfx,calcControls,parmDict,varylist) #puts correction in refl[13]
1626                        w = 1.0/ref[6]
1627                        if w*ref[5] >= calcControls['minF/sig']:
1628                            for j,var in enumerate(varylist):
1629                                if var in dFdvDict:
1630                                    dMdvh[j][iref] = w*dFdvDict[var][iref]*parmDict[phfx+'Scale']*dervCor
1631                            if phfx+'Scale' in varylist:
1632                                dMdvh[varylist.index(phfx+'Scale')][iref] = w*ref[9]*dervCor
1633                            for item in ['Ep','Es','Eg']:
1634                                if phfx+item in varylist:
1635                                    dMdvh[varylist.index(phfx+item)][iref] = w*dervDict[phfx+item]*parmDict[phfx+'Scale']
1636                            for item in ['BabA','BabU']:
1637                                if phfx+item in varylist:
1638                                    dMdvh[varylist.index(phfx+item)][iref] = w*dervCor*dFdvDict[pfx+item][iref]*parmDict[phfx+'Scale']
1639            else:
1640                for iref,ref in enumerate(refList):
1641                    if ref[5] > 0.:
1642                        dervCor,dervDict = SCExtinction(ref,phfx,hfx,pfx,calcControls,parmDict,varylist) #puts correction in refl[13]
1643                        Fo = np.sqrt(ref[5])
1644                        Fc = np.sqrt(ref[7])
1645                        w = 1.0/ref[6]
1646                        if 2.0*Fo*w*Fo >= calcControls['minF/sig']:
1647                            for j,var in enumerate(varylist):
1648                                if var in dFdvDict:
1649                                    dMdvh[j][iref] = w*dFdvDict[var][iref]*dervCor*parmDict[phfx+'Scale']
1650                            if phfx+'Scale' in varylist:
1651                                dMdvh[varylist.index(phfx+'Scale')][iref] = w*ref[9]*dervCor                           
1652                            for item in ['Ep','Es','Eg']:
1653                                if phfx+item in varylist:
1654                                    dMdvh[varylist.index(phfx+item)][iref] = w*dervDict[phfx+item]*parmDict[phfx+'Scale']
1655                            for item in ['BabA','BabU']:
1656                                if phfx+item in varylist:
1657                                    dMdvh[varylist.index(phfx+item)][iref] = w*dervCor*dFdvDict[pfx+item][iref]*parmDict[phfx+'Scale']
1658        else:
1659            continue        #skip non-histogram entries
1660        if len(dMdv):
1661            dMdv = np.concatenate((dMdv.T,np.sqrt(wtFactor)*dMdvh.T)).T
1662        else:
1663            dMdv = np.sqrt(wtFactor)*dMdvh
1664           
1665    pNames,pVals,pWt = penaltyFxn(HistoPhases,parmDict,varylist)
1666    if np.any(pVals):
1667        dpdv = penaltyDeriv(pNames,pVals,HistoPhases,parmDict,varylist)
1668        dMdv = np.concatenate((dMdv.T,(np.sqrt(pWt)*dpdv).T)).T
1669       
1670    return dMdv
1671
1672def HessRefine(values,HistoPhases,parmDict,varylist,calcControls,pawleyLookup,dlg):
1673    'Needs a doc string'
1674    parmDict.update(zip(varylist,values))
1675    G2mv.Dict2Map(parmDict,varylist)
1676    Histograms,Phases,restraintDict,rigidbodyDict = HistoPhases
1677    ApplyRBModels(parmDict,Phases,rigidbodyDict)        #,Update=True??
1678    nvar = len(varylist)
1679    Hess = np.empty(0)
1680    histoList = Histograms.keys()
1681    histoList.sort()
1682    for histogram in histoList:
1683        if 'PWDR' in histogram[:4]:
1684            Histogram = Histograms[histogram]
1685            hId = Histogram['hId']
1686            hfx = ':%d:'%(hId)
1687            wtFactor = calcControls[hfx+'wtFactor']
1688            Limits = calcControls[hfx+'Limits']
1689            x,y,w,yc,yb,yd = Histogram['Data']
1690            W = wtFactor*w
1691            dy = y-yc
1692            xB = np.searchsorted(x,Limits[0])
1693            xF = np.searchsorted(x,Limits[1])
1694            dMdvh = getPowderProfileDerv(parmDict,x[xB:xF],
1695                varylist,Histogram,Phases,rigidbodyDict,calcControls,pawleyLookup)
1696            Wt = np.sqrt(W[xB:xF])[np.newaxis,:]
1697            Dy = dy[xB:xF][np.newaxis,:]
1698            dMdvh *= Wt
1699            if dlg:
1700                dlg.Update(Histogram['wR'],newmsg='Hessian for histogram %d\nAll data Rw=%8.3f%s'%(hId,Histogram['wR'],'%'))[0]
1701            if len(Hess):
1702                Hess += np.inner(dMdvh,dMdvh)
1703                dMdvh *= Wt*Dy
1704                Vec += np.sum(dMdvh,axis=1)
1705            else:
1706                Hess = np.inner(dMdvh,dMdvh)
1707                dMdvh *= Wt*Dy
1708                Vec = np.sum(dMdvh,axis=1)
1709        elif 'HKLF' in histogram[:4]:
1710            Histogram = Histograms[histogram]
1711            nobs = Histogram['Nobs']
1712            phase = Histogram['Reflection Lists']
1713            Phase = Phases[phase]
1714            hId = Histogram['hId']
1715            hfx = ':%d:'%(hId)
1716            wtFactor = calcControls[hfx+'wtFactor']
1717            pfx = '%d::'%(Phase['pId'])
1718            phfx = '%d:%d:'%(Phase['pId'],hId)
1719            SGData = Phase['General']['SGData']
1720            A = [parmDict[pfx+'A%d'%(i)] for i in range(6)]
1721            G,g = G2lat.A2Gmat(A)       #recip & real metric tensors
1722            refList = Histogram['Data']
1723            time0 = time.time()
1724            dFdvDict = StructureFactorDerv(refList,G,hfx,pfx,SGData,calcControls,parmDict)  #accurate for powders!
1725            ApplyRBModelDervs(dFdvDict,parmDict,rigidbodyDict,Phase)
1726            dMdvh = np.zeros((len(varylist),len(refList)))
1727            wdf = np.zeros(len(refList))
1728            if calcControls['F**2']:
1729                for iref,ref in enumerate(refList):
1730                    if ref[6] > 0:
1731                        dervCor,dervDict = SCExtinction(ref,phfx,hfx,pfx,calcControls,parmDict,varylist) #puts correction in refl[13]
1732                        w =  1.0/ref[6]
1733                        if w*ref[5] >= calcControls['minF/sig']:
1734                            wdf[iref] = w*(ref[5]-ref[7])
1735                            for j,var in enumerate(varylist):
1736                                if var in dFdvDict:
1737                                    dMdvh[j][iref] = w*dFdvDict[var][iref]*dervCor*parmDict[phfx+'Scale']
1738                            if phfx+'Scale' in varylist:
1739                                dMdvh[varylist.index(phfx+'Scale')][iref] = w*ref[9]*dervCor
1740                            for item in ['Ep','Es','Eg']:
1741                                if phfx+item in varylist:
1742                                    dMdvh[varylist.index(phfx+item)][iref] = w*dervDict[phfx+item]*parmDict[phfx+'Scale']
1743                            for item in ['BabA','BabU']:
1744                                if phfx+item in varylist:
1745                                    dMdvh[varylist.index(phfx+item)][iref] = w*dFdvDict[pfx+item][iref]*parmDict[phfx+'Scale']*dervCor
1746            else:
1747                for iref,ref in enumerate(refList):
1748                    if ref[5] > 0.:
1749                        dervCor,dervDict = SCExtinction(ref,phfx,hfx,pfx,calcControls,parmDict,varylist) #puts correction in refl[13]
1750                        Fo = np.sqrt(ref[5])
1751                        Fc = np.sqrt(ref[7])
1752                        w = 1.0/ref[6]
1753                        if 2.0*Fo*w*Fo >= calcControls['minF/sig']:
1754                            wdf[iref] = 2.0*Fo*w*(Fo-Fc)
1755                            for j,var in enumerate(varylist):
1756                                if var in dFdvDict:
1757                                    dMdvh[j][iref] = w*dFdvDict[var][iref]*dervCor*parmDict[phfx+'Scale']
1758                            if phfx+'Scale' in varylist:
1759                                dMdvh[varylist.index(phfx+'Scale')][iref] = w*ref[9]*dervCor                           
1760                            for item in ['Ep','Es','Eg']:
1761                                if phfx+item in varylist:
1762                                    dMdvh[varylist.index(phfx+item)][iref] = w*dervDict[phfx+item]*parmDict[phfx+'Scale']
1763                            for item in ['BabA','BabU']:
1764                                if phfx+item in varylist:
1765                                    dMdvh[varylist.index(phfx+item)][iref] = w*dFdvDict[pfx+item][iref]*parmDict[phfx+'Scale']*dervCor
1766                       
1767            if dlg:
1768                dlg.Update(Histogram['wR'],newmsg='Hessian for histogram %d Rw=%8.3f%s'%(hId,Histogram['wR'],'%'))[0]
1769            if len(Hess):
1770                Vec += wtFactor*np.sum(dMdvh*wdf,axis=1)
1771                Hess += wtFactor*np.inner(dMdvh,dMdvh)
1772            else:
1773                Vec = wtFactor*np.sum(dMdvh*wdf,axis=1)
1774                Hess = wtFactor*np.inner(dMdvh,dMdvh)
1775        else:
1776            continue        #skip non-histogram entries
1777    pNames,pVals,pWt = penaltyFxn(HistoPhases,parmDict,varylist)
1778    if np.any(pVals):
1779        dpdv = penaltyDeriv(pNames,pVals,HistoPhases,parmDict,varylist)
1780        Vec += np.sum(dpdv*pWt*pVals,axis=1)
1781        Hess += np.inner(dpdv*pWt,dpdv)
1782    return Vec,Hess
1783
1784def errRefine(values,HistoPhases,parmDict,varylist,calcControls,pawleyLookup,dlg):       
1785    'Needs a doc string'
1786    parmDict.update(zip(varylist,values))
1787    Values2Dict(parmDict, varylist, values)
1788    G2mv.Dict2Map(parmDict,varylist)
1789    Histograms,Phases,restraintDict,rigidbodyDict = HistoPhases
1790    M = np.empty(0)
1791    SumwYo = 0
1792    Nobs = 0
1793    ApplyRBModels(parmDict,Phases,rigidbodyDict)
1794    histoList = Histograms.keys()
1795    histoList.sort()
1796    for histogram in histoList:
1797        if 'PWDR' in histogram[:4]:
1798            Histogram = Histograms[histogram]
1799            hId = Histogram['hId']
1800            hfx = ':%d:'%(hId)
1801            wtFactor = calcControls[hfx+'wtFactor']
1802            Limits = calcControls[hfx+'Limits']
1803            x,y,w,yc,yb,yd = Histogram['Data']
1804            W = wtFactor*w
1805            yc *= 0.0                           #zero full calcd profiles
1806            yb *= 0.0
1807            yd *= 0.0
1808            xB = np.searchsorted(x,Limits[0])
1809            xF = np.searchsorted(x,Limits[1])
1810            Histogram['Nobs'] = xF-xB
1811            Nobs += Histogram['Nobs']
1812            Histogram['sumwYo'] = np.sum(W[xB:xF]*y[xB:xF]**2)
1813            SumwYo += Histogram['sumwYo']
1814            yc[xB:xF],yb[xB:xF] = getPowderProfile(parmDict,x[xB:xF],
1815                varylist,Histogram,Phases,calcControls,pawleyLookup)
1816            yc[xB:xF] += yb[xB:xF]
1817            yd[xB:xF] = y[xB:xF]-yc[xB:xF]
1818            Histogram['sumwYd'] = np.sum(np.sqrt(W[xB:xF])*(yd[xB:xF]))
1819            wdy = -np.sqrt(W[xB:xF])*(yd[xB:xF])
1820            Histogram['wR'] = min(100.,np.sqrt(np.sum(wdy**2)/Histogram['sumwYo'])*100.)
1821            if dlg:
1822                dlg.Update(Histogram['wR'],newmsg='For histogram %d Rw=%8.3f%s'%(hId,Histogram['wR'],'%'))[0]
1823            M = np.concatenate((M,wdy))
1824#end of PWDR processing
1825        elif 'HKLF' in histogram[:4]:
1826            Histogram = Histograms[histogram]
1827            phase = Histogram['Reflection Lists']
1828            Phase = Phases[phase]
1829            hId = Histogram['hId']
1830            hfx = ':%d:'%(hId)
1831            wtFactor = calcControls[hfx+'wtFactor']
1832            pfx = '%d::'%(Phase['pId'])
1833            phfx = '%d:%d:'%(Phase['pId'],hId)
1834            SGData = Phase['General']['SGData']
1835            A = [parmDict[pfx+'A%d'%(i)] for i in range(6)]
1836            G,g = G2lat.A2Gmat(A)       #recip & real metric tensors
1837            refList = Histogram['Data']
1838            time0 = time.time()
1839            StructureFactor(refList,G,hfx,pfx,SGData,calcControls,parmDict)
1840#            print 'sf-calc time: %.3f'%(time.time()-time0)
1841            df = np.zeros(len(refList))
1842            sumwYo = 0
1843            sumFo = 0
1844            sumFo2 = 0
1845            sumdF = 0
1846            sumdF2 = 0
1847            nobs = 0
1848            if calcControls['F**2']:
1849                for i,ref in enumerate(refList):
1850                    if ref[6] > 0:
1851                        SCExtinction(ref,phfx,hfx,pfx,calcControls,parmDict,varylist) #puts correction in refl[13]
1852                        w = 1.0/ref[6]
1853                        ref[7] = parmDict[phfx+'Scale']*ref[9]
1854                        ref[7] *= ref[13]                       #correct Fc^2 for extinction
1855                        ref[8] = ref[5]/parmDict[phfx+'Scale']
1856                        if w*ref[5] >= calcControls['minF/sig']:
1857                            sumFo2 += ref[5]
1858                            Fo = np.sqrt(ref[5])
1859                            sumFo += Fo
1860                            sumFo2 += ref[5]
1861                            sumdF += abs(Fo-np.sqrt(ref[7]))
1862                            sumdF2 += abs(ref[5]-ref[7])
1863                            nobs += 1
1864                            df[i] = -w*(ref[5]-ref[7])
1865                            sumwYo += (w*ref[5])**2
1866            else:
1867                for i,ref in enumerate(refList):
1868                    if ref[5] > 0.:
1869                        SCExtinction(ref,phfx,hfx,pfx,calcControls,parmDict,varylist) #puts correction in refl[13]
1870                        ref[7] = parmDict[phfx+'Scale']*ref[9]
1871                        ref[7] *= ref[13]                       #correct Fc^2 for extinction
1872                        Fo = np.sqrt(ref[5])
1873                        Fc = np.sqrt(ref[7])
1874                        w = 2.0*Fo/ref[6]
1875                        if w*Fo >= calcControls['minF/sig']:
1876                            sumFo += Fo
1877                            sumFo2 += ref[5]
1878                            sumdF += abs(Fo-Fc)
1879                            sumdF2 += abs(ref[5]-ref[7])
1880                            nobs += 1
1881                            df[i] = -w*(Fo-Fc)
1882                            sumwYo += (w*Fo)**2
1883            Histogram['Nobs'] = nobs
1884            Histogram['sumwYo'] = sumwYo
1885            SumwYo += sumwYo
1886            Histogram['wR'] = min(100.,np.sqrt(np.sum(df**2)/Histogram['sumwYo'])*100.)
1887            Histogram[phfx+'Rf'] = 100.*sumdF/sumFo
1888            Histogram[phfx+'Rf^2'] = 100.*sumdF2/sumFo2
1889            Histogram[phfx+'Nref'] = nobs
1890            Nobs += nobs
1891            if dlg:
1892                dlg.Update(Histogram['wR'],newmsg='For histogram %d Rw=%8.3f%s'%(hId,Histogram['wR'],'%'))[0]
1893            M = np.concatenate((M,wtFactor*df))
1894# end of HKLF processing
1895    Histograms['sumwYo'] = SumwYo
1896    Histograms['Nobs'] = Nobs
1897    Rw = min(100.,np.sqrt(np.sum(M**2)/SumwYo)*100.)
1898    if dlg:
1899        GoOn = dlg.Update(Rw,newmsg='%s%8.3f%s'%('All data Rw =',Rw,'%'))[0]
1900        if not GoOn:
1901            parmDict['saved values'] = values
1902            dlg.Destroy()
1903            raise Exception         #Abort!!
1904    pDict,pVals,pWt = penaltyFxn(HistoPhases,parmDict,varylist)
1905    if np.any(pVals):
1906        pSum = np.sum(pWt*pVals**2)
1907        print 'Penalty function: %.3f on %d terms'%(pSum,len(pVals))
1908        Nobs += len(pVals)
1909        M = np.concatenate((M,np.sqrt(pWt)*pVals))
1910    return M
1911                       
Note: See TracBrowser for help on using the repository browser.